Data Science: SQL и Аналитика данных

GitHub представил Agentic Engineering System - фреймворк для команд, которые внедряют AI-агентов в разработку. Идея простая: больше сгенерированного кода ещё не означает больше пользы. GitHub предлагает строить работу вокруг трёх вещей: - Governance — что агентам можно делегировать и где нужен человек - Shared Knowledge — код, документация, решения, телеметрия и контекст - Customer Value — приносит ли ускорение реальную пользу пользователям Сам процесс делится на цикл Define → Deliver → Dete…

🔥 Полезный совет для MySQL 8: используй LATERAL, когда для каждой строки нужно получить «лучшие N связанных записей». Например, взять последние 3 заказа каждого пользователя: SELECT u.id, u.name, o.id AS order_id, o.created_at FROM users u JOIN LATERAL ( SELECT id, created_at FROM orders WHERE orders.user_id = u.id ORDER BY created_at DESC LIMIT 3 ) o ON TRUE; Без LATERAL такую задачу часто решают через оконные функции и сначала ранжируют всю таблицу orders. ➡️ С LATERAL база может для каж…

🔥Vector-базы не умерли, но для многих задач отдельный сервер уже не нужен. sqlite-vec добавляет vector search прямо в SQLite через компактное расширение. Что это даёт: ⏺️ без Pinecone ⏺️ без Weaviate ⏺️ без Qdrant ⏺️ без отдельного vector DB сервера ⏺️ всё хранится рядом с обычными данными в SQLite Расширение маленькое, open source и запускается везде, где работает SQLite. Для локальных AI-приложений, RAG, embedded-сценариев и небольших сервисов это особенно интересно: одна база, один файл,…

🔥 SQL-задача: ближайшие точки с подвохом Карта размером 100 × 100 замкнута: переход вправо от x = 100 возвращает к x = 0. По вертикали действует то же правило. CREATE TABLE points ( id INT PRIMARY KEY, x INT, y INT ); INSERT INTO points VALUES (1, 1, 1), (2, 99, 99), (3, 50, 50), (4, 52, 52); Напишите запрос, который найдёт все пары точек с минимальным расстоянием по прямой с учётом переходов через границы. Условия: ⏺️ точку нельзя сравнивать с собой; ⏺️ пары (1, 2) и (2, 1) считаются одн…

🔥 Claude Code за 103 секунды удалил более 48 тысяч файлов Пользователь Claude Code сообщил о серьёзном инциденте: AI-агент якобы удалил 48 218 файлов рабочего проекта и уничтожил часть Git-репозитория. Что произошло: ⏺️ агенту поручили пересобрать mirror проекта; ⏺️ он написал Python-скрипт для удаления старой копии; ⏺️ в Windows-каталоге находились directory junctions, ведущие обратно в рабочее дерево; ⏺️ проверка ссылок сработала не так, как ожидалось; ⏺️ скрипт начал удалять уже реальные ф…

🔥 SQL-задача с опасным подвохом Какой баланс получит аккаунт после выполнения запроса в PostgreSQL? CREATE TABLE accounts ( id int PRIMARY KEY, balance int ); CREATE TABLE operations ( account_id int, amount int ); INSERT INTO accounts VALUES (1, 100); INSERT INTO operations VALUES (1, 10), (1, 20); UPDATE accounts a SET balance = a.balance + o.amount FROM operations o WHERE o.account_id = a.id; Многие ответят 130, но PostgreSQL обновит строку только один раз. Результатом может стать 110 …

🔥 Как SQLite превращает числа в текст по две цифры за раз Обычное преобразование целого числа в строку извлекает цифры по одной с помощью деления на 10 и остатка % 10. В SQLite используется таблица sqlite3DigitPairs - строка длиной 200 байт со всеми парами от 00 до 99: "00010203040506070809" "10111213141516171819" ... "90919293949596979899" Алгоритм берёт две цифры сразу и копирует готовую пару по вычисленному индексу. Это сокращает количество делений и итераций при форматировании i64 и u6…

Во вложении — оффер на позицию Data Scientist 💼 Хотите получить такое сообщение уже через пару месяцев? Data Scientist работает там, где данные превращаются в решения: строит ML-модели, ищет закономерности, проверяет гипотезы и помогает внедрять AI в реальные продукты. И чтобы выйти на рынок, не обязательно сначала год учиться в стол. Симулейтив запускает интенсивный буткемп по Data Science: за первые 10 недель вы собираете базовый стек, работаете над реальными проектами, начинаете готовитьс…

🔥 SQL-задача с подвохом Что вернёт этот запрос в PostgreSQL? CREATE TABLE payments ( id int, amount int ); INSERT INTO payments VALUES (1, 100), (2, 100), (3, 200); SELECT id, amount, SUM(amount) OVER (ORDER BY amount) AS total FROM payments ORDER BY id; Многие ожидают: 1 | 100 | 100 2 | 100 | 200 3 | 200 | 400 Но результат будет другим: 1 | 100 | 200 2 | 100 | 200 3 | 200 | 400 По умолчанию PostgreSQL использует окно RANGE ... CURRENT ROW. Строки с одинаковым amount считаются рав…

🔥 Tabularis - единое open-source приложение для работы с SQL Если приходится постоянно переключаться между разными клиентами для PostgreSQL, MySQL и SQLite, Tabularis собирает всё в одном desktop-приложении. Что умеет: ⏺️ PostgreSQL, MySQL/MariaDB и SQLite из коробки ⏺️ SQL notebooks с Markdown, результатами и графиками ⏺️ визуальный конструктор запросов ⏺️ Visual EXPLAIN с интерактивным разбором query plan ⏺️ переменные между ячейками ⏺️ MCP-сервер для AI-агентов ⏺️ расширение поддержки друг…

🔥 LatticeDB - локальная база для Graph RAG и памяти AI-агентов Проект объединяет в одном embedded-движке сразу три способа работы с данными: ⏺️ граф связей ⏺️ векторный поиск через HNSW ⏺️ полнотекстовый поиск BM25 Вся база хранится в одном файле - без отдельного сервера и сложной конфигурации. Есть bindings для Python, TypeScript/Node.js и Go. Подходит для Graph RAG, agent memory и локальных knowledge-систем. ➡️ https://readhacker.news/s/73wnt 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

📊 Аналитик данных: системные знания для профессионального роста 14 октября на Факультете компьютерных наук НИУ ВШЭ стартует программа профессиональной переподготовки «Аналитик данных». Программа охватывает ключевые направления работы с данными: от Python, SQL и статистики до продуктовой аналитики, визуализации и машинного обучения. 📚 В программе: • Python и SQL для анализа данных; • математика и статистика; • проверка гипотез и A/B-тестирование; • визуализация данных и BI; • продуктовая аналит…

Один товар, два покупателя. Как не продать больше, чем есть на складе? Если сначала прочитать остаток через SELECT, а потом уменьшить его отдельным запросом, два покупателя могут одновременно увидеть последнюю единицу. В PostgreSQL проверку и списание можно объединить: UPDATE products SET stock = stock - 1 WHERE id = 42 AND stock > 0 RETURNING id, stock; Что получится при одновременных запросах: • Первый покупатель уменьшит остаток с 1 до 0. • Второй дождётся освобождения строки, и условие …

🔥 Большой сборник по Data Science и Machine Learning: 150+ практических тем — от основ до готовых проектов. Отдельный блок посвящён MCP: архитектура, tools, resources и prompts, а затем — реальные проекты: ⏺️ локальный MCP-клиент; ⏺️ Agentic RAG; ⏺️ финансовый аналитик; ⏺️ voice agent; ⏺️ Deep Researcher; ⏺️ RAG по документам и видео; ⏺️ генератор синтетических данных; ⏺️ shared memory для Claude Desktop и Cursor. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥pgbot - диагностика PostgreSQL для AI-агентов и приложений, написанная на Go Один исполняемый файл подключается к базе в режиме чтения, собирает встроенную статистику PostgreSQL и показывает проблемы: ⏺️ замедление запросов и ожидание блокировок ⏺️ неиспользуемые индексы ⏺️ состояние vacuum и репликации ⏺️ загрузку соединений и взаимные блокировки ⏺️ изменения относительно предыдущих проверок Диагностика рассчитывается кодом на Go. Опциональный AI-слой объясняет найденные проблемы и позволяе…

🔥Учим SQL не по учебнику, а расследуя преступления В Steam выходит Ghost in the SQL - детективная игра, где главный инструмент расследования не лупа и не допросы, а SQL-запросы. Чтобы найти подозреваемого, восстановить события или докопаться до нужной улики, придётся работать с базами данных, фильтровать информацию, связывать таблицы и писать запросы. Каждое дело постепенно знакомит с SQL через практику - от простых выборок до более сложного анализа данных. Обещают разные расследования - под…

🔥 SQL-совет: `COUNT(*)` иногда можно вообще не считать Если в PostgreSQL тебе нужно не точное число строк, а быстрая оценка размера огромной таблицы, не запускай: SELECT COUNT(*) FROM events; На большой таблице это может читать миллионы строк. Для быстрой оценки можно взять статистику PostgreSQL: SELECT reltuples::bigint FROM pg_class WHERE relname = 'events'; reltuples хранит примерную оценку количества строк, которую PostgreSQL обновляет после ANALYZE и VACUUM. Это полезно для админ…