Как пишет блог Google Cloud, эра пассивного анализа данных завершается. Вместо построения предсказательных моделей о прошлом, современные специалисты по данным должны создавать интеллектуальные системы, способные самостоятельно действовать в реальном времени.
Единая среда для архитекторов агентов
Основная проблема продуктивности — постоянное переключение контекста между инструментами. Дата-сайентисты вынуждены работать с SQL в одном клиенте, экспортировать данные в Python-ноутбук, настраивать отдельный Spark-кластер для тяжелых вычислений и переключаться на BI-инструменты для визуализации.
Google анонсировал фундаментальные улучшения для Colab Enterprise в BigQuery и Vertex AI:
- Нативные SQL-ячейки (превью) — возможность работать с SQL-запросами и Python-кодом в одном месте
- Интерактивные визуализации (превью) — автоматическое создание редактируемых графиков из данных
- Data Science Agent — интеллектуальный помощник с расширенными возможностями использования инструментов
Система теперь поддерживает сложные инструменты, включая BigQuery ML для обучения и инференсинга, BigQuery DataFrames для анализа на Python и масштабируемые Spark-трансформации.
Ускорение вычислений и поддержка реального мира
Lightning Engine становится общедоступным, ускоряя Spark более чем в 4 раза по сравнению с открытой версией. Движок по умолчанию готов к ML и AI-задачам, интегрируясь с BigQuery Notebooks, Vertex AI и VS Code.
Для работы с реальными данными представлены две ключевые инновации:
- Stateful processing для BigQuery continuous queries (превью) — SQL-запросы с «памятью» для анализа временных паттернов
- Автономная генерация эмбеддингов в BigQuery (превью) — устранение необходимости отдельного пайплайна для векторных представлений
Новые возможности позволяют агентам обнаруживать сложные паттерны, например, внезапное увеличение средней стоимости транзакций на 300% за 5 минут, что критично для предотвращения мошенничества.
От прототипа к продакшену за минуты
Переход от ноутбука-прототипа к агентам-продуктам требует решения новых задач масштабирования и безопасности. Google представляет комплексный инструментарий «Build-Deploy-Connect» для архитекторов агентов.
Agent Development Kit (ADK) предоставляет фреймворк для сборки, тестирования и оркестрации логики в масштабируемые продакшен-агенты. Это позволяет перейти от однофайлового прототипа к надежной мультиагентной системе.
Трансформация дата-сайентиста в архитектора автономных систем — это не просто смена названия должности, а фундаментальное изменение парадигмы. Вместо анализа исторических данных специалисты теперь проектируют интеллектуальные системы, способные принимать решения в реальном времени. То есть, сами инструменты для создания AI-агентов становятся все более «агентивными» — получается какой-то рекурсивный AI-экосистема, где агенты создают агентов.
Пример успешного внедрения — система поиска товаров в магазинах Morrisons, обрабатывающая 50 000 запросов покупателей в день. Пользователи могут найти нужный товар по названию, а система семантического поиска точно определяет расположение на полках, используя актуальные данные о направлении магазина и каталоге продукции.