Hugging Face пишет о масштабном обновлении своего инструмента AI Sheets — открытого решения для работы с данными через ИИ-модели без написания кода. Теперь платформа поддерживает компьютерное зрение, позволяя извлекать информацию из изображений, генерировать визуальный контент и редактировать картинки прямо в таблицах.
Работа с визуальными данными в привычном интерфейсе
Изображения окружают нас повсюду: фотографии товаров, чеки, скриншоты, диаграммы, логотипы. Все эти документы содержат структурированную информацию, которую теперь можно извлекать, анализировать и преобразовывать непосредственно в табличной среде.
Ключевые возможности обновления:
- Описание и категоризация изображений — генерация подписей к фотографиям товаров, классификация типов документов
- Извлечение структурированных данных — получение позиций из чеков, данных из графиков или текста из отсканированных документов
- Добавление контекста и метаданных — автоматическая маркировка изображений соответствующими атрибутами
- Генерация и редактирование визуального контента — создание изображений из текста и модификация существующих картинок
Практическое применение: от чеков до контент-стратегий
Представьте ситуацию: вы вернулись из командировки с пачкой чеков. Загружаете их в AI Sheets и создаете столбец с промптом: «Извлеки название магазина, дату, общую сумму и категорию расходов из этого чека».
Инструмент обрабатывает каждый чек и выдает чистую таблицу со всеми деталями. Ошибки можно редактировать вручную, а правильные результаты отмечать «лайками» для улучшения последующих генераций.
Другой сценарий — создание контент-календаря для социальных сетей. У вас есть таблица с заголовками и описаниями постов о здоровом питании, но нет изображений. Создаете столбец для картинок с промптом: «Сгенерируй аппетитное фото еды для: {{заголовок}}. Стиль: яркий, вид сверху, естественное освещение».
Интересно наблюдать, как инструменты вроде AI Sheets демократизируют доступ к сложным ИИ-моделям. То, что раньше требовало команд разработчиков и недель работы, теперь доступно любому пользователю таблиц. Правда, остается вопрос качества обработки рукописных текстов и сложных изображений — здесь еще есть куда расти.
Пошаговое руководство по работе с изображениями
Рассмотрим практический пример работы с рукописными рецептами:
- Загрузка данных — загружаем папку с фотографиями в приложение
Источник: huggingface.co - Создание таблицы — получаем готовую таблицу с изображениями
Источник: huggingface.co - Работа с ИИ-действиями — наводим курсор на любой столбец для выбора операций
Источник: huggingface.co - Извлечение текста — используем шаблон для распознавания текста на изображениях
Результатом становится автоматически сгенерированный столбец с распознанным текстом . Для демонстрационного изображения инструмент корректно извлек рецепт торта с ингредиентами и инструкциями по приготовлению.
AI Sheets использует тысячи открытых моделей через Inference Providers, что обеспечивает доступ к самым современным алгоритмам компьютерного зрения и генерации изображений.
Экспорт готовых датасетов доступен в форматах CSV или Parquet для дальнейшего использования в других инструментах анализа данных или системах учета.