Качество ИИ-ассистента на 80% определяется качеством данных, на которых он обучен. Можно использовать самую современную языковую модель, но если данные неполные, устаревшие или неструктурированные — ответы будут неточными. В этой статье разберём, какие данные нужны, как их подготовить и структурировать для запуска ИИ-ассистента.
Основные типы данных для ИИ-ассистента
Для запуска ИИ-ассистента используются пять основных типов данных. Первый — внутренние документы компании: регламенты, инструкции, политики, договоры, техническая документация. Второй — FAQ: частые вопросы и ответы из службы поддержки, желательно в структурированном виде (CSV, Excel, база знаний). Третий — история обращений: диалоги поддержки, чаты, письма — это золотой фонд для понимания реальных запросов пользователей.
Четвёртый тип — база знаний в Confluence, Notion, SharePoint или Google Docs. Пятый — регламенты и скрипты: алгоритмы действий, чек-листы, скрипты ответов для типовых ситуаций. Чем больше разнообразных данных — тем точнее и полезнее будет ИИ-ассистент.
Требования к качеству данных
Не все данные одинаково полезны. Вот ключевые критерии качества:
| Критерий качества | Хорошие данные | Плохие данные |
|---|---|---|
| Актуальность | Документы не старше 1 года | Устаревшие инструкции 3+ лет |
| Структурированность | Разделы, заголовки, списки, таблицы | Сплошной текст без разметки |
| Полнота покрытия | Описаны 80–90% типовых сценариев | Пробелы, дубли, противоречия |
| Формат | Текст, HTML, Markdown, PDF | Сканы, фотографии, таблицы в картинках |
Сколько данных нужно для старта
Для MVP ИИ-ассистента достаточно 50–200 страниц документов. Это может быть 10–30 файлов с инструкциями и FAQ. Для production-версии требуется от 500 страниц. Важно не количество, а покрытие: данные должны описывать 80–90% типовых запросов пользователей. Если данных меньше 50 страниц — ИИ-ассистент будет часто отвечать «не знаю» или давать неточные ответы.
Если у вас нет структурированной базы знаний — не отчаивайтесь. 60% наших клиентов начинали с «сырых» данных: писем, чатов, разрозненных документов. Мы помогаем структурировать и очистить данные за 1–2 недели.
Где брать данные, если их нет: пошаговая инструкция
Шаг 1 — экспорт из каналов поддержки. Выгрузите все чаты, письма и сообщения из Telegram за последние 6–12 месяцев. Удалите персональные данные клиентов, оставьте только вопросы и ответы операторов. Из 1000 диалогов вы получите 50–100 страниц чистого контента. Шаг 2 — интервью с экспертами. Запишите 2–3 часовых интервью с ключевыми сотрудниками: пусть они продиктуют ответы на самые частые вопросы. Расшифровка даст ещё 30–50 страниц. Шаг 3 — публичные источники. Отраслевые стандарты, ГОСТы, инструкции производителей — структурируйте документы по разделам. Шаг 4 — объединение и очистка. Соберите все материалы в единую папку, приведите к единому стилю, удалите дубли. Итог: 150–300 страниц релевантных данных за 1–2 недели без найма дополнительных сотрудников. Одна компания из нашего портфеля собрала 200 страниц за неделю, просто экспортировав переписку из Telegram-канала поддержки.
Чек-лист подготовки данных к запуску
Перед тем как загружать данные в ИИ-ассистента, проверьте их по пяти пунктам. 1) Актуальность: документы не старше 1 года, устаревшие инструкции удалены или помечены. 2) Структура: есть заголовки, списки, таблицы, разбивка по разделам. Сплошной текст без разметки — плохо. 3) Полнота: описаны 80% типовых сценариев. Если в базе знаний нет ответов на частые вопросы пользователей — точность ответов будет низкой. 4) Формат: документы в текстовом формате (HTML, Markdown, DOCX, PDF с текстовым слоем). Сканы и фотографии — не подходят. 5) Уникальность: нет противоречий между разными документами. Если один регламент говорит «делать так», а другой — «иначе», ИИ будет путаться. Пройдите по чек-листу за час — и качество ответов ИИ-ассистента вырастет на 30–40%.
Как избежать ошибок при подготовке данных
Четыре ошибки, которые сводят на нет усилия по подготовке данных. Ошибка 1 — загрузить сырые логи чатов без фильтрации. В логах есть дубли, неполные диалоги, спам и тестовые сообщения. Перед загрузкой удалите дубли, отфильтруйте только завершённые диалоги с корректным ответом оператора. Ошибка 2 — использовать устаревшие инструкции. Документы 3-летней давности содержат неактуальные процедуры — ИИ будет давать неправильные ответы. Проверьте даты и обновите всё, что старше года. Ошибка 3 — игнорировать форматирование. Один документ в PDF, другой — в Word, третий — скриншот таблицы. Приведите всё к единому формату: HTML или Markdown с заголовками и списками. Ошибка 4 — не проверить на противоречия. Если два документа дают разные ответы на один вопрос — ИИ будет путаться. Пройдитесь по базе знаний и устраните противоречия. Уделите этим пунктам 2–3 часа — и качество ИИ вырастет в разы.
Статья подготовлена командой Paladin Engineering — разрабатываем AI-решения и цифровые продукты под ключ с 2011 года. За 14 лет выполнили более 150 проектов: от AI-агентов и мобильных приложений до enterprise-платформ.
Перед запуском проекта проводим бесплатный аудит: за 2–3 дня оцениваем данные, сроки и бюджет. Вы получаете прозрачную картину и рекомендации без обязательств. Оставьте заявку на сайте.
FAQ
Что делать, если данных для обучения ИИ совсем нет?
Начните со сбора. Опросите экспертов компании — запишите их ответы на типовые вопросы. Соберите историю обращений в поддержку. Структурируйте FAQ, если его нет. Обычно подготовка минимального набора данных занимает 1–2 недели силами ваших сотрудников. Paladin Engineering предоставляет шаблоны и чек-листы для сбора данных.
Нужно ли размечать данные вручную для ИИ-ассистента?
Для RAG-подхода (поиск по документам) ручная разметка не требуется — модель сама находит релевантные фрагменты. Для fine-tuning (дообучения модели) разметка нужна: 200–500 пар «вопрос-ответ» для базовой настройки. Paladin Engineering использует RAG на старте и fine-tuning — на этапе масштабирования.
Как часто нужно обновлять данные?
Рекомендуется обновлять базу знаний ИИ-ассистента не реже одного раза в месяц. Paladin Engineering настраивает автоматическую синхронизацию с Confluence, Bitrix24, Google Docs — данные обновляются автоматически каждые 24 часа. Это гарантирует, что ИИ всегда отвечает на основе актуальной информации.
Какие данные НЕЛЬЗЯ передавать ИИ-ассистенту?
Персональные данные клиентов (подпадают под 152-ФЗ), коммерческую тайну, банковские реквизиты, критичную информацию, доступ к которой должен быть ограничен. Используем изолированный контур для данных: ИИ-агент не отправляет данные внешним моделям, все запросы обрабатываются внутри защищённой среды.
Влияет ли формат файлов на качество ответов?
Да. Лучший формат — структурированный текст с заголовками, списками и таблицами (HTML, Markdown, DOCX). PDF с текстовым слоем обрабатывается хорошо. Сканы документов и фотографии — плохо, так как требуется OCR, который теряет до 20% информации. Рекомендуем конвертировать сканы в текст перед загрузкой в базу знаний.
Комментарии