Галлюцинации · RAG · надёжность
Почему ИИ галлюцинирует и врёт клиентам — и что с этим делать
Ассистент уверенно называет цену, которой нет, и услугу, которой не существует — клиент верит и уходит недовольным. Галлюцинация — инженерный дефект: его можно измерить, снизить до приемлемого уровня и держать под контролем — как latency или ошибки в проде.
Кастомный ассистент на RAG закрывает 94% обращений автоматически — против 60–70% у кнопочных ассистентов. Это возможно только тогда, когда ответам можно доверять: галлюцинирующего ассистента к клиентам просто не подпустят — Проверить на демо →
Что делать завтра: 5 шагов
Собрать источник правды
Соберите в одно место то, чем должен отвечать ассистент: прайсы, регламенты, FAQ, выгрузки из МИС или CRM. Пока фактов нет в базе, модель будет их достраивать — уверенно и складно.
Почистить базу
Уберите дубли, устаревшие версии и противоречия. Три версии прайса и два несогласованных регламента — и ИИ выберет «красивое» вместо «правильного». Мусор на входе — мусор на выходе; 80% ценности даёт чистый источник.
RAG вместо голой модели
Подключите retrieval-augmented generation: сначала поиск находит нужный фрагмент в вашей базе, потом модель отвечает только по нему и даёт ссылку на источник. Выдумывать больше нечего.
Метрики точности
Заведите измерение: grounding, hallucination rate, доля честных «не знаю». Гоняйте их как тесты в CI — поменяли базу или промпт, прогнали золотой набор вопросов, поймали регресс. Без этого «стало лучше» — вкусовщина.
«Не знаю» вместо выдумки
Настройте правило: нет в базе → честное «уточню у врача / соединю с оператором». Это главный предохранитель от галлюцинаций, особенно там, где цена ошибки высока.
Из чего строится защита от галлюцинаций
RAG поверх базы знаний
Мы даём модели источник правды и заставляем отвечать только по нему. Сначала поиск находит нужный кусок в вашей базе, потом модель формулирует ответ по нему. Как это работает — разобрали в статье что такое RAG простыми словами.
Чистая база знаний
Собираем и вычищаем источник правды: дубли, устаревшее, противоречия. Режем на осмысленные куски (чанкинг), чтобы поиск находил нужное, и настраиваем, кто держит базу актуальной. Устаревшая база — это вежливая ложь.
Ответ со ссылкой на источник
Ассистент отвечает по найденному фрагменту и показывает, откуда взят факт. Опору на источник (grounding, faithfulness) видно и можно проверить — чёрного ящика тут нет.
Честное «не знаю» и эскалация
Вместо правдоподобной выдумки на вопрос вне базы — «не знаю, передаю человеку». Человек в петле там, где ошибиться дорого. Настроить это правило — то, что мы делаем в первую очередь.
Строгость контура по цене ошибки
Один движок — разная строгость: флористу порог мягче (ошибся с букетом — не трагедия), клинике жёстче («не знаю, передаю врачу»). Настраиваем под нишу.
Измерение точности
Grounding, hallucination rate, доля честных «не знаю», регресс-тесты на золотом наборе вопросов. Точность измеряется числом.
Обсудим ваш проект?
Бесплатный аудит: посчитаем эффект от ИИ в ваших процессах и назовём срок и бюджет внедрения.
Что даёт контроль галлюцинаций
Частые вопросы
Честно — нулевой галлюцинации не гарантирует никто, и кто продаёт «100% без ошибок», занимается инфоцыганством. Наша цель другая: управляемый и измеримый риск, ниже, чем у живого оператора в текучке. Мы заставляем отвечать только по базе, настраиваем «не знаю → передать человеку», измеряем hallucination rate и держим его под порогом, а для высокой цены ошибки ставим более строгий контур и человека в петле. Именно поэтому ассистент дошёл до пациентов в 12 клиниках.
Fine-tune меняет стиль и поведение модели, но плохо держит меняющиеся факты. Прайс поменялся вчера — переобучать модель каждый раз дорого и медленно, это стрельба лазером по воробьям. RAG обновляется мгновенно: поменяли документ в базе — ответ уже другой. Плюс RAG даёт ссылку на источник, а fine-tune — чёрный ящик. На практике часто комбинируем: RAG для фактов, лёгкий тюнинг — для тона.
RAG (retrieval-augmented generation) — это «дать ИИ прочитать вашу шпаргалку перед ответом». Сначала поиск находит нужный фрагмент в вашей базе знаний, потом модель отвечает только по нему и даёт ссылку на источник. Модель перестаёт выдумывать просто потому, что ей есть откуда взять правду. Подробно разобрали в отдельной статье: что такое RAG простыми словами.
Она обучена на всём интернете, ваших прайсов, регламентов и МИС в ней нет. Когда модель не знает ответа, она по умолчанию не молчит, а достраивает правдоподобное. Чем специфичнее вопрос клиента, тем выше риск выдумки. Модель не знает ваших фактов, поэтому мы даём ей ваш источник.
Не на глаз. Grounding и faithfulness — опирается ли ответ на источник; hallucination rate — доля выдуманного; доля честных «не знаю» — молчит ли модель, когда правда не знает. Плюс регресс-тесты на золотом наборе вопросов. Гоняем эти метрики как тесты в CI: поменяли базу или промпт — прогнали набор, поймали регресс. Без измерения «стало лучше» — это вкусовщина.
Да, но с более строгим контуром. Чем выше цена ошибки, тем жёстче правило «нет в базе — не выдумывай, передай человеку», и тем важнее человек в петле. В медицине лучше «уточню у врача», чем красивая выдумка. Данные держим на серверах в РФ, по 152-ФЗ, под NDA. Именно строгий контур позволил довести ассистента до пациентов там, где выдумка опаснее всего.
Не обязательно. Простой ассистент запускается до 2 дней, базовый кастомный — от 490 ₽/мес, ассистент с базой знаний и CRM — от 490 ₽/мес. Токены, хостинг и поддержка входят в тариф. Демо до оплаты бесплатно, результат фиксируем в договоре (KPI, сроки), окупаемость в среднем около 3 месяцев. Основная работа — чистка базы знаний: часто 80% ценности даёт правильно собранный источник правды.
Продукт команды PapAI Soft
Продаёте по телефону? Проверьте, что говорят менеджеры
Для этого у нас есть CANAL: он разбирает записи разговоров менеджеров по вашему регламенту и показывает, где теряются сделки. Подключение самостоятельное, бесплатный тариф без карты.