Практическое руководство

Как снизить риск галлюцинаций AI в поддержке

Запрет в prompt сам по себе не гарантирует точность. Нужна продуктовая архитектура, которая ограничивает источники фактов, показывает неопределённость и сохраняет безопасный путь к сотруднику.

Отделите модель от источника истины

Цены, условия, наличие, сроки и политики должны поступать из управляемой базы знаний. Модель отвечает за формулировку, но не за создание корпоративного факта.

Не обучайтесь на всём автоматически

Хороший ответ оператора может стать предложением статьи. Администратор проверяет формулировку, категорию и актуальность, после чего явно добавляет материал в базу.

Проектируйте отказ

Timeout, недоступность provider и malformed JSON не должны ломать Inbox. Сообщение сохраняется, пользователю предлагается handoff, а ошибка логируется без чувствительного содержимого.

Короткий чек-лист

  • Источники можно выключить и удалить
  • Низкая уверенность приводит к handoff
  • PII минимизируется перед provider
  • Ошибки enrichment не блокируют сообщения