Одним из главных недостатков чатботов с искусственным интеллектом называют «галлюцинации» — синтез ответов, для которых нет оснований в учебной выборке. Такие ответы систем ИИ выглядят правдоподобными, но не соответствуют действительности и контексту запроса.

Склонность моделей генеративного интеллекта наподобие GPT-4 к ошибкам этого рода серьезно подрывает потенциал их применения в здравоохранении, финансах, юриспруденции и других областях, где требуется предельная точность ответов.

Большие языковые модели являются по своей сути вероятностными и недетерминированными. Если судить по ответам чатботов с ИИ, может показаться, что они «мыслят» подобно человеку, но это не так. Они синтезируют текст с учетом вероятности появления определенной последовательности слов в продолжение текущей. Такой текст следует правилам грамматики и семантики, но он строится не на «знаниях», а на корпусе учебных данных и соблюдении требования статистического соответствия запросу.

В задачах творческого характера «галлюцинации» ИИ могут быть даже полезными, но когда речь идет о необходимости получить верный ответ, чтобы на его основе принять важное решение, ошибки подобного рода недопустимы. К тому же в любом случае, склонность к «галлюцинациям» снижает доверие к интеллектуальным чатботам.

Главная причина таких ошибок — различные недостатки учебных данных, в частности, шум и выбросы, которые модель может усвоить в результате переобучения. К последнему приводит чрезмерная сложность модели, ограниченный объем учебной выборки и высокий уровень шума. Следствием становится низкое качество обнаружения закономерностей, ошибки классификации и прогнозирования и др. Еще одна причина — низкое качество учебных данных. Это может быть следствием ошибок разметки и классификации, допущенных операторами обучения, наличия систематической погрешности, отсутствия актуальных тематических данных и др.

Устранение галлюцинаций ИИ достигается методами тонкой настройки, «инженерии запросов» и подкрепления актуальными данными (retrieval-augmented generation, RAG).

Тонкая настройка означает дополнительное обучение модели с помощью узкоспециальных наборов данных, что позволяет ей синтезировать точные ответы в предметной области. На дообучение уходит дополнительное время и требуются значительные средства, особенно если отрасль стремительно развивается и процедуру необходимо регулярно повторять.

Инженерия запросов снижает вероятность галлюцинаций за счет предоставления в самом запросе дополнительных контекстных сведений, не позволяющих модели «выйти за рамки реальности».

Подкрепление актуальными данными, в свою очередь, состоит в снабжении модели фактической информацией из внешнего хранилища знаний в режиме реального времени. Данные для RAG размещаются в операционном хранилище в «родном» формате больших языковых моделей — в виде векторных вложений (embeddings). В рамках RAG можно использовать общедоступные и проприетарные свежие данные — это позволяет ИИ синтезировать более точные ответы благодаря обогащению запроса контекстными сведениями. Показано, что RAG можно с успехом применять на предприятиях, как недорогую и высокопродуктивную альтернативу тонкой настройке моделей.