Стартап Patronus разрабатывает программное обеспечение для автоматизированной проверки чат-ботов на основе больших языковых моделей, включая  ChatGPT, Dall-E2 и AlphaCode. Инструменты компании с помощью специально подготовленных запросов обнаруживают в синтезированных ответах проявления непоследовательности и предвзятости, неточности и «галлюцинации». Кроме того, ПО Patronus может заметить, когда большая языковая модель раскрывает конфиденциальные данные.

Как сообщили в компании, разработанные ею тесты позволили выяснить, что большой процент ошибок есть даже в ответах чат-ботов с большим окном контекста (способных «запоминать» очень длинные диалоги) и работающих по принципу подкрепления актуальными данными.

Разработки Patronus применяются в основном в сильно регулируемых отраслях, в частности, в здравоохранении и финансах. Система Patronus FinanceBench, например, выяснила, что многие большие языковые модели, которыми пользуются в финансовой сфере, неверно толкуют законодательные документы, находящиеся в свободном доступе.

Кроме того, не так давно средствами Patronus популярные чат-боты были проверены на нарушение авторского права. Инструмент тестирования предлагал цифровым собеседникам продолжить цитаты из различных произведений, задавал вопросы о том, как звучит первая глава какой-либо книги и т. д. Всего каждому чат-боту было задано 100 подобных вопросов. Тексты, защищенные авторским правом, выдавали все проверенные платформы.