Компания «Яндекс» улучшила технологию перевода текста с картинок и фото с помощью нейросети YandexGPT. Для перевода текста с изображений в компании создали адаптированную для этой работы модель YandexGPT. Нейросеть сохраняет стиль оригинального текста, игру слов, а также оригинальную верстку изображения, в частности шрифт и размер букв.
«Технология поможет, например, в поездке, если нужно быстро перевести меню в ресторане, или в работе, чтобы разобраться в нюансах технической документации на иностранном языке», — говорится в сообщении компании.
Обновление для нескольких десятков языков доступно в «Яндекс Переводчике», в браузере, позже оно появится в приложении «Умная камера». В «Яндексе» отметили, что для улучшения технологии перевода компания одной из первых в мире применила большую языковую модель.
Созданную для перевода с картинки модель YandexGPT обучали на парах оригинальных и переведенных текстов. Нейросети демонстрировали эталонные и некачественные тексты, чтобы она подражала только хорошим примерам и не добавляла несуществующие детали, уточнили в компании.