Ученые Лаборатории искусственного интеллекта и Центра индустрии здоровья Сбербанка приступили к созданию GigaPevt — мультимодального медицинского диагностического ассистента на базе большой языковой модели GigaChat. В его основе — применение бесконтактных методов измерения медицинских параметров в сочетании с диалоговыми возможностями больших языковых моделей.

Первый компонент ассистента расширяет границы восприятия человека: технология дистанционной фотоплетизмографии позволяет по видео лица оценить ключевые социодемографические показатели и некоторые медицинские параметры, например, значение индекса массы тела. А его второй компонент, основанный на модели GigaChat, помогает грамотно выстроить и реализовать сценарий медицинской консультации.