Использование открытых больших языковых моделей для быстрого прототипирования систем первичной диагностики: сравнение с традиционными ML-подходами

АННОТАЦИЯ

Актуальность. Внедрение систем поддержки принятия врачебных решений (СППВР) в практику первичной медико-санитарной помощи сопряжено со значительными временными и ресурсными затратами на этапах разработки и клинической валидации. Открытые большие языковые модели (LLM) с  возможностью локального развертывания могут рассматриваться как инструмент быстрого прототипирования, позволяющий снизить издержки на начальных стадиях создания подобных систем, однако их использование имеет ряд ограничений.

Цель: провести сравнительный анализ временных и вычислительных затрат на разработку и  эксплуатацию диагностических моделей на основе LLM и  специализированных нейросетевых классификаторов (ML) для оценки экономической целесообразности применения LLM на этапе создания прототипа.

Материалы и методы. На выборке из 171 клинического случая с консенсусной разметкой, выполненной тремя врачами-экспертами, было проведено сравнение четырех квантованных LLM (DeepSeek-R17B и 14B, YandexGPT‑5-Lite‑8B, GigaChat‑20B) и двух версий ML-модели Webiomed SC (обученных на 1 млн. и 18 млн. записей). Оценивались точность по метрике Top‑3, время инференса, а также затраты человеко-часов и вычислительных ресурсов на подготовку и эксплуатацию моделей.Результаты. Наилучшая из протестированных LLM (YandexGPT‑8B) достигла точности 67% по метрике Top‑3, что сопоставимо с ML-моделью, обученной на 1 млн. записей (67%), но уступает версии, обученной на 18 млн. записей (78%). При этом трудоемкость настройки LLM составила 8 человеко-часов против 340 человеко-часов для базовой ML-модели. Стоимость вычислительных ресурсов на этапе настройки LLM оказалась в 14 раз ниже затрат на обучение ML-модели на большом корпусе Однако эксплуатационные расходы на LLM значительно превышают стоимость обслуживания ML-моделей.

Выводы. Открытые LLM выступают эффективным инструментом быстрого прототипирования при создании диагностических СППВР, позволяя в сжатые сроки и с минимальными начальными вложениями оценить жизнеспособность сервиса. 

Для промышленной эксплуатации в  условиях ограниченных бюджетов региональных систем здравоохранения предпочтительным является использование специализированных ML-моделей, обеспечивающих низкую совокупную стоимость владения при высоких объемах обращений. Полученные данные могут быть использованы руководителями медицинских организаций при формировании стратегии цифровой трансформации диагностических процессов.