Согласно новым сообщениям, GPT-4 от OpenAI показал замечательные результаты в соревновании с офтальмологами. Оценки, полученные с помощью большой языковой модели (БЯМ) генеративного искусственного интеллекта, были более точны, чем у младших врачей и стажеров-офтальмологов. Генеративный ИИ от Microsoft даже смог приблизиться к уровню экспертов в этой области.
Исследование, опубликованное в журнале PLOS Digital Health, еще раз доказало, что ИИ может быть полезен в медицинской сфере. Говоря о результатах, Арун Тирунавукарасу, ведущий автор статьи, сказал:
«Эта работа показывает, что знания и способности к выводам этих больших языковых моделей в контексте здоровья глаз теперь почти неотличимы от экспертных. Мы наблюдаем способность отвечать на довольно сложные вопросы».
Он имел в виду то, что GPT-4 может верно отвечать на вопросы с множественным выбором. Всего в ходе исследования GPT-4 было задано 87 вопросов. На них же отвечали пять опытных офтальмологов, три стажера-окулиста и два младших врача общей практики.
Для исследования была разработана анкета на основе учебника для тренировки будущих офтальмологов по всем темам: от чувствительности к свету до травм. Важно отметить, что учебника нет в открытом доступе. Таким образом, исследователи полагают, что OpenAI сама смогла обучить свои БЯМ.
Во время тестирования у ChatGPT версии GPT-4 и GPT-3.5 было три попытки дать окончательный ответ. Из 87 различных сценариев обращения пациентов GPT-4 превзошел младших специалистов и достиг результатов уровня уже состоявшихся офтальмологов. В частности, GPT-4 правильно ответил на 60 из 87 вопросов, а младшие врачи — на 37.
Стажеры в области офтальмологии оказались довольно близки к результатам ИИ, набрав в среднем 59,7 правильных ответов. За исключением одного эксперта, правильно ответившего на 56 вопросов, остальные специалисты в среднем дали 66 правильных ответов.
Для сравнения, PaLM 2 удалось получить 49 правильных ответов, GPT-3.5 — только 42, а LLaMa в аутсайдерах со своими 28 правильными ответами.
Исследование проводилось в середине 2023 года. Вероятно, за это время БЯМ подтянула свои знания, стала намного лучше понимать сложные вопросы и отвечать на них.
Индустрия здравоохранения, несомненно, выиграет от появления ChatGPT, Gemini и других ИИ-платформ. Однако некоторые медицинские эксперты предостерегают от использования ИИ в диагностике пациента. По их словам, таким платформам «не хватает нюансов». Следовательно, вероятность ошибки может быть довольно высокой.
Источник — androidheadlines.com
