Искусственный интеллект с открытым исходным кодом соответствует лучшим фирменным моделям в решении сложных медицинских случаев
Искусственный интеллект может преобразовать медицину множеством способов, в том числе обещает стать надежным помощником в диагностике для занятых врачей.
За последние два года фирменные модели ИИ, также известные как модели с закрытым исходным кодом, преуспели в решении сложных медицинских случаев, требующих сложных клинических рассуждений. Примечательно, что эти модели ИИ с закрытым исходным кодом превзошли модели с открытым исходным кодом, так называемые потому, что их исходный код находится в открытом доступе и может быть изменен и изменен кем угодно.
Догнал ли нас ИИ с открытым исходным кодом?
Похоже, ответ — да, по крайней мере, когда речь идёт об одной такой модели ИИ с открытым исходным кодом, согласно результатам нового исследования, финансируемого Национальными институтами здравоохранения (NIH), проведенного учёными Гарвардской медицинской школы в сотрудничестве с врачами медицинского центра Beth Israel Deaconess, связанного с Гарвардом, и больницы Brigham and Women’s Hospital.
Результаты, опубликованные 14 марта в JAMA Health Forum, показывают, что испытательный инструмент ИИ с открытым исходным кодом под названием Llama 3.1 405B показал результаты на уровне GPT-4, ведущей фирменной модели с закрытым исходным кодом. В своём анализе исследователи сравнили производительность двух моделей на 92 загадочных случаях, представленных в еженедельной рубрике диагностически сложных клинических сценариев The New England Journal of Medicine.
Результаты исследования показывают, что инструменты ИИ с открытым исходным кодом становятся все более конкурентоспособными и могут стать ценной альтернативой проприетарным моделям.
«Насколько нам известно, это первый раз, когда модель ИИ с открытым исходным кодом сравнялась с производительностью GPT-4 в таких сложных случаях, как оценивают врачи», — сказал старший автор Арджун Манрай, доцент кафедры биомедицинской информатики в Институте Блаватника в HMS. «Действительно поразительно, что модели Llama так быстро догнали ведущую фирменную модель. Пациенты, поставщики медицинских услуг и больницы выиграют от этой конкуренции».
Плюсы и минусы систем ИИ с открытым и закрытым исходным кодом
ИИ с открытым исходным кодом и ИИ с закрытым исходным кодом различаются по нескольким важным параметрам. Во-первых, модели с открытым исходным кодом можно загружать и запускать на частных компьютерах больницы, сохраняя данные пациентов внутри. Напротив, модели с закрытым исходным кодом работают на внешних серверах, требуя от пользователей передачи личных данных вовне.
«Модель с открытым исходным кодом, вероятно, будет более привлекательной для многих руководителей служб информации, администраторов больниц и врачей, поскольку передача данных из больницы в другую организацию, пусть даже и доверенную, имеет принципиально иной характер», — сказал ведущий автор исследования Томас Бакли, докторант нового направления «Искусственный интеллект в медицине» на кафедре биомедицинской информатики Медицинской школы Его Превосходительства.
Во-вторых, медицинские и ИТ-специалисты могут настраивать модели с открытым исходным кодом для удовлетворения уникальных клинических и исследовательских потребностей, в то время как инструменты с закрытым исходным кодом, как правило, сложнее адаптировать.
«Это ключ», — сказал Бакли. «Вы можете использовать локальные данные для тонкой настройки этих моделей, как базовыми, так и сложными способами, чтобы они были адаптированы к потребностям ваших врачей, исследователей и пациентов».
В-третьих, разработчики искусственного интеллекта с закрытым исходным кодом, такие как OpenAI и Google, размещают собственные модели и предоставляют традиционную поддержку клиентов, в то время как модели с открытым исходным кодом возлагают ответственность за настройку и обслуживание модели на пользователей. И, по крайней мере, до сих пор модели с закрытым исходным кодом оказались проще в интеграции с электронными медицинскими картами и ИТ-инфраструктурой больниц.
ИИ с открытым исходным кодом против ИИ с закрытым исходным кодом: оценочная таблица для решения сложных клинических случаев
Алгоритмы ИИ как с открытым, так и с закрытым исходным кодом обучаются на огромных наборах данных, которые включают медицинские учебники, рецензируемые исследования, инструменты поддержки принятия клинических решений и анонимные данные пациентов, такие как исследования случаев , результаты тестов, сканы и подтвержденные диагнозы. Тщательно изучая эти горы материала на гиперскорости, алгоритмы изучают закономерности. Например, как выглядят раковые и доброкачественные опухоли на слайде патологии? Каковы самые ранние контрольные признаки сердечной недостаточности? Как отличить нормальную и воспаленную толстую кишку на КТ? При представлении нового клинического сценария модели ИИ сравнивают входящую информацию с контентом, который они усвоили во время обучения, и предлагают возможные диагнозы.
В своём анализе исследователи протестировали Llama на 70 сложных клинических случаях NEJM , которые ранее использовались для оценки производительности GPT-4 и описаны в более раннем исследовании под руководством Адама Родмана, доцента медицины HMS в Beth Israel Deaconess и соавтора нового исследования. В новом исследовании исследователи добавили 22 новых случая, опубликованных после окончания периода обучения Llama, чтобы исключить вероятность того, что Llama могла непреднамеренно столкнуться с некоторыми из 70 опубликованных случаев во время своего базового обучения.
Модель с открытым исходным кодом продемонстрировала подлинную глубину: Llama поставила правильный диагноз в 70 процентах случаев по сравнению с 64 процентами для GPT-4. Она также оценила правильный выбор как своё первое предложение в 41 проценте случаев по сравнению с 37 процентами для GPT-4. Для подмножества из 22 новых случаев модель с открытым исходным кодом набрала ещё больше очков, сделав правильный выбор в 73 процентах случаев и определив окончательный диагноз как своё главное предложение в 45 процентах случаев.
«Как врач, я видел, что большая часть внимания к мощным большим языковым моделям сосредоточена вокруг фирменных моделей, которые мы не можем запустить локально», — сказал Родман. «Наше исследование показывает, что модели с открытым исходным кодом могут быть столь же мощными, предоставляя врачам и системам здравоохранения гораздо больше контроля над тем, как используются эти технологии».
По данным отчета за 2023 год , ежегодно в Соединенных Штатах около 795 000 пациентов умирают или получают постоянную инвалидность из-за диагностических ошибок.
Помимо непосредственного вреда для пациентов, диагностические ошибки и задержки могут стать серьёзным финансовым бременем для системы здравоохранения. Неточная или поздняя диагностика может привести к ненужным тестам, ненадлежащему лечению и, в некоторых случаях, к серьёзным осложнениям, с которыми со временем становится сложнее и дороже справляться.
«Используемые с умом и ответственно включенные в текущую инфраструктуру здравоохранения, инструменты ИИ могли бы стать бесценными вторыми пилотами для занятых врачей и служить надёжными диагностическими помощниками для повышения как точности, так и скорости диагностики», — сказал Манраи. «Но по-прежнему важно, чтобы врачи помогали направлять эти усилия, чтобы убедиться, что ИИ работает на них».
Автор Владислав Кулач
Контакты, администрация и авторы
