Эксперт предупредила о рисках консультации с ИИ по теме здоровья
МОСКВА, 1 ноя - РИА Новости. Консультироваться с ИИ по состоянию здоровья опасно, поскольку бот не видит истории болезни и склонен соглашаться с любым мнением человека, рассказала РИА Новости доцент РЭУ им. Г. В. Плеханова Марина Холод.
Ранее СМИ сообщили, что в США женщина, страдавшая эпилепсией, умерла после того, как по совету ChatGPT постепенно снизила дозу своего противосудорожного препарата до нуля. По заключению судмедэкспертов, женщина умерла от синдрома внезапной смерти при эпилепсии. Родители девушки подали в суд на разработчика чат-бота - компанию OpenAI.
"Главный риск ИИ в роли консультанта по здоровью не в том, что он "не знает медицину". У него нет того, что есть у врача: он не осматривает пациента, не видит анализов и истории болезни, не несет ответственности... Есть простое правило: если чат-бот предлагает изменить схему приема лекарств, отменить препарат или скрыть что-то от врача, разговор нужно прекращать и обращаться к специалисту", - считает Холод.
Особенно опасно отменять или менять дозировки противоэпилептических, психиатрических, сердечных препаратов, инсулина и антикоагулянтов. "Также опасны сочетания лекарств, дозировки для детей и попытки поставить себе диагноз и отложить визит к врачу. Резкая отмена ряда препаратов может быть смертельно опасна, и такое решение принимает только врач", - подчеркнула Холод.
При этом важно помнить, что языковые модели склонны соглашаться с пользователем. Так что если человек уже хочет отказаться от лекарства, языковая модель может начать помогать ему в этом вместо того, чтобы возразить. А учитывая, что ответ нейросети, даже неверный, будет звучать уверенно и грамотно, неспециалист не сможет отличить верный ответ от неверного, отметила Холод.
"Полностью отказываться от ИИ в вопросах здоровья не обязательно. Он может объяснить медицинский термин, помочь разобраться в инструкции, подготовить вопросы к врачу", - добавила Холод.
Комментируя ситуацию с умершей американкой, эксперт подчеркнула, что подобные иски ставят вопрос об ответственности разработчиков. Ведь если медицинские ИИ-системы в клиниках проходят регистрацию и проверку, то универсальные чат-боты не проходят, хотя люди фактически используют их как врача.
"Советы по изменению лечения для таких систем должны быть жестким запретом, а не зоной, где все зависит от формулировки вопроса. И разработчики такой запрет вполне могут реализовать в алгоритме модели ИИ-системы. Это, несомненно, должно быть сделано, чтобы не допускать более таких случаев", - подытожила Холод,
Ранее СМИ сообщили, что в США женщина, страдавшая эпилепсией, умерла после того, как по совету ChatGPT постепенно снизила дозу своего противосудорожного препарата до нуля. По заключению судмедэкспертов, женщина умерла от синдрома внезапной смерти при эпилепсии. Родители девушки подали в суд на разработчика чат-бота - компанию OpenAI.
"Главный риск ИИ в роли консультанта по здоровью не в том, что он "не знает медицину". У него нет того, что есть у врача: он не осматривает пациента, не видит анализов и истории болезни, не несет ответственности... Есть простое правило: если чат-бот предлагает изменить схему приема лекарств, отменить препарат или скрыть что-то от врача, разговор нужно прекращать и обращаться к специалисту", - считает Холод.
Особенно опасно отменять или менять дозировки противоэпилептических, психиатрических, сердечных препаратов, инсулина и антикоагулянтов. "Также опасны сочетания лекарств, дозировки для детей и попытки поставить себе диагноз и отложить визит к врачу. Резкая отмена ряда препаратов может быть смертельно опасна, и такое решение принимает только врач", - подчеркнула Холод.
При этом важно помнить, что языковые модели склонны соглашаться с пользователем. Так что если человек уже хочет отказаться от лекарства, языковая модель может начать помогать ему в этом вместо того, чтобы возразить. А учитывая, что ответ нейросети, даже неверный, будет звучать уверенно и грамотно, неспециалист не сможет отличить верный ответ от неверного, отметила Холод.
"Полностью отказываться от ИИ в вопросах здоровья не обязательно. Он может объяснить медицинский термин, помочь разобраться в инструкции, подготовить вопросы к врачу", - добавила Холод.
Комментируя ситуацию с умершей американкой, эксперт подчеркнула, что подобные иски ставят вопрос об ответственности разработчиков. Ведь если медицинские ИИ-системы в клиниках проходят регистрацию и проверку, то универсальные чат-боты не проходят, хотя люди фактически используют их как врача.
"Советы по изменению лечения для таких систем должны быть жестким запретом, а не зоной, где все зависит от формулировки вопроса. И разработчики такой запрет вполне могут реализовать в алгоритме модели ИИ-системы. Это, несомненно, должно быть сделано, чтобы не допускать более таких случаев", - подытожила Холод,
ИсточникРИА Новости
