Чи можна довіряти чатботу здоров’я? Дослідження каже — не зовсім

Чатбот проти лікаря: кому краще вірити при хворобі.

Джерело: medicalxpress.com

Команда дослідників зі сфери штучного інтелекту та медицини з Великої Британії та США протестувала точність медичних порад, які великі мовні моделі (LLM) надають користувачам. У своїй статті, розміщеній на препринт-сервері arXiv, вони описали, як попросили 1298 добровольців звернутися до чатботів за медичними порадами, а потім порівняли отримані відповіді з порадами з інших онлайн-джерел або зі здоровим глуздом самих користувачів.

У багатьох країнах звернення до лікаря може бути складним, дорогим або незручним, тому люди дедалі частіше звертаються за порадою до чатботів, таких як ChatGPT. У цьому дослідженні науковці вирішили з’ясувати, наскільки корисними є такі поради.

Раніше вже було встановлено, що ШІ може складати медичні іспити з високими балами та демонструвати відмінні результати на тестових завданнях. Але залишалося відкритим питання: чи працюють ці навички у реальному житті?

Щоб перевірити точність, команда поділила 1298 людей на випадкові групи. Одні використовували чатботи (зокрема Command R+, Llama 3, GPT-4o), інші — звичайні методи: пошукові системи, медичні сайти, власну інтуїцію. Усі діалоги з чатботами були записані та проаналізовані дослідниками.

З’ясувалося, що учасники часто пропускали важливі деталі при запитах, що ускладнювало роботу ШІ. Через це відбувалося багато "збоїв у комунікації". При порівнянні запропонованих діагнозів і лікувань чатботів з іншими джерелами виявилося: іноді поради збігалися, але часто — були гіршими. У дуже рідкісних випадках вони були кращими.

Також було встановлено, що після спілкування з чатботом добровольці частіше неправильно визначали хворобу або недооцінювали її серйозність. Дослідники зробили висновок: за медичними порадами краще звертатися до перевірених джерел.