Штучний інтелект навчили відповідати чесно

Коли краще промовчати ніж помилитися

Джерело: techxplore.com

У складних ситуаціях, як-от медицина чи юриспруденція, краще визнати «я не знаю», ніж дати хибну відповідь. Але більшість моделей штучного інтелекту досі воліють відповідати будь-що, навіть ризикуючи помилитися. Команда дослідників з Університету Джонса Гопкінса запропонувала новий підхід, який дозволяє ІІ уникати таких ризиків.

Мова про метод, що змушує моделі довше «розмірковувати» і давати відповідь лише тоді, коли впевненість у ній перевищує встановлений поріг. Інакше модель просто каже: «не знаю».

«Ми помітили, що великі мовні моделі витрачають більше часу на складні задачі. Тож постало питання: а чи допомагає цей додатковий час оцінити, чи відповідь правильна?» — розповідає співавтор дослідження Вільям Джурайдж.

Команда перевірила, як довжина логічного ланцюжка впливає на точність і впевненість відповідей, і з'ясувала: більше часу — не завжди краще. Якщо модель має надто багато ресурсів і не карається за помилки, вона починає робити більше неправильних здогадок.

Тому дослідники ввели три сценарії оцінювання: «іспит» (без покарання за помилки), «Що? Де? Коли?» (баланс винагород і штрафів) і «високі ставки» (штрафи за помилку вищі за нагороду за правильну відповідь).

Результат: у складних умовах моделі краще утримуються від відповіді, якщо не впевнені — і це саме те, чого хочуть бачити в медицині, праві чи інженерії.

«Нехай краще студентка почекає 10 хвилин, щоб дізнатися, що AI не впевнений у відповіді, ніж отримає хибну інформацію за 5 хвилин», — зазначає Джурайдж.

Команда закликає дослідників AI оцінювати свої моделі у сценаріях з покараннями за помилки — це допоможе зробити системи відповідальнішими.