Популярні великі мовні моделі (LLM), такі як ChatGPT і Gemini, виявляють ознаки когнітивних порушень, зокрема деменції, пише портал Medical Xpress.
Тестування «когнітивних» здібностей штучного інтелекту проводили за допомогою Монреальської когнітивної шкали, що допомагає оцінити навички пам’яті, уваги, мовлення та виконавчих функцій. Максимальний бал у тесті – 30. Результат вище 26 вважається нормою. Чат-бот ChatGPT від компанії OpenAI версії 4o показав найкращий результат – 26 балів, тоді як його попередник, ChatGPT 4, і модель Claude від Anthropic набрали по 25 балів. Найнижчий результат продемонстрував чат-бот Gemini версії 1.0 – він набрав лише 16 балів із 30.
Особливо складно мовним моделям далися завдання, що вимагають зорово-просторових навичок. Наприклад, усі боти зазнавали труднощів під час виконання тесту, в якому потрібно було з’єднувати числа і букви в заданій послідовності. Слабкі результати вийшли й в завданнях на запам’ятовування та відтворення послідовностей слів.
Усі чат-боти добре впоралися із завданнями на розпізнавання імен, увагу, абстракцію та мовлення. Однак у складніших тестах, таких як інтерпретація візуальних сцен або виконання тесту Струпа (у ньому потрібно називати кольори слів), більшість моделей не змогли показати гідних результатів. Успішно пройти цей тест зміг тільки ChatGPT версії 4o.
Автори дослідження вважають, що нові дані можуть стати перешкодою для застосування таких чат-ботів у медицині, особливо в клінічній практиці. Ба більше, результати дослідження змушують задуматися про появу нового типу пацієнтів – нейромереж, які також можуть потребувати «лікування» деменції.