Ми його зламали? Дослідники стверджують, що ChatGPT став гірше відповідати на запити. У чому причина?

Вчені планують провести друге дослідження в цій галузі (Фото:Open AI Master)

Фахівці зі Стенфордського університету та Каліфорнійського університету в Берклі опублікували наукову роботу, яка присвячена змінам у роботі ChatGPT. Повідомляється, що за останні місяці чат-бот став працювати гірше.

Дослідження під назвою «Як змінюється поведінка ChatGPT з часом?» опублікували на сайті arXiv. У ньому автори Ліньцзяо Чен, Матей Захарія та Джеймс Зоу поставили під сумнів роботу великих мовних моделей (LLM), які компанія OpenAI використовує у своїй продукції, зокрема в GPT-3.5 і GPT-4. Учені через доступ до API протестували версії обох моделей, випущені в березні та червні, на чотирьох типах завдань. До списку увійшли математика, відповіді на делікатні запитання, генерація коду і візуальне мислення. І за частиною пунктів ШІ-компаньйон провалив перевірку.

Загубили штучний інтелект?

Як з’ясували дослідники, здатність GPT-4 визначати прості числа різко впала — з 97,6% у березні до 2,4% у червні. А ось GPT-3.5 показав вищі результати за аналогічний період. Проблеми у випадку з GPT-4 виявилися і у відповідях на запитання, що вимагають просторового мислення, а також у генерації коду. Як пояснили автори дослідження в коментарі Gizmodo, під час розв’язання цих завдань ШІ-компаньйон почав видавати більше базового тексту і код, який частіше доводиться редагувати вручну, ніж раніше.