Исследование: могут ли большие языковые модели (вроде ChatGPT) понять сарказм?

[wpcc-element _tag=»source» data-lazy-srcset=»https://fine-news.ru/wp-content/webp-express/webp-images/uploads/2023/12/issledovanie-mogut-li-bolshie-yazykovye-modeli-vrode-chatgpt-ponyat-sarkazm.jpg.webp» alt=»» />

Большие языковые модели (LLM) могут генерировать реалистичные и исчерпывающие тексты на основе обучения, ранжирования и предсказания

Исследователи из Нью-Йоркского университета недавно проверили смогут ли LLM распознавать человеческий сарказм: ироническое заявление, прямо противоположное тому, что кто-то пытается сказать. Выводы пока опубликованы на сервере препринтов arXiv. о них рассказывает Tech Xplore.

«Способность правильно распознавать сарказм необходима для понимания истинного мнения людей», — написала руководитель исследования Джулианн Чжоу.

Анализ настроений — это область исследований, которая включает в себя анализ текстов, обычно публикуемых на платформах социальных сетей или других веб-сайтах, чтобы получить представление о том, как люди относятся к определенной теме или продукту. Сегодня многие компании инвестируют в эту область, чтобы понять, как они могут улучшить свои услуги. Многие обзоры и комментарии в Интернете, содержат иронию и сарказм, что может заставить нейросети классифицировать их как «положительные», хотя на самом деле они выражают отрицательные эмоции, или наоборот.

В исследовании анализируется корпус комментариев с Reddit с использованием двух нейросетей: CASCADE и RCNN-RoBERTa. Также результаты сравнивались с человеческими.

Выяснилось, что нейросети в целом потерпели фиаско, но — за одним исключением: если ИИ просили «ответить так, как ответил бы такой-то пользователь». То есть именно «встраивание личности пользователя» и контекста дало хорошие результаты.