Ученые МГУ исследуют способ выявления автоматически созданных текстов

Ученые факультета вычислительной математики и кибернетики МГУ представили результаты исследования, направленного на разработку методов распознавания автоматически созданных текстов. Эта работа приобретает особую актуальность в контексте растущей важности интернет-отзывов для пользователей, влияя на их решения о покупках, выборе развлечений и т.д.

Последнее десятилетие интернет-отзывы оказывают значительное влияние на принятие пользователями решений о приобретении продуктов и услуг, просмотре фильмов, скачивании игр и пр. Однако растущая доступность методов и средств автоматической генерации текстов ставит под вопрос происхождение этих отзывов. После появления ChatGPT и подобных ему систем как никогда актуальным стала разработка методов, которые в автоматическом режиме могут проверять правдивость информации, появляющейся в сети Интернет.

Автоматически порожденный (искусственно сгенерированный) текст – это текст на естественном языке, созданный, модифицированный или дополненный машиной. В конце прошлого века для их создания использовались методы на основе шаблонов и статистические методы. На смену им пришли более продвинутые методы машинного обучения и нейросетевые модели. В 2017 году была представлена архитектура глубоких нейронных сетей Трансформер (transformer), что привело к созданию огромного количества языковых моделей, позволяющих автоматически создавать большие объемы относительно качественных текстов на естественном языке.

В связи с этим сильно вырос интерес к разработке методов, позволяющих распознавать такие тексты, а именно различать автоматически порожденные и написанные человеком тексты.

«На данный момент существует ряд работ по распознаванию автоматически порожденных текстов на английском языке. Уникальность данной работы состоит в рассмотрении конкретного жанра текста – интернет-отзывов и применения современных методов распознавания к текстам на русском языке», – отметила ассистент кафедры алгоритмических языков факультета ВМК МГУ Наталья Ефремова.

В качестве методов распознавания автоматически порожденных текстов была выбрана модель ruRoBERTa, разработанная командой SberDevices специально для обработки русскоязычных текстов. Дополнительно была рассмотрена модель на основе архитектуры LSTM, поскольку несмотря на эффективность моделей на основе Трансформеров они требуют значительных мощностей и могут не подойти для задач, в которых есть ограничения на вычислительные ресурсы.

«По причине того, что мы не смогли найти в открытом доступе подходящий для обучения моделей набор данных, было принято решение сформировать его самостоятельно. Для генерации отзывов была выбрана модель ruGPT-3 Large, которая хорошо зарекомендовали себя на схожих задачах в других исследованиях», – добавила Наталья Ефремова.

Процесс формирования набора данных состоял из четырех основных этапов:

• сбор данных на различных страницах товаров маркетплейсов Ozon и Яндекс Маркет (получено 20 тысяч реальных отзывов);
• дообучение модели ruGPT-3 на собранных данных;
• генерация искусственных отзывов с использованием дообученной модели (получено 10 тысяч искусственных отзывов);
• создание сбалансированного набора данных из 20 тысяч отзывов.

Созданный набор был использован для обучения и оценки качества работы моделей LSTM и RoBERTa. Модель LSTM достигла точности 82%, модель RoBERTa – 86%.

В целом, модели правильно выделяют сгенерированные отзывы, которые на первый взгляд кажутся реальными. При этом большинство неверных распознаваний приходится на короткие отзывы (<40 символов).

«Мы предполагаем, что это связано с распространенностью некоторых общих фраз в отзывах, на которых обучалась модель. Такие клишированные фразы, повторенные генеративной моделью с точностью до слова, представляют сложности для распознавания», – подчеркнула Наталья Ефремова.

Несмотря на то, что модель RoBERTa показала лучшее качество работы, важно отметить, что модель на основе LSTM также достигла конкурентных результатов. Это указывает на то, что методы, не основанные на Трансформерах, могут быть жизнеспособными для распознавания автоматически порожденных интернет-отзывов в ситуациях, когда временные и вычислительные ресурсы ограничены.

Результаты исследования были представлены на Всероссийской конференции «Ломоносовские чтения-2023».