Специалисты из лаборатории компьютерных технологий ИТМО создали систему анализа, распознающую создание текстового материала искусственным интеллектом либо человеком. Разработка также предлагает функционал для стилистической адаптации машинных текстов, приближая их к естественному изложению. Применение двух языковых моделей обеспечивает до 94% точности распознавания. Решение найдёт применение в образовательных учреждениях, СМИ и бизнес-структурах. Данные подтверждены пресс-службой университета.
Крупные языковые модели (Large Language Models, LLM) — разновидность нейросетей, специализирующихся на генерации текстового контента. Несмотря на обучение на человеческих текстах, ИИ неспособен абсолютно точно воспроизводить особенности авторского стиля. Генерируемые материалы нередко содержат неточности, клишированные выражения и кальки с иностранных языков. Кроме того, такие тексты непригодны для последующего обучения ИИ-систем из-за риска снижения качества моделей.
Руководитель исследовательской группы факультета информационных технологий и программирования ИТМО Вячеслав Шаламов пояснил принципы работы современных детекторов искусственного текста. Алгоритмы базируются на трёх типах сигналов: метриках предсказуемости, лингвистических маркерах и технических артефактах нейросетевой обработки.
При этом большинство систем не выявляют соавторство человека и ИИ, когда исходный машинный текст подвергается правкам.
Двойная модель анализа
Разработанный в ИТМО алгоритм распознаёт даже изменённые ИИ-тексты за счёт применения двух языковых моделей. Система сопоставляет степень «предсказуемости» стиля для каждой модели. Значительные расхождения в оценках указывают на машинное происхождение материала.
Дополнительно учитываются синтаксические конструкции, лексическое разнообразие, морфологические особенности и прочие параметры. Комплексная методика обеспечивает 94% точности для полностью машинных или человеческих текстов и около 80% для совместного авторства. Итоговая классификация включает три категории: «человеческий текст», «ИИ-текст», «адаптированный ИИ-текст».
«Случай адаптации ИИ-текста наиболее сложен — сюда относятся материалы, прошедшие перефразирование или перевод. Помимо обозначения класса, система показывает вероятность результата и выделяет спорные фрагменты через тепловую карту. Также предоставляются лингвистические метрики: длина элементов предложения, доля служебных слов, разнообразие лексики, TTR/MTLD, уровень читаемости. Это формирует детализированный отчёт вместо упрощённой оценки», — отметил Вячеслав Шаламов.
Эксперт подчеркнул, что выбраные языковые модели оптимизированы для анализа русскоязычных материалов.
Программный инструмент также включает опцию корректировки ИИ-текстов: удаление избыточных переносов, преобразование списков в связные абзацы, модификацию стилистически нетипичных фраз без изменения смысла.
Шаламов указал на возможные ошибки системы, связанные с особенностями работы языковых моделей: «Они оперируют шаблонами, а не истиной. Если определённые стилевые черты часто встречались в человеческих текстах, модель может ошибочно классифицировать ИИ-генерируемый материал как авторский. Короткие тексты трудно анализировать из-за недостаточного объёма признаков. Наконец, люди тоже создают неестественные тексты — шаблонные документы, переводы или корпоративные материалы, что может ввести алгоритм в заблуждение».
«Модели работают не с истиной, а с паттернами. Во-первых, если определённая манера письма часто встречалась в человеческих текстах, алгоритм может принять её за признак авторского стиля даже при явной генерации ИИ. Во-вторых, краткие тексты содержат недостаточно маркеров для однозначного заключения. В-третьих, люди не всегда пишут естественно — формальные документы, переведённые материалы или профессиональный жаргон способны исказить признаки текста».
Инструмент может применяться в вузах для проверки академических работ, в медиа и социальных сетях для маркировки искусственного контента, а также в бизнес-документации. Тестовая версия доступна на платформе Hugging Face Spaces после регистрации.
«Сейчас мы совершенствуем интерфейс системы и работаем над функцией пакетной обработки файлов. Осенью планируется расширение команды исследователей, а к весне — пилотное внедрение сервиса в ИТМО для анализа дипломных работ», — сообщил Вячеслав Шаламов.
По словам исследователя, в будущем продолжится параллельное развитие генераторов и детекторов текста по принципу технологического соперничества. Усложнить анализ также могут изменения в естественном языке под влиянием нейросетевого контента.
При этом разработчики языковых моделей редко фокусируются на полной имитации человеческого стиля, поскольку далеко не все сценарии использования требуют абсолютной естественности.
Практическая проверка системы
Проведено тестирование демонстрационной версии сервиса, доступной на платформе Hugging Face Spaces. Системе предложили четыре образца текст: фрагмент рассказа Чехова «Дама с собачкой», нейросетевой текст и два варианта материалов с дополнениями ИИ.
Алгоритм предоставил комплексный отчёт с морфолого-синтаксическим анализом, индексами TTR и MTLD, оценкой связности и параметрами структурирования.
Программа выносит итоговое заключение, сопровождая его статистическими данными о вероятности каждого возможного сценария происхождения текста.
Классический литературный текст распознан как человеческий с 7% вероятностью машинного участия. Искусственно созданный материал верно идентифицирован с минимальной оценкой авторского вмешательства (0,05%).
Текст с частичной правкой ИИ определён как человеческий с 62% вероятностью, но возможная машинная адаптация оценена в 38%. Полностью обработанный нейросетью материал отнесён к категории «адаптированный ИИ-текст» с 60% вероятностью, при этом вероятность авторского создания составила 39%.
