Детектор ИИ: почему он ошибается и как проверить текст самому

Структура «Ростелекома» вписала в договоры с ИТ-подрядчиками неустойку 30% от стоимости контракта за применение нейросети без согласования. Проект договора разобрал CNews 11 сентября 2026 года.

Неделей раньше, 4 сентября, «МТС Линк» и «Медиалогия» отчитались о замере русских соцсетей: упоминания слова «нейрослоп» выросли почти в 20 раз, на 1899%. Термин «ИИ-усталость» прибавил 263%.

Две новости об одном. Заказчики научились отличать машинный текст и начали за него штрафовать. Проверять при этом нечем: единственный массовый инструмент, детектор ИИ, ошибается в обе стороны и свой вердикт никак не обосновывает.

Разбираю, что детектор ИИ измеряет на самом деле, сколько стоит его ошибка, и какой ручной порядок проверки работает лучше любого сервиса. Проверено 15 сентября 2026 года.

Каждую неделю разбираю, как малому бизнесу применять нейросети в рабочих задачах без штата разработчиков. Продолжение - в канале.

Что такое детектор ИИ и что он на самом деле измеряет?

Первая характеристика называется перплексией. Это мера того, насколько модель удивляется следующему слову. Если текст идёт по самым вероятным словам, перплексия низкая.

Вторая называется burstiness, разброс. Человек пишет рвано: длинная фраза, обрыв в три слова, снова длинная. Языковая модель выравнивает длину предложений.

Из этого следует главное ограничение, которое сервисы не выносят в описание. Детектор ИИ отвечает на вопрос «похож ли этот текст на предсказуемый и ровный», а вы задаёте ему совсем другой вопрос - «писал это человек или машина». Совпадение между двумя вопросами частичное.

Отсюда растут обе ошибки. Сухой канцелярский текст юриста предсказуем и ровен, поэтому его помечают машинным. И наоборот: если текст нейросети автор потом переписал под себя, разброс восстанавливается, и проверка такой текст пропускает.

Почему детектор ИИ ошибается чаще, чем обещает?

Начну с цифры, которая чаще всего удивляет владельцев бизнеса. Perkins с соавторами прогнали шесть популярных детекторов через 805 проверок. Общая точность вышла 39,5%.

Это меньше половины. А если текст изменяли специально, чтобы пройти проверку, точность падала до 17,4% - то есть инструмент ошибался в пяти случаях из шести.

Вторая сторона ошибки страшнее для того, кто пишет сам. Лян и соавторы из Стэнфорда прогнали через детекторы эссе TOEFL, написанные живыми людьми. Средняя доля ложных срабатываний составила 61,22%.

Те же детекторы на эссе американских восьмиклассников показали почти идеальную точность. Разница между выборками одна. У авторов TOEFL английский неродной, словарь беднее, перплексия ниже, и именно эту бедность инструмент принимает за машинный след.

Механизм получается такой: ограниченный словарный запас сам по себе повышает оценку «машинности». Чем проще человек пишет, тем выше шанс, что его запишут в машины.

От собственного детектора отказалась и сама OpenAI: классификатор проработал меньше полугода, и компания отключила его из-за низкой точности. Эту историю я подробно разбирал в материале про маркировку ИИ-контента, здесь повторяться не буду.

Сколько стоит ошибка детектора?

Арифметика Вандербильта переносится на любой поток текстов. Посчитайте свой. Возьмите число материалов, которые принимаете за год, и умножьте на процент ошибок, который обещает сервис.

Сто статей в год при 1% ошибок - это одна несправедливо забракованная статья. Терпимо. А если доля ошибок окажется вдесятеро выше обещанной, что независимые замеры и показывают, то за тот же год наберётся уже десять конфликтов с авторами.

Сам заявленный процент при этом проверить невозможно. Turnitin называл цифру «меньше 1%» на запуске, а независимая проверка Washington Post дала около 50% ложных срабатываний - правда, на заметно меньшей выборке. Такой разрыв между обещанием производителя и внешним замером означает, что выбрать надёжный детектор ИИ по заявленным цифрам не получится.

Причину отключения Вандербильт сформулировал прямо:

«Turnitin gives no detailed information as to how it determines if a piece of writing is AI-generated or not. The most they have said is that their tool looks for patterns common in AI writing, but they do not explain or define what those patterns are.»

Университет Вандербильта, Center for Teaching, 16 августа 2023 года. Источник

В переводе: производитель не раскрывает, как принимает решение. Известно лишь, что инструмент ищет некие типичные для ИИ закономерности, но какие именно - не объясняется и не определяется.

Для вас это означает конкретную вещь. Когда заказчик показывает скриншот с процентом, оспорить его нечем, потому что методика закрыта и апелляции не предусмотрено.

Почему на русском тексте детектор ошибается ещё чаще?

Для западного детектора ИИ русский текст выглядит примерно так же, как эссе неносителя английского. Профиль перплексии нетипичный, и вердикт смещается в сторону «машина».

Русских инструментов несколько. «Антиплагиат» с модулем поиска сгенерированных фрагментов, GigaCheck от Сбера, «Думейт», «Текстовод». Выбирать между ними вслепую.

Строку про точность я оставил пустой сознательно. По открытым источникам вилку называют широкую, от 70% до 95%, но это пересказ маркетинговых материалов самих сервисов. Проверяемого замера на русском языке в открытом доступе нет ни по одному из них.

Отдельно стоит развести две метрики, которые массово путают. Оригинальность и «процент ИИ» считаются по-разному: первая ищет совпадения с чужими текстами, вторая оценивает статистику вашего собственного. Требование «80% оригинальности» и требование «0% ИИ» относятся к разным вещам.

Разница между двумя метриками всплывает у вас в тот момент, когда тексты пишет не один человек, а поток подрядчиков и ботов. Тогда вопрос «какой процент показал сервис» превращается в вопрос «кто отвечает за факты». Мы в ClaudeLab собираем такие процессы целиком, от постановки задачи до проверки результата.

Стало ли лучше в 2026 году?

Поколение детекторов действительно поменялось. Ранние сервисы считали перплексию напрямую, новые обучают отдельную модель-классификатор на размеченных парах.

Pangram публикует цифру 0,004% ложных срабатываний на выборке академических эссе. Это заявление вендора о собственном продукте, и независимого подтверждения я не нашёл: то, что выдаётся за аудит, при проверке оказалось страницами сайтов-агрегаторов.

В первую строку анонса своей четвёртой версии вендор вынес нерешённое: устойчивость к «гуманизаторам», к текстам смешанного авторства и к свежим моделям.

Смешанное авторство - зона, где однозначного ответа не существует в принципе. Черновик написала модель, правил человек. Или наоборот. Текст в таком случае одновременно машинный и человеческий, и любой процент, который покажет сервис, здесь произволен.

Ровно этот случай у вас и происходит каждый день. Ни один детектор ИИ не даст по нему осмысленного вердикта, сколько бы девяток ни было в его лабораторной точности.

Что происходит, когда за ИИ в тексте начинают штрафовать?

Формулировка пункта опубликована дословно:

«Исполнитель обязуется не использовать при выполнении работ на любой стадии и ни в каком виде любые инструменты искусственного интеллекта (далее - ИИ) (в т.ч., но не ограничиваясь, проприетарные) без согласования заказчика»

Проект договора ООО «РТК - Информационная безопасность», CNews, 11 сентября 2026 года. Источник

Если применение согласовано, условия тоже жёсткие: результат проверяется вручную, подрядчик указывает, где именно применял нейросеть, а передавать полученную информацию для обучения модели запрещено.

Эксперт Игорь Бедеров в том же материале описывает разброс практик: запреты бывают разной степени жёсткости, от полного табу до разрешения применять только конкретные модели.

Санкция в 30% существует, а технической возможности доказать применение нейросети нет. Это признают и эксперты в самом материале.

Сложите два факта. В договоре появляется штраф, который на практике будет применяться по чьему-то субъективному ощущению «похоже на нейросеть» или по скриншоту из бесплатного сервиса с точностью 39,5%.

Вывод для подрядчика неприятный, но действенный: защищаться придётся следами собственной работы. Обход детектора ИИ здесь бесполезен, потому что спор идёт не о проценте. К этому вернусь в разделе про договор.

По каким признакам ИИ-текст узнаёт живой человек?

Каждый свой текст я прогоняю через несколько проверок: типографика, частотные обороты, разброс длины предложений. У меня это автоматизировано. Но всё то же самое считается руками за десять минут, без единого сервиса и без единой подписки.

Признаки удобно разложить на три слоя по способу проверки.

Слой первый: символы. Проверяется поиском, занимает полминуты.

Сразу важная поправка. Символы из этой таблицы говорят о копипасте из веб-интерфейса, и доказательством машинного авторства они не служат. Человек, скопировавший абзац с сайта, притащит их точно так же.

Зато слой символов единственный, который проверяется объективно. Символ либо есть в файле, либо его нет, и спорить тут не о чем.

Слой второй: форма. Проверяется поиском по шаблону и подсчётом.

Слой третий: смысл. Проверяется только чтением, и здесь детектор ИИ бесполезен полностью.

Третий слой не ловится ни одним сервисом. Ни одним. Детектор ИИ считает статистику формы, а выдумку в ссылке или пустоту вместо факта замечает только живой читатель, который знает вашу тему и ваш рынок.

Отдельно стоит держать в голове выдуманную деталь, которая совпала с вашими ожиданиями при вычитке. Про природу таких выдумок я писал в разборе галлюцинаций нейросети.

Как проверить текст за 15 минут без детектора?

1. Поиск по запрещённым символам. Откройте текст в любом редакторе и поищите длинное тире, короткое тире и многоточие одним символом. Их находят за полминуты, и это единственный полностью объективный признак.

2. Разброс длин предложений. Разбейте текст на предложения, посчитайте число слов в каждом, затем поделите стандартное отклонение на среднее. Формула в таблице: СТАНДОТКЛОН(диапазон)/СРЗНАЧ(диапазон). Значение от 0,55 и выше означает рваный человеческий ритм. Ниже 0,40 - текст подозрительно ровный.

3. Чтение вслух первого и последнего абзацев. Монотонность и однообразие конструкций слышно сразу, даже когда глазами они не видны.

4. Проверка трёх любых фактов. Возьмите три цифры или ссылки из текста и откройте источники. Выдуманная ссылка выглядит абсолютно правдоподобно, отличить её чтением нельзя.

5. Вопрос автору о деталях. Спросите, откуда взята конкретная цифра и почему выбран именно этот пример. Человек, писавший сам, отвечает за десять секунд.

Теперь про пороги во втором шаге. Числа 0,55 и 0,40 работают как ориентир, и универсальной нормой их считать нельзя.

Правильнее откалибровать порог под себя: замерьте разброс на пяти своих старых текстах, написанных руками до всякого ИИ, и поставьте планку чуть ниже полученного среднего. Мои собственные материалы дают от 0,64 до 0,86.

Этим ручной порядок и выигрывает у сервиса. Детектор ИИ выдаёт абсолютный вердикт, не зная ни вас, ни вашего жанра, ни того, как вы писали до появления нейросетей. Откалиброванный порог сравнивает чужой текст с вашей нормой. Разница принципиальная.

Почему проверка перестаёт находить нарушения после первой правки?

Это наблюдение из собственной практики, и в подборках сервисов его нет. Ни детектор ИИ, ни словарный чекер этого класса ошибок не показывают.

Механизм простой. В стоп-списке стоит слово «честный». Правка убирает «честный разбор», а через абзац появляется «честнее остальных» - сравнительная степень того же прилагательного, и словарь её не находит.

Тот же сюжет с наречиями. Убираете «тихо» в паре с глаголом, получаете «молча». Убираете «молча», получаете «беззвучно».

Со структурами работает тот же механизм. Устраняете зеркальную антитезу с союзом, и на её месте появляется та же конструкция через тире или через запятую, где шаблон поиска её уже не достаёт.

Практический вывод, который экономит время: проверку надо гнать после каждой порции правок. Одного прогона в конце не хватает. Причём проверять весь набор признаков, а не тот класс, который вы правили.

И ещё одно, чего не скажет ни один сервис, продающий подписку. Моя собственная проверка тоже даёт ложные срабатывания: два совпадения на корень «являет» оказались обычным словом «появляется».

Инструмент, который никогда не ошибается, вам просто не показывает своих ошибок.

Почему погоня за нулём в детекторе портит текст?

Сервисы «очеловечивания» текста работают ровно так: перемешивают порядок слов, подставляют редкие синонимы, ломают ритм. Процент послушно падает.

И вместе с ним падает качество: читать результат становится тяжелее, отдельные абзацы теряют смысл, а половина правок держится на синонимах, которых вы бы сами не выбрали.

Вторая проблема этой гонки - она бесконечная. Новые версии детекторов заявляют устойчивость к «гуманизаторам» прямым текстом, и владелец сервиса-обходчика всегда на шаг позади.

Отдельно скажу про соблазн прогнать через детектор собственный текст перед сдачей. Я уже разбирал это в материале про коммерческое предложение нейросетью и вывод не поменялся: при точности ниже половины полученный процент не говорит о тексте ничего.

Полезнее потратить те же полчаса на то, чтобы добавить в текст две конкретные цифры и один случай из практики. Это одновременно чинит и смысловой слой признаков, и восприятие читателя.

Закрывают ли вопрос водяные знаки?

Знака хватает ровно до первой редактуры - в The New Stack это вынесено прямо в заголовок разбора.

Для проверки чужого текста знак бесполезен и по второй причине: публичного инструмента проверки нет, а у большинства моделей знака нет вовсе.

Устройство знака и российские требования к маркировке я разбирал отдельно в материале про маркировку ИИ-контента. Коротко по состоянию на сентябрь 2026 года: обязанности помечать текст у вас нет, принятая норма добровольная и касается аудио и видео, часть правил включается с 1 марта 2027 года.

Что написать в договоре с подрядчиком вместо запрета на ИИ?

Сразу про свою сторону: мы сами выступаем подрядчиком и пишем тексты с участием нейросетей, так что последний пункт списка нам выгоден. Проверьте его глазами заказчика, а не на веру.

1. Ответственность за фактическую точность на исполнителе. Формулировка простая: выдуманная ссылка или неверная цифра даёт заказчику право вернуть работу на доработку независимо от того, чем текст написан.

2. Обязанность предоставить черновики и правки по запросу. История работы над текстом доказывает участие человека лучше любого сервиса.

3. Раскрытие применённых инструментов. Запросите перечень: какие модели применялись и на каком этапе. Так устроен согласительный вариант в том же договоре «РТК - Информационная безопасность».

4. Прямой запрет передавать ваши материалы на обучение моделей. Это проверяемое условие, в отличие от запрета на сам инструмент.

5. Оговорка про вердикт детектора. Зафиксируйте, что показания автоматических сервисов не служат самостоятельным основанием для отказа в приёмке. При точности 39,5% такая оговорка снимает спор о проценте у обеих сторон: заказчик перестаёт опираться на цифру, которую детектор ИИ никак не обосновывает, и разговор возвращается к проверяемым вещам.

Это заготовки из моей переговорной практики, а не юридическая консультация. Перед тем как вносить их в договор, отдайте формулировки своему юристу: у вашего вида работ и вашей отрасли будут свои оговорки.

Если текстов много и они идут потоком, точечные проверки перестают справляться. Тогда вопрос переходит из плоскости приёмки в плоскость процесса: кто пишет, по какому шаблону, кто проверяет факты. Мы этим занимаемся в рамках работ по автоматизации бизнеса с ИИ, и там же решается вопрос качества текстов, которые ваши боты отдают клиентам.

С чего начать на этой неделе

1. Возьмите пять своих текстов, написанных руками, и посчитайте разброс длин предложений. Получите личную норму, с которой дальше сравнивать чужие работы.

2. Прогоните последние принятые материалы поиском по длинному тире и многоточию одним символом. Находки не доказывают машинное авторство, но показывают, что текст пришёл копипастом.

3. Добавьте в шаблон договора пункт про то, что процент из автоматического сервиса не служит основанием для отказа в приёмке.

4. Прочитайте вслух первый абзац трёх статей со своего сайта. Спотыкаетесь на втором предложении - проблема не в том, что покажет детектор ИИ.

Общий принцип по итогам разбора простой. Детектор ИИ отвечает на статистический вопрос, а вам нужен ответ на содержательный: верны ли факты, существуют ли ссылки, есть ли в тексте конкретика, за которую читатель и платит вниманием. Как выстроить регулярный выпуск текстов без потери качества, я разбирал в материале про контент-завод на нейросетях.