Текстовые водяные знаки LLM: что важно знать

Anthropic и Google уже внедрили текстовые водяные знаки в вывод своих языковых моделей, а OpenAI находится в процессе внедрения. Технология основана на алгоритме SynthID-Text, описанном в статье Dathathri et al. в журнале Nature в 2024 году. Суть метода — встраивание статистического сигнала в процесс генерации токенов, который затем можно обнаружить специальным детектором при наличии секретного ключа.

Автор публикации на Хабре отмечает практическую проблему: водяные знаки уже в моделях, но публичных детекторов для обычных пользователей нет. Проверить, насколько сильно метка «впечатывается» в текст, и попробовать её удалить без доступа к инструментам невозможно. Поэтому он форкнул открытый плейграунд для браузера на базе Hugging Face Spaces и добавил туда возможность редактирования текста и выбора более новых моделей.

Эксперименты проводились на модели Gemma 4 E4B, которая, по словам автора, связно говорит по-русски и пишет почти рабочий код на Python. При фиксированном ключе «ai_wrote_this» сгенерированный текст показал силу детекции водяного знака 100%. После лёгкого рерайтинга того же текста через ChatGPT сигнал старой метки упал до 0%, однако появилась ли новая метка от OpenAI — проверить без доступа к их детектору невозможно.

В собственном плейграунде автор смоделировал ситуацию, когда текст, помеченный одним ключом, переписывается моделью с другим ключом. После лёгкого рерайтинга с ключом «ai_wrote_this2» детекция по старому ключу составила 51%, по новому — 78%, а по заведомо неверному ключу — 11%. Это означает, что старая метка полностью не исчезла, а новая добавилась. Автор подчёркивает, что такой результат с двумя одновременно сохранившимися метками — не типичный случай, обычно одна из меток доминирует.

По словам автора, попытка «разбавить» промаркированный текст ненакрытыми введением и заключением также представляет интерес для понимания устойчивости водяных знаков. Однако конкретные результаты этого эксперимента в доступном фрагменте не приводятся. Главный практический вывод: если несколько моделей используют водяные знаки, переписывание текста одной моделью через другую не гарантирует удаления метки — скорее происходит перелив сигнала из одного ключа в другой.

Автор приглашает читателей самостоятельно провести эксперименты в его плейграунде, чтобы накопить статистику о том, насколько глубоко водяные знаки встраиваются в текст и как разные способы редактирования влияют на их обнаружимость. Пока публичные детекторы от Anthropic, Google и OpenAI недоступны, такие краудсорсинговые тесты остаются единственным способом оценить реальную устойчивость технологии.