Абзацы от 30 слов чаще попадают в ответы ИИ

Автор исследования, опубликованного на Хабре, проверил, как нейросети с поиском выбирают фрагменты текста для цитирования. Он проанализировал 60 ответов Perplexity с включённым поиском и страницы, на которые они ссылаются. Оказалось, что длина абзаца — ключевой фактор: медиана взятых абзацев составила 41 слово, а невзятых — 23 слова.

Совет не начинать абзац с местоимений «это», «он» или «поэтому» не подтвердился. Среди взятых и пропущенных абзацев такие начала встречаются одинаково редко, а три взятых абзаца даже начинались с «Поэтому», «При этом» и «Однако». Это означает, что чистка подобных слов не влияет на вероятность цитирования.

Исследователь также проверил наличие числа и предмета (ключевого слова) внутри абзаца. На первый взгляд они полезны, но при сравнении абзацев одинаковой длины (30–80 слов) разница сократилась: по числу — до 3 процентных пунктов, по предмету — до 9. Автор отмечает, что на такой выборке это статистически не доказано, хотя предмет внутри абзаца у взятых встречается чаще.

Практические рекомендации: в первую очередь нужно избавляться от коротких абзацев-обрывков (10–20 слов), склеивая их с соседними в законченную мысль. Предмет лучше называть словом, а не местоимением. Слова «это» и «поэтому» в начале абзаца можно не трогать — они не мешают.

Для проверки страницы автор предлагает использовать скрипт, который анализирует Markdown и помечает каждый абзац по четырём признакам: начинается ли он с отсылки, есть ли в нём число, назван ли предмет и какова длина. Скрипт запускается командой python3 marks.py статья.md нейросеть, где второй аргумент — главное слово страницы. На выходе получается строка с метками для каждого абзаца.

Автор подчёркивает, что это наблюдение, а не эксперимент: если переписать абзац под метки, попадание в ответы нейросети не гарантировано. Однако внутри одних и тех же страниц взятые абзацы чаще попадают в окно 30–80 слов (+29 п.п., от +20 до +38). Исследование ограничено ответами только Perplexity и одним набором вопросов, а метод определения взятых абзацев по совпадению слов мог завысить роль длины.