Проверка температуры модели на генерации сюжетов

Автор на платформе «Хабр» проверила распространённый совет для пишущих с помощью ИИ: повышать температуру модели, чтобы получать более разнообразные сюжеты. В эксперименте она использовала две небольшие открытые модели — Qwen2.5-1.5B-Instruct и Qwen3-0.6B — и один и тот же промпт на английском языке. Запрос описывал ночного дежурного музея, который находит записку «Не открывай зал номер семь», и требовал рассказа из пяти предложений с раскрытием автора записки в финале.

Всего было получено 48 ответов: по восемь запусков с разными seed (от 201 до 208) при трёх значениях temperature — 0,2, 0,7 и 1,2. Каждый запуск начинался в новом диалоге, случайный выбор был включён, а фильтры top-k и top-p отключены. Автор сравнивала ответы как при одной температуре с разными seed, так и при одном seed с разными температурами.

Уже при temperature=0,2 модель Qwen2.5 не придерживалась одной версии: в зависимости от seed записку оставляли призрак погибшего куратора, правнук основателя музея или испуганная девочка. В одном случае разгадки не было вовсе — дежурный слышал шёпот за дверью, и рассказ заканчивался. Qwen3 при той же температуре вела себя стабильнее: все восемь ответов различались, но автором записки каждый раз выступал бывший работник или охранник музея.

При temperature=0,7 у Qwen2.5 появились новые сюжетные ходы, но модель стала свободнее обращаться с самим заданием: в трёх запусках она заменила текст записки на другие послания. Qwen3 при 0,7 расширила круг возможных авторов — появились куратор, неизвестный гость, женщина с ключом, — но иногда забывала о самом запрете. Показателен пример с seed 205: при 0,2 дежурный находил вторую записку от куратора, при 0,7 за дверью оказывались светящаяся картина и бледная женщина, а при 1,2 в музее появлялась бутылка мыла и текст терял связность.

На temperature=1,2 сбои стали заметны отчётливее. Qwen2.5 вставила в музейную сцену фрагменты программного кода, а в других ответах слова перемешались с текстом на разных языках. Два из восьми ответов достигли лимита в 240 токенов, так и не завершившись. Qwen3 не уходила в такую длинную мешанину, но допускала грамматические ошибки вроде «Он и охранник… были охранник».

Автор объясняет механизм: модель выбирает каждый следующий токен на основе логитов — оценок, на которые влияют запрос, уже написанный текст и связи, усвоенные при обучении. Temperature меняет соотношение этих оценок, превращая их в вероятности. При temperature=1 два варианта продолжения могли бы иметь шансы 60% и 40%, а при 0,2 — примерно 88% и 12%. Seed задаёт начальное состояние генератора псевдослучайных чисел, поэтому даже при одинаковой температуре разные seed могут привести к расхождению историй.

Практический вывод: повышение температуры действительно увеличивает разнообразие, но не гарантирует связности. Уже при 0,2 один и тот же промпт даёт разные сюжеты, а при 1,2 модель может уйти в бессвязный текст или код. Автор рекомендует подбирать температуру под задачу и не полагаться на неё как на единственный инструмент управления креативностью.