Можно ли обучить малую LLM без роста весов

Автор исследования на платформе «Хабр» продолжает серию экспериментов с небольшой языковой моделью, которая помещается на домашнюю видеокарту. В первой статье он проверял, может ли такая модель становиться умнее без роста числа параметров — за счёт внешней памяти, аккуратного дообучения и проверки ответов. Теперь он раскрывает более широкий контекст: эти опыты — шаги к архитектуре LANN-4, нейросети с небольшим неизменным «мозгом» и вынесенной наружу памятью, которая учится на протяжении всей «жизни».

Самой архитектуры LANN-4 пока не существует — она не выбрана и не построена, подчёркивает автор. Небольшие модели в экспериментах — лишь подопытные инструменты, а не готовая система. Исследователь честно разделяет то, что получилось, и то, что не получилось, и не показывает готовую новую модель.

Ключевой отрицательный результат: если одну и ту же небольшую модель дообучать на одних и тех же примерах несколько раундов подряд, накопления улучшений не происходит. Первый раунд даёт заметный прирост — примерно с 53% до 59% решённых задач на экзамене из 200 задач, — а затем доля правильных ответов колеблется в диапазоне 54–57% без роста. Режим «с нуля», где каждый раунд начинается с чистой модели, показал те же результаты, что и режим «копим», а режим без обучения даже немного сползал вниз из-за случайного шума.

Автор подчёркивает, что это не доказательство накопления знаний и не вывод о том, что модель слишком мала для обучения. Опыт лишь показывает, что за пределами первого раунда накопления не наблюдается. При этом старые задачи не стали решаться хуже, а независимый пересчёт другим кодом полностью совпал с первоначальными цифрами — это защита от самообмана, которую исследователь заложил заранее.

Главный вопрос, который автор выносит на обсуждение: откуда взялся прирост первого раунда? Есть два объяснения — модель действительно усвоила содержание правильных решений, либо просто приспособилась к формату подучивания. Чтобы различить эти версии, предлагается аналог плацебо-контроля: сравнить обучение на правильных парах «задача — проверенное решение» с обучением на нарочно перепутанных парах, где решение не подходит к задаче. Если правильное содержание даёт заметно больше, значит система училась содержанию; если разницы нет — это была лишь подстройка под формат.

Автор сам указывает на слабое место проверки: она разводит обучение на коде вообще и обучение на правильном содержании, но только внутри одного типа задач. Ситуацию «натаскалась на коде того же типа» она не ловит — для этого нужен отдельный эксперимент на других типах задач, а это ещё примерно сутки работы видеокарты. Исследователь просит помощи сообщества: достаточно ли такой «пустышки» с равными затратами, чтобы честно назвать прирост первого раунда настоящим обучением, и встречался ли кому-то похожий эффект — рывок на первом раунде и потолок после него — при многократном дообучении одной и той же небольшой модели.

Автор отдельно оговаривает, что не раскрывает детали построения «мозга» системы: на чём он будет основан, в чём его главное отличие и как всё соединяется внутри. Причина не в секретности, а в том, что эти решения пока не доказаны. Дельная критика по существу для него ценнее похвалы, и именно за ней он пришёл.