Нейросети учатся вычислять веса вместо хранения

Современные нейросети, особенно большие языковые модели, требуют огромных ресурсов для хранения и загрузки весов. Например, Kimi-K3 содержит 2,8 триллиона параметров, что в 4-битном представлении занимает около 1,4 ТБ, а Qwen2.5-7B-Instruct с 7,61 млрд параметров в BF16 весит примерно 15,2 ГБ. Эти цифры определяют высокие требования к памяти и дисковому пространству, что ограничивает применение моделей на обычных устройствах.

Однако существует альтернативный подход: вместо хранения всех весов можно сохранять компактный «рецепт» — правило, позволяющее вычислять веса на лету. Такой рецепт может быть реализован с помощью небольшой нейросети (гиперсети), кодовой книги или даже фрактальных функций. Идея в том, чтобы не хранить матрицы весов, а генерировать их при необходимости, что потенциально снижает требования к памяти.

Один из примеров — гиперсети, где маленькая сеть генерирует веса для другой сети. В эксперименте с Wide ResNet 40-2 на датасете CIFAR-10 удалось сократить число параметров с 2,236 млн до 0,148 млн, но точность классификации упала с 5,66% до 7,23% ошибки. Это показывает, что экономия памяти часто достигается за счёт качества модели.

При оценке таких методов важно учитывать три бюджета: размер на диске, рабочую память и вычислительные затраты. Размер на диске включает сам генератор и вспомогательные данные; рабочая память зависит от того, восстанавливаются ли веса полностью или поблочно; вычислительная цена складывается из времени генерации и основного прохода. Восстановление весов может происходить как однократно при загрузке, так и при каждом прямом проходе, что влияет на общую производительность.

Существуют и другие подходы, например, использование генераторов случайных чисел с фиксированным seed, локальных кодов или простых преобразований вместо матриц. Также исследуются методы сжатия KV-кэша и самоподобные архитектуры. Некоторые из этих идей появились недавно в виде препринтов на arXiv, что говорит об активном интересе к теме.

Однако за компактность приходится платить: не все матрицы весов можно описать без потерь, если рецепт имеет ограниченное число параметров. Кроме того, генерация весов требует дополнительных вычислений, которые могут замедлить работу модели. В статье на Хабре автор провёл выборочную проверку на CPU и MacBook, чтобы оценить практическую применимость таких методов.

В целом, подход с вычислением весов вместо их хранения представляет интерес для снижения требований к памяти, но пока не позволяет большим языковым моделям запускаться на каждом устройстве, как Doom на чайнике. Дальнейшие исследования могут улучшить баланс между компактностью и качеством, но на текущий момент это скорее экспериментальная область.