MiniCPM-V 4.7 запустили на смартфоне с 3 ГБ памяти

В сообществе LocalLLaMA на Reddit появилась демонстрация мультимодальной модели MiniCPM-V 4.7, которая, по утверждению автора поста, работает на смартфоне при объёме памяти около 3 ГБ. Модель описывается как 35B — то есть содержит порядка 35 млрд параметров. Автор публикации называет демонстрацию «довольно дикой», подчёркивая необычность такого сочетания.

Заявленные цифры выглядят контринтуитивно: 35 млрд параметров в fp16 заняли бы около 70 ГБ, что многократно превышает 3 ГБ. Это означает, что в демо почти наверняка используются агрессивная квантизация, разреженная активация (MoE) или выгрузка весов на флеш-память с подкачкой. Без подтверждённых замеров скорости и качества такие показатели следует воспринимать как маркетинговую или демонстрационную оценку, а не как рабочий сценарий.

MiniCPM-V — линейка компактных мультимодальных моделей, развиваемая китайской командой OpenBMB. Предыдущие версии серии позиционировались именно для работы на периферийных устройствах: смартфонах, одноплатных компьютерах и встраиваемых системах. Версия 4.7 продолжает эту линию, добавляя обработку изображений и текста в одном контуре.

Интерес к локальному запуску больших моделей растёт на фоне ограничений на облачные API, требований к приватности данных и стоимости инференса. Если подобные модели действительно укладываются в несколько гигабайт памяти телефона, это открывает сценарии без передачи данных на серверы. Однако ключевые вопросы — задержка ответа, энергопотребление и деградация качества после сжатия — в аннотации не раскрыты.

Для рынка это сигнал о смещении конкуренции в сторону эффективности, а не только масштаба. На фоне релизов крупных лабораторий компактные мультимодальные модели становятся отдельной нишей, где важны квантизация, дистилляция и оптимизация под мобильные чипы. Подтверждение независимыми тестами определит, насколько заявленные 3 ГБ отражают реальную практику.