Найдена неточность в экономии памяти DeepSeek

Новое исследование выявило потенциальный недостаток в технологии экономии памяти, лежащей в основе моделей DeepSeek. Работа, ещё не прошедшая рецензирование, опубликована в конце прошлого месяца; её возглавили исследователи из ByteDance при участии учёных из Принстонского и Стэнфордского университетов, а также Калифорнийского университета в Беркли. Это редкий случай, когда ставится под сомнение прорыв китайской лаборатории, позволивший ей сократить отставание от американских конкурентов OpenAI и Anthropic за счёт низкозатратного подхода.

Суть претензии касается методов сжатия, которые DeepSeek применяет для уменьшения объёма памяти, необходимого при обработке длинных входных данных. По данным исследования, такая экономия может снижать надёжность: модели чаще пропускают одну и ту же информацию, если она расположена в определённых позициях документа. В качестве примера приводится ситуация, когда добавление нерелевантного текста перед фрагментом компьютерного кода ухудшало способность DeepSeek выбрать правильный ответ.

Авторы утверждают, что phenomenon проявляется не в одной конкретной версии, а в нескольких. «Феномен появляется в DeepSeek-V4, V4.1 и во всех сжатых моделях, которые мы предобучали», — говорится в статье. Это указывает на системный характер проблемы, связанной с архитектурными решениями, а не с отдельным обновлением.

Контекст важен: DeepSeek стала заметным игроком именно благодаря ставке на эффективность. Снижение требований к памяти и вычислениям позволяет удешевлять инференс и обучение, что делает модели доступнее и помогает конкурировать с более ресурсоёмкими решениями из США. Однако новое исследование показывает, что экономия может достигаться за счёт точности и предсказуемости ответов.

Пока работа не прошла рецензирование, и её выводы требуют независимой проверки. Тем не менее она затрагивает ключевой вопрос для всей отрасли: насколько допустимо жертвовать надёжностью ради снижения затрат. Для корпоративных заказчиков, использующих ИИ в критичных задачах, позиционная нестабильность ответов может оказаться серьёзным ограничением.

Если результаты подтвердятся, DeepSeek и другим разработчикам сжатых моделей придётся искать баланс между эффективностью и устойчивостью. Это также может повлиять на оценку рисков при выборе моделей для приложений, где важна воспроизводимость результата. Пока же исследование добавляет аргумент в дискуссию о том, что дешёвый ИИ не всегда означает надёжный.