Энтузиаст конвертирует dense-модели в MoE

Разработчик обновил метод преобразования плотных моделей в смесь экспертов и выложил новую версию Qwen2.5-1.5B. Подход может снизить затраты на инференс локальных моделей.

Полный материал готовится — редакция «Сигнала» дополнит его в ближайшем выпуске. Все подробности уже доступны в первоисточнике по ссылке ниже.