Ollama встроили в десктопный лаунчер для трёх ОС

Разработчик под псевдонимом AlbertS15 опубликовал на Хабре отчёт о встраивании локальных моделей Ollama в десктопный лаунчер Lumi — открытое приложение в духе Spotlight, которое по горячей клавише запускает программы, ищет файлы и отвечает на вопросы без интернета. Автор признаёт, что не является программистом и пишет код вместе с Claude, но подчёркивает: тесты, цифры и ошибки в материале реальные. Код проекта доступен на GitHub под лицензией MIT.

Главная задача формулировалась так: пользователь без опыта нажимает одну кнопку и получает работающий офлайн-ИИ, не зная, что такое Ollama, и не открывая терминал. Автор сравнил четыре модели — gpt-oss 20B, Qwen 3.5 9B, Gemma 4 E2B и Gemma 4 E4B — на одинаковых бытовых вопросах. Самая крупная модель оказалась не лучшей: она занимает около 13 ГБ памяти против примерно 7 ГБ у Gemma 4 E4B. В итоге приложение автоматически предлагает самую большую модель, которая помещается в память компьютера.

Отдельная проблема — «думающие» модели. Qwen и gpt-oss по умолчанию сначала размышляют, и ответ в строке поиска появляется через 20–30 секунд, что для лаунчера слишком долго. Решение нашлось в параметре reasoning_effort: none в запросе к Ollama — ответ приходит сразу, а на бытовых вопросах качество почти не падает.

Больше всего времени заняла установка Ollama без запроса пароля администратора и без непроверенных файлов. На macOS приложение скачивает официальный архив Ollama-darwin.zip и проверяет подпись через codesign с требованием anchor apple generic и OU команды Ollama. На Windows проверяется Authenticode-подпись через WinVerifyTrust и имя подписанта, установка идёт тихо в профиль пользователя. На Linux архив ollama-linux-amd64.tar.zst сверяется по SHA-256 и распаковывается в ~/.local/share/lumi/ollama — без sudo и systemd.

Свой характер модель получает через Modelfile: системные правила и примеры диалогов. Автор обнаружил, что системное сообщение в запросе полностью заменяет SYSTEM из Modelfile, поэтому строку про операционную систему пришлось зашивать прямо при создании модели. Старые модели приложение обновляет при запуске через повторный вызов /api/create — это занимает пару секунд и не требует повторного скачивания, так как Ollama переиспользует слои базовой модели.

Для проверки качества автор использует собственный «экзамен» из 10 вопросов с однозначным ответом, одна попытка, без интернета. Результаты показательные: на вопрос о возрасте Пушкина в момент смерти lumi-mini ответила «55», lumi — «32» (правильно 37); в слове «барабан» модель насчитала четыре буквы «а»; в задаче про батон и булку за 110 рублей выдала «50 рублей». Вывод для приложения: небольшую модель нельзя выдавать за справочник, поэтому в промпте прямо указано честно признаваться в незнании свежих фактов, а для новостей можно переключиться на облачную модель с поиском.

В планах — дообучить lumi-mini через LoRA на MLX прямо на MacBook и пересдать тот же экзамен, который специально держится отдельно от обучающих примеров. Автор обещает отдельную статью с цифрами «до/после», даже если результат окажется хуже. Lumi — независимый проект, не связанный с Anthropic, OpenAI, Google или Ollama.