ИИ-секретарь за $77 в месяц на DeepSeek

Разработчик под ником на «Хабре» рассказал об ИИ-секретаре «Лиза Петровна» — боте в Telegram и MAX, который принимает сообщения текстом, голосом или фото и либо отвечает сам, либо делегирует задачу профильному агенту. С 30 мая бот обработал 8568 запросов от 118 человек. За последние 30 дней работа всех языковых моделей обошлась в $77 — это только LLM, без генерации изображений и видео.

Архитектура построена вокруг единой точки входа: пользователь пишет в один чат, а секретарь сам решает, отвечать или передать задачу агенту-доктору, юристу, дизайнеру или штурману. Контекст сохраняется между агентами, днями и мессенджерами — Telegram и MAX используют один диалог и одну память. В основе стека — LiteLLM как прокси перед провайдерами, Postgres с pgvector для хранения пользователей, переписки и метрик, Redis, локальный сервис эмбеддингов на deepvk/USER2-small и собственный SearXNG для веб-поиска.

Ключевая экономия достигается за счёт роутинга: по умолчанию секретарь отвечает дешёвой моделью DeepSeek, а на дорогую Opus уходит только то, что подходит под два триггера — регулярное выражение complex и длина сообщения с контекстом более 2500 символов. Разработчик сознательно выбрал регулярку вместо классификатора на модели: её можно прочитать, покрыть тестами и объяснить каждое решение, тогда как классификатор добавил бы задержку и стоимость к каждому ответу ради решения по 7% запросов.

Цифры показывают резкий перекос затрат: за 30 дней секретарь стоил $51, из которых $39 — ответы Opus. То есть 7% ответов съедают 77% денег, а один ответ Opus стоит примерно как 50 ответов DeepSeek. Отдавать эти 7% на дешёвую модель разработчик не стал: именно там люди просят «разбери договор» или «посчитай, хватит ли топлива», и ошибка стоит дороже двадцати центов.

Память устроена на эпизодах: каждый обмен сохраняется в базе, сейчас там 7933 эпизода от 97 человек, все с векторами. Эмбеддинг считается в фоне и не задерживает ответ пользователю, а поиск гибридный — семантика через pgvector плюс совпадение по словам, причём слова пользователя весят больше слов ответа. Перед сохранением из текста вычищаются идентификаторы третьих лиц, а память привязана к user_id, поэтому удаление пользователя удаляет и его историю.

Анализ 8568 запросов показал, что классической секретарской работы меньше 5%: календарь и напоминания занимают 4,7%. Почти 12% — здоровье и юридические вопросы, для которых есть отдельные агенты. Каждая пятая задача начинается с фото, поэтому у секретаря есть отдельная vision-модель, дающая почти 7% всех ответов. 21% сообщений — короткие реплики вроде «давай» или «ты тут?»: с ботом разговаривают как с человеком.

Среди ошибок разработчик называет ответ не на то сообщение в длинном контексте, сбои определения языка, путаницу с датами и доменными терминами. В одном случае бот записал в календарь пометку «ссылка сохранена» вместо самой ссылки, в другом объяснил план «Ковёр» как руление вертолётом. При этом разработчик отмечает ценность модели, которая говорит «не знаю»: в ответе про посадку вертолёта у участка бот честно указал, что реестр зон не открылся и номера он выдумывать не будет.