Как в финтехе строят платформу ИИ-агентов

В компании «СВОЙ Тех» рассказали о запуске внутренней платформы ИИ-агентов для финтеха. По словам авторов, разница между прототипом на стороннем API и корпоративной системой, работающей с внутренними данными, принципиальна: требуется интеграция с бизнес-задачами и защищённый контур. Платформа включает собственного AI-ассистента и набор специализированных агентов.

Архитектура построена на нескольких компонентах. AI-модель обрабатывает контекст и генерирует ответ, но по умолчанию не имеет доступа к внутренним системам. AI-агент выступает связующим звеном: он передаёт задачу модели, обрабатывает выбранные действия и при необходимости вызывает инструменты, повторяя цикл до результата. Рабочая среда обеспечивает доступ к инструментам, а контекст включает запрос, историю диалога, инструкции и данные.

Технически платформа реализована на Python с фреймворком Deep Agents для управления сложными задачами. Маршрутизация запросов к разным моделям выполняется через LiteLLM, мониторинг и анализ ошибок — через Langfuse. Локальные модели запускаются с помощью SGLang внутри инфраструктуры компании.

Поведение агента регулируется двумя уровнями инструкций. System Prompt задаёт базовые правила и роль, передаётся при каждом запросе. Skills — дополнительные инструкции под конкретный тип задачи: на старте сессии агент знает только названия и краткие описания навыков, а полную инструкцию считывает при необходимости. Это снижает объём контекста и количество лишней информации.

Для работы с корпоративными системами создано более 200 методов в собственном MCP-сервере. Они охватывают векторный поиск по Confluence, задачи в Jira, извлечение данных из PDF и Word, SQL-запросы в ClickHouse, работу с GitLab и построение отчётов. Вместо единого универсального бота развёрнута линейка специализированных чатов с жёстко прописанными ролями и наборами инструментов.

Среди чатов — помощники для бизнес-аналитиков, работа с требованиями и договорами, аналитика на ClickHouse, а также локальная «песочница» без доступа к корпоративным базам. По внутренним наблюдениям, Qwen лучше справляется с задачами, где нужно последовательно использовать несколько инструментов, а Gemma быстрее выполняет аналогичные задачи с тем же контекстом. Модель выбирается под конкретную задачу.

В длинных диалогах система автоматически сокращает историю, сохраняя основные факты и выводы, чтобы удержать фокус на релевантном контексте. Пользователям рекомендуют открывать новый чат для каждой крупной задачи, чтобы избежать смешения контекста. При работе с многостраничными документами система извлекает только нужные фрагменты, не загружая весь документ целиком.