Как снизить стоимость корпоративного ИИ: модели, кэширование, квоты и маршрутизация

Коротко о главном

Не все задачи требуют frontier-модели

Сложное рассуждение, анализ большого контекста и многошаговый агент оправдывают сильную модель. Но классификация, извлечение полей, короткая сводка и простая генерация часто могут выполняться более лёгкими моделями.

Это особенно важно при массовых автоматизациях, где небольшая разница в цене умножается на тысячи запросов.

Кэш — не техническая мелочь

Если система многократно передаёт одинаковый корпоративный контекст, кэширование может заметно снизить стоимость input. Но его нужно проектировать с учётом приватности: кэш одного tenant не должен случайно обслуживать другого.

В CRM естественными единицами кэширования могут быть справочники, общие инструкции портала и неизменившиеся части системного контекста.

Контекст должен быть нужным, а не максимальным

Миллион токенов контекста не означает, что каждый запрос должен использовать миллион токенов. Длинный контекст увеличивает стоимость, latency и риск смешать важное с неважным.

Лучше выбирать релевантные записи, связи и документы по текущей задаче, а не отправлять модели весь архив компании.

Контролировать retries и агентные циклы

Agentic workflow может стать дорогим не из-за одного запроса, а из-за неограниченного числа шагов. Нужны max steps, таймауты, лимиты инструментов и логика завершения. Ошибка сети не должна автоматически запускать дорогой цикл заново без понимания состояния.

McKinsey в 2026 году отдельно выделяет сложность tokenomics агентных систем и необходимость управлять экономикой процесса, а не только ценой модели.

Квоты и metering

Для многопортальной CRM полезно видеть расход по workspace, пользователю, модели и operation. Это позволяет вводить тарифные лимиты, уведомления и приоритеты, не ограничивая всю платформу одинаково.

Самое важное — не скрывать расход от бизнеса. Если процесс стоит дороже, чем экономит, его нужно перепроектировать, а не просто оптимизировать промпт.