Ramp запустил сервис Router для переключения между языковыми моделями
Сервис позволяет через единый API подключаться к разным провайдерам ИИ, включая OpenAI и Anthropic.
Компания Ramp представила сервис Router для маршрутизации запросов между разными языковыми моделями. Через единый API пользователи — как частные, так и корпоративные — смогут подключаться к OpenAI, Anthropic и другим провайдерам ИИ.
Router автоматически распределяет нагрузку и выбирает оптимальную модель для каждого запроса. Сервис поддерживает GPT-4, Claude 3, Mistral и другие LLM. По данным компании, пользователи экономят до 30% затрат благодаря динамическому переключению между провайдерами.
Ramp тестировала Router с клиентами из финансового сектора и e-commerce. Сервис сократил задержки ответов на 15% и повысил точность выполнения сложных запросов. Технология анализирует стоимость, скорость и качество ответов каждой модели в реальном времени.
В следующем квартале Ramp планирует добавить поддержку Llama 3 и открытых моделей. Разработчики смогут настраивать весовые коэффициенты для выбора приоритета — цена или скорость.
Сейчас Router доступен в бета-версии для корпоративных клиентов. Тарифы начинаются от $0.02 за 1 тыс. токенов.
