litellm

Выбор редакции

MLOps и данные

■■■■■ 4.7 · open-source · бесплатно сайт →

Это Python SDK и прокси-сервер (AI Gateway) для вызова более 100 API LLM в формате OpenAI с функциями трекинга затрат, защиты, балансировки нагрузки и логирования.

Вердикт

Полезен разработчикам и компаниям, которые хотят унифицировать работу с разными LLM через единый интерфейс, особенно при мульти-провайдерских сценариях.

Плюсы

поддержка множества провайдеров (Bedrock, Azure, OpenAI и др.)
удобный формат вызова API
встроенные инструменты мониторинга и оптимизации затрат
балансировка нагрузки

Минусы

возможная сложность настройки для новичков
зависимость от обновлений и поддержки множества интеграций

← ко всем инструментам