M1Cloud заявляет о важности близости серверов для скорости ИИ-сервисов
Компания M1Cloud выяснила, что расстояние до сервера влияет на скорость работы ИИ-моделей.
Обучение ИИ-моделей требует мощных GPU-серверов, но после обучения модель переходит в фазу инференса — генерации ответов на запросы пользователей. В этой фазе ключевым становится не вычислительная мощность, а расстояние между облаком и устройством пользователя.
M1Cloud провела тесты с моделями Llama 2 и Mistral. При задержке 100 мс время ответа увеличивалось на 30% по сравнению с задержкой 20 мс. Разница становилась заметнее при сложных запросах: обработка 1000 токенов занимала на 40% больше времени при высоком пинге.
Компания предлагает размещать серверы инференса ближе к пользователям. Их анализ показал, что сервер в 50 км от клиента сокращает задержку втрое по сравнению с дата-центром в 300 км. Это особенно важно для чат-ботов и голосовых ассистентов, где критична мгновенная реакция.
Эксперты отмечают тренд на распределённые вычисления. Крупные облачные провайдеры за последний год открыли локальные зоны в 20 новых странах. M1Cloud планирует развернуть 50 микро-дата-центров в Восточной Европе до конца 2024 года.
Проблема актуальна для сервисов с миллионами пользователей. Исследования Google показывают, что даже 100 мс задержки приводят к потере 7% аудитории. Для ИИ-ассистентов показатель может быть выше — пользователи менее терпимы к паузам в диалоге, чем к медленной загрузке страниц.
Технологии сжатия данных и кэширования частично решают проблему. Но для потоковой обработки речи или видео требуется физическая близость серверов. M1Cloud тестирует гибридную схему, где сложные модели работают в центральном облаке, а лёгкие — на периферийных узлах.
