Группа Rubytech протестировала российские LLM на китайских GPU
Российские языковые модели успешно работают на видеокартах Huawei и других азиатских производителей.
Группа Rubytech, которая разрабатывает программно-аппаратные комплексы для высоконагруженных ИТ-систем, завершила тестирование российских LLM на китайских GPU. Результаты показали, что модели стабильно работают на оборудовании Huawei и других азиатских производителей.
Испытания проводили на видеокартах Huawei Ascend 910B. Они обеспечили 80% от пиковой производительности NVIDIA A100. Это значимый результат в условиях санкционных ограничений на поставки западного оборудования.
В тестах участвовали три российские LLM: Saiga, RULM и GigaChat. Все они показали скорость обработки около 30 токенов в секунду при batch size 16. Задержки не превысили 200 мс даже на сложных запросах.
По данным Rubytech, для работы на китайских GPU не требуется серьезной переделки кода. Достаточно адаптировать драйверы и оптимизировать вычислительные графы. Это упрощает переход на альтернативное оборудование для компаний, зависящих от западных поставщиков.
Эксперимент подтвердил, что китайские видеокарты могут заменить NVIDIA в условиях санкций. Однако остаются вопросы по долгосрочной поддержке и масштабированию. Huawei пока предлагает меньше инструментов для разработчиков, чем американские конкуренты.
Rubytech планирует продолжить тестирование с другими моделями и GPU. В ближайшие месяцы компания проверит, как китайское оборудование справляется с обучением нейросетей, а не только с инференсом.
