Почему запустить open-source модель у себя дороже, чем кажется
Инженер по инфраструктуре считает вслух, во что реально обходится своя LLM на своих серверах и когда это дешевле облачного API, а когда самообман.
Все говорят: возьми открытую модель и хости сам, будет дешевле. Так?
Иногда так, иногда это ловушка. Люди сравнивают цену токена в облаке с ценой аренды видеокарты и радуются. А потом выясняется, что карта простаивает восемьдесят процентов времени, и ты платишь за воздух. Экономика self-hosting держится на утилизации. Нет стабильной загрузки, нет и экономии.
Где проходит граница?
Грубо: если у тебя ровный высокий поток запросов круглые сутки, свой инференс на арендованных картах начинает выигрывать. Если нагрузка рваная, днём густо, ночью пусто, облачное API по факту дешевле, потому что ты платишь только за реальные вызовы. Мы для одного клиента считали, и облако выиграло именно из-за ночных провалов.
Что съедает деньги, кроме самой карты?
Люди и время. Свою модель надо квантовать, чтобы влезла в память, настроить батчинг запросов, следить за очередью, обновлять веса. Это отдельная работа инженера, и её редко закладывают в расчёт. Плюс отказоустойчивость: одна карта это единая точка отказа, а две это уже удвоение железа.
Открытые модели ведь ещё и слабее закрытых?
Разрыв сократился, но он есть. На типовых задачах вроде классификации или извлечения полей открытая модель часто не уступает и обходится дешевле. А на сложных рассуждениях закрытые лидеры пока впереди. Поэтому мы не выбираем религию, а раскладываем задачи: простое отдаём своей модели, тяжёлое уходит в облако.
А зачем тогда вообще хостить самому?
Не ради экономии, а ради контроля. Данные не уходят наружу, задержка предсказуема, модель не поменяют под тобой без предупреждения. Для медицины, банков, гостайны это решает. Там вопрос не «сколько», а «можно ли вообще отдать данные вовне».
Совет тем, кто выбирает?
Сначала посчитайте реальный профиль нагрузки за сутки, а не пиковую цифру. Потом прибавьте зарплату инженера, который это будет держать. Часто после честного расчёта облако перестаёт казаться дорогим. А контроль над данными это отдельная причина, её деньгами не меряют.