[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$f70yE6jbyoRJuoqAUSANNrKHHD67ox2jzufyBUanzmUA":3},{"article":4,"related":20},{"title":5,"slug":6,"dek":7,"body":8,"cover":9,"type":10,"reading_minutes":11,"published_at":12,"category":13,"author":15},"Оценивать ИИ на глазок больше нельзя и вот как мы это поняли","otsenka-kachestva-llm-evaluation","Инженер по оценке моделей объясняет, почему ощущение «стало лучше» обманывает целые команды и как построить измеримую проверку качества LLM без самообмана.","**Почему нельзя просто посмотреть на ответы и понять, хорошо или плохо?**\n\nПотому что человек ужасно необъективен и у него короткая память. Поменяли промпт, глянули пять ответов, обрадовались, выкатили. А на шестом типе запросов стало хуже, но его никто не проверил. Мы месяцами так ходили по кругу: каждое изменение чинило одно и ломало другое, и мы этого не видели.\n\n**С чего начать построение оценки?**\n\nС набора реальных запросов, а не придуманных. Собрали живые вопросы пользователей, зафиксировали, каким должен быть хороший ответ. Даже пара сотен таких примеров меняет всё. Появляется линейка: новая версия лучше или хуже прежней, и на каких именно случаях просела.\n\n**Кто выставляет оценку, человек или машина?**\n\nКомбинируем. Часть проверок формальные: есть ли нужный факт, тот ли формат, не выдумала ли модель ссылку. Часть отдаём другой модели как арбитру, но осторожно: судья тоже ошибается и имеет свои перекосы. Поэтому сверяем его вердикты с людьми на выборке, чтобы понимать, где ему верить.\n\n**Модель нельзя подогнать под сам тест?**\n\nЕщё как можно, и это любимая ловушка. Если крутить промпты, глядя только в тестовый набор, ты в итоге затачиваешь систему под эти двести вопросов, а не под жизнь. Поэтому часть примеров держим закрытыми и не смотрим на них при настройке, а достаём только для финальной проверки. Иначе оценка врёт в твою пользу.\n\n**Частая ошибка в этой работе?**\n\nГнаться за одной красивой цифрой. Средний балл вырос, все счастливы, а он спрятал провал на важном меньшинстве запросов. Мы теперь смотрим не только среднее, но и худшие случаи. Именно на них горит клиент, а не на середине.\n\n**Что посоветуете командам?**\n\nЗаведите оценку до того, как начнёте крутить промпты и модели. Без неё вы улучшаете вслепую и спорите вкусами. С ней спор превращается в цифру. Это скучная, неромантичная работа, но именно она отличает продукт от бесконечного тыканья наугад.",null,"interview",3,"2026-07-01T08:47:12.000Z",{"name":14},"Интервью",{"name":16,"slug":17,"role":18,"bio":19},"Кирилл Иванцов","kirill-ivancov","редактор","Отвечает за инфраструктуру, железо и безопасность ИИ. Объясняет, почему модель в лаборатории и модель в проде ведут себя по-разному.",[21,26,31],{"title":22,"slug":23,"reading_minutes":11,"published_at":24,"category":25},"Почему векторный поиск в проде врёт и как мы это чинили","vektornyy-poisk-v-prode-rag","2026-07-05T08:47:12.000Z",{"name":14},{"title":27,"slug":28,"reading_minutes":11,"published_at":29,"category":30},"Как я ломаю чужих ИИ-ассистентов через обычный текст","prompt-injection-bezopasnost-llm","2026-07-04T08:47:12.000Z",{"name":14},{"title":32,"slug":33,"reading_minutes":11,"published_at":34,"category":35},"Модель тихо деградирует в проде и никто этого не видит","drift-modeley-v-prode-monitoring","2026-07-03T08:47:12.000Z",{"name":14}]