Оценивать ИИ на глазок больше нельзя и вот как мы это поняли

Почему нельзя просто посмотреть на ответы и понять, хорошо или плохо?

Потому что человек ужасно необъективен и у него короткая память. Поменяли промпт, глянули пять ответов, обрадовались, выкатили. А на шестом типе запросов стало хуже, но его никто не проверил. Мы месяцами так ходили по кругу: каждое изменение чинило одно и ломало другое, и мы этого не видели.

С чего начать построение оценки?

С набора реальных запросов, а не придуманных. Собрали живые вопросы пользователей, зафиксировали, каким должен быть хороший ответ. Даже пара сотен таких примеров меняет всё. Появляется линейка: новая версия лучше или хуже прежней, и на каких именно случаях просела.

Кто выставляет оценку, человек или машина?

Комбинируем. Часть проверок формальные: есть ли нужный факт, тот ли формат, не выдумала ли модель ссылку. Часть отдаём другой модели как арбитру, но осторожно: судья тоже ошибается и имеет свои перекосы. Поэтому сверяем его вердикты с людьми на выборке, чтобы понимать, где ему верить.

Модель нельзя подогнать под сам тест?

Ещё как можно, и это любимая ловушка. Если крутить промпты, глядя только в тестовый набор, ты в итоге затачиваешь систему под эти двести вопросов, а не под жизнь. Поэтому часть примеров держим закрытыми и не смотрим на них при настройке, а достаём только для финальной проверки. Иначе оценка врёт в твою пользу.

Частая ошибка в этой работе?

Гнаться за одной красивой цифрой. Средний балл вырос, все счастливы, а он спрятал провал на важном меньшинстве запросов. Мы теперь смотрим не только среднее, но и худшие случаи. Именно на них горит клиент, а не на середине.

Что посоветуете командам?

Заведите оценку до того, как начнёте крутить промпты и модели. Без неё вы улучшаете вслепую и спорите вкусами. С ней спор превращается в цифру. Это скучная, неромантичная работа, но именно она отличает продукт от бесконечного тыканья наугад.