Исследователи предложили универсальный способ оценить дообучение языковых моделей
Учёные разработали метрику T-Score для сравнения методов дообучения ИИ.
Лаборатория «Т-Технологии» провела исследование методов дообучения языковых моделей. Учёные протестировали 12 популярных подходов, включая LoRA, адаптеры и полную тонкую настройку, на пяти датасетах.
Эксперименты показали, что LoRA сохраняет 90% качества полного дообучения, но требует в три раза меньше вычислительных ресурсов. Адаптеры показали худшие результаты — их точность упала на 15% по сравнению с базовыми моделями.
Команда разработала метрику T-Score, которая оценивает эффективность методов по трём параметрам: качество предсказаний, затраты на вычисления и стабильность работы. Систему протестировали на моделях GPT-3, BERT и T5.
«Раньше сравнение методов напоминало попытку измерить температуру линейкой, — объясняет руководитель исследования. — T-Score даёт единую шкалу для любых архитектур и задач».
Метрику внедрили в open-source библиотеку TorchMetrics. Разработчики планируют добавить поддержку новых моделей до конца года.
Исследование заняло 18 месяцев. В нём участвовали семь научных групп из России, Германии и Китая. Полные результаты опубликованы в журнале Nature Machine Intelligence.
