КОРРЕЛЯЦИОННЫЙ АНАЛИЗ АВТОМАТИЧЕСКИХ МЕТРИК КАЧЕСТВА ГЕНЕРАЦИИ ТЕКСТОВ

Автор(ы): Сергеев Денис Сергеевич, Васильева Лидия Ильясовна

Рубрика: Информационные технологии

DOI: 10.21777/2500-2112-2026-2-90-97

Выпуск: 2026-2 (55)

Страницы: 90-97

Ключевые слова: большие языковые модели, оценка качества генерации, автоматические метрики, семантическое сходство, экспертная оценка, корреляционный анализ, регрессионная модель, техническая документация

Аннотация: В статье рассматривается задача оценки качества текстов, генерируемых большими языковыми моделями при локальном использовании в корпоративных информационных системах. Исследование направлено на анализ согласованности автоматических метрик качества с экспертной оценкой для коротких технических описаний атрибутов данных. В качестве объекта исследования использована языковая модель среднего размера, запущенная в локальной вычислительной среде с применением методов оптимизации параметров. Для сформированной выборки сгенерированных текстов получены экспертные оценки по дискретной шкале и вычислены автоматические показатели, отражающие семантическое и лексическое сходство с эталонными описаниями. Проведен корреляционный анализ, а также построена линейная регрессионная модель, позволяющая аппроксимировать экспертную оценку на основе значений автоматических метрик. Показано, что семантические показатели демонстрируют высокую степень согласованности с экспертной оценкой и обеспечивают устойчивое прогнозирование качества генерации. Полученные результаты могут быть использованы при автоматизированной валидации и настройке систем генерации технической документации.

Библиографическая ссылка: Сергеев Д.С., Васильева Л.И. КОРРЕЛЯЦИОННЫЙ АНАЛИЗ АВТОМАТИЧЕСКИХ МЕТРИК КАЧЕСТВА ГЕНЕРАЦИИ ТЕКСТОВ // Образовательные ресурсы и технологии. – 2026. – № 2 (55). – С. 90-97. doi: 10.21777/2500-2112-2026-2-90-97