ОБУЧЕНИЕ РЕКУРРЕНТНЫХ НЕЙРОННЫХ СЕТЕЙ В УСЛОВИЯХ ОГРАНИЧЕННОГО ОБУЧАЮЩЕГО НАБОРА ДАННЫХ

Автор(ы): Чуб Вадим Сергеевич, Цветкова Ольга Леонидовна

Рубрика: Информационные технологии

DOI: 10.21777/2500-2112-2023-4-79-85

Выпуск: 2023-4 (45)

Страницы: 79-85

Ключевые слова: рекуррентные нейронные сети, трансферное обучение, ограниченный набор данных, обработка естественного языка

Аннотация: В настоящее время для решения задач обработки естественного языка используются методы трансферного обучения на основе трансформеров, однако они могут быть требовательными к вычислительным ресурсам и памяти. Альтернативный подход, предложенный в данной статье, связан с использованием предварительно обученной языковой модели на основе рекуррентной нейронной сети LSTM (англ. Long Short-Term Memory – «долгая краткосрочная память»), позволяющей выполнить обработку естественного языка (анализ тональности) на наборе, содержащем текстовые данные. В качестве эталонного теста предложенной модели для решения задачи распознавания «языка ненависти» в тексте рассмотрены другие модели на основе трансформеров. Тест на деградацию, оценивающий устойчивость моделей к снижению производительности при уменьшении количества обучающих данных, подтверждает эффективность модели для ограниченного обучающего набора данных. Предложенная LSTM-модель на основе рекуррентной нейронной сети позволяет с нуля использовать предварительно обученную языковую модель и обеспечить более быстрое предварительное обучение в моделях на основе трансформера.

Библиографическая ссылка: Чуб В.С., Цветкова О.Л. ОБУЧЕНИЕ РЕКУРРЕНТНЫХ НЕЙРОННЫХ СЕТЕЙ В УСЛОВИЯХ ОГРАНИЧЕННОГО ОБУЧАЮЩЕГО НАБОРА ДАННЫХ // Образовательные ресурсы и технологии. – 2023. – № 4 (45). – С. 79-85. doi: 10.21777/2500-2112-2023-4-79-85