Модель классификации на основе BERT: пример применения к русским сказкам

Аннотация

Введение: Автоматическое профилирование и жанровая классификация текстов играют ключевую роль в оценке их пригодности и уже более десяти лет широко используются в образовании, поиске информации, анализе тональности текста и машинном переводе. Среди всех жанров сказки представляют собой один из самых сложных и ценных объектов исследования из-за своей неоднородности и множества неявных особенностей. Однако традиционные методы классификации, включая стилометрические и параметрические алгоритмы, не только трудоемки и требуют значительных временных затрат, но и сталкиваются с трудностями при определении подходящих классифицирующих признаков. Исследования в этой области немногочисленны, а их результаты остаются противоречивыми и спорными.

Цель: Наше исследование направлено на заполнение этого важного пробела и предлагает алгоритм для классификации русских сказок на основе предварительно заданных параметров. Мы представляем современную модель классификации на основе BERT для русских сказок, проверяем гипотезу о потенциале BERT для классификации русских текстов и тестируем ее на репрезентативном корпусе из 743 русских сказок.

Метод: Мы предварительно обучаем BERT на наборе данных, состоящем из трех классов документов, и настраиваем его для решения конкретной прикладной задачи. Акцентируя внимание на механизме токенизации и создании векторных представлений как ключевых компонентах обработки текста в BERT, исследование также оценивает стандартные метрики, используемые для обучения моделей классификации, анализирует сложные случаи, возможные ошибки и алгоритмы улучшения, тем самым повышая точность моделей. Оценка производительности моделей проводится на основе функции потерь, точности прогнозирования, полноты и отклика.

Результаты: Мы подтвердили потенциал BERT для классификации русских текстов и его способность повышать производительность и качество существующих моделей NLP. Наши эксперименты с моделями cointegrated/rubert-tiny, ai-forever/ruBert-base и DeepPavlov/rubert-base-cased-sentence на различных задачах классификации показали, что наши модели достигают самых современных результатов, при этом наивысшая точность (95,9%) была достигнута с использованием модели cointegrated/rubert-tiny, что значительно превосходит результаты двух других моделей. Точность классификации, достигаемая с помощью ИИ, настолько высока, что может конкурировать с экспертной оценкой человека.

Заключение: Результаты подчеркивают важность тонкой настройки для моделей классификации. BERT демонстрирует значительный потенциал для улучшения технологий обработки естественного языка, внося вклад в качество автоматического анализа текста и открывая новые возможности для исследований и применения в различных областях, включая идентификацию и упорядочивание текстов по содержанию, что способствует принятию решений. Разработанный и проверенный алгоритм можно масштабировать для классификации как сложного и неоднозначного дискурса, так и художественной литературы, улучшая наше понимание текстовых категорий. Для дальнейшего развития этих подходов необходимы значительно большие наборы данных.