Мотивация запуска проекта заказчиком: зачастую отзывы покупателей отражают определенные характеристики товаров. Необходимо было автоматизировать процесс выделения ключевых слов, отвечающих за конкретную харакетеристику. Кроме того, была поставлена задача предсказывать товар по запросам клиентов на основе ранее оставленных отзывов.
Описание исходной ситуации:
подобного функционала для обработки отзывов у МВидео не было, была потребность в добавлении нового функционала.
Цели проекта:
выделить "описательную характеристику" для каждого отзыва и построить граф на основе этих данных.
Решение MIL Team: применение полуавтоматического метода выделения терминов из текста отзыва о товарах. Построение графа знаний, включая сопоставление терминов с заданными техническими характеристиками, и тренировка векторных представлений элементов графа для предсказания товара по отзыву.
Для построения модели были использованы:
Adaptive Text Rank на базе технических характеристик и набора слов-сенитиментов для выделения терминов;
SOTA-модель BERT для сопоставления терминов и технических характеристик;
Метод TransE для тренировки векторных представлений элементов графа;
Метод ABAE для выделения «важных» характеристик для товаров по набору отзывов.
Результаты моделирования: Получены наборы терминов для различных категорий товаров, построены графы и предобучена модель выделения «важных» характеристик.