91,3%доля верных ответов (accuracy)
0,91макро-F1
20%базовая линия (всегда самая частая тема)
900 / 300обучение / проверка
Что сделано
Входящие обращения автоматически относятся к одной из пяти тем, чтобы сразу попадать нужному сотруднику. Текст превращается в числа методом TF-IDF (слова и пары слов), затем обучается логистическая регрессия. Всё собрано в один Pipeline: векторизация обучается только на обучающей части, поэтому утечки данных нет.
Качество на отложенной выборке
| Тема | Точность (precision) | Полнота (recall) | F1 | Примеров |
|---|---|---|---|---|
| Аккаунт | 0,91 | 0,97 | 0,94 | 60 |
| Возврат | 0,96 | 0,88 | 0,92 | 60 |
| Доставка | 0,95 | 0,88 | 0,91 | 60 |
| Оплата | 0,93 | 0,88 | 0,91 | 60 |
| Технический вопрос | 0,84 | 0,95 | 0,89 | 60 |
Какие слова решают
Модель объяснима: у линейной модели видно, какие слова сильнее всего указывают на тему.
| Тема | Самые сильные слова |
|---|---|
| Аккаунт | не приходит, приходит, личный кабинет, войти, могу войти, личный |
| Возврат | товар, возврат, обменять размер, обменять, нужно, нужно обменять |
| Доставка | курьер не, курьер, задерживается, заказ задерживается, задерживается уже, уже неделю |
| Оплата | деньги, оплате, оплате заказа, ошибка при, при оплате, не пришёл |
| Технический вопрос | открывается, не открывается, сайт не, сайт, при, запуске |
Примеры ошибок
Ошибки в основном там, где в обращении перемешаны темы. Такие случаи стоит отправлять на ручную проверку по порогу уверенности.
| Текст | Правильно | Модель |
|---|---|---|
| Уже второй раз пишу. Сайт не открывается. Заказ сделан вчера. Как изменить номер телефона в профиле? | Технический вопрос | Аккаунт |
| Хочу изменить адрес доставки. Жду ответа. Страница каталога грузится очень долго? | Доставка | Технический вопрос |
| Уже второй раз пишу. Кнопка корзины не нажимается. Жду ответа. Заказ №32688. Не могу войти в личный кабинет? | Технический вопрос | Аккаунт |
| Не могу отследить трек номер. Спасибо. Не приходит код подтверждения? | Доставка | Аккаунт |
Честное замечание: данные синтетические и намного проще реальных. На настоящих обращениях качество будет другим; сначала проверка на выборке клиента, потом оценка.