«ВКонтакте» запустила нейросеть для блокировки враждебных комментариев

Сейчас алгоритмы умеют определять прямые угрозы, такие как пожелания смерти и обещание причинить вред здоровью, в будущем же программу научат распознавать другие признаки травли — например, на религиозной или национальной почве.  

Социальная сеть «ВКонтакте» представила новую функцию для администраторов сообществ: автоматическое удаление «враждебных» комментариев. В основе фильтра лежит разработанная ею нейросеть.

Администраторам групп «Вконтакте» стала доступна новая функция: автоматическое удаление «враждебных» комментариев. Сейчас нейросеть умеет определять прямые угрозы, а в дальнейшем начнет блокировать травлю на национальной или религиозной почвеhttps://t.co/eNxY6dZuNl

— ForbesRussia (@ForbesRussia) February 26, 2021

Сейчас алгоритмы «ВКонтакте» умеют определять прямые угрозы, такие как пожелания смерти и обещания причинить вред здоровью. В будущем нейросеть научат распознавать и другие признаки нетерпимости, например травлю на национальной или религиозной почве.

Фильтр по умолчанию отключен, владельцы пабликов могут включить его в настройках сообщества. Там же они смогут увидеть отсеянные комментарии, восстановить любой из них или отправить автора агрессивного высказывания в бан.

«Тестирование фильтра было запущено в ноябре 2020 года. За этот период функцией уже воспользовались руководители свыше 10% всех сообществ «ВКонтакте» — это 13 млн публичных страниц, групп и мероприятий. Администраторы сообществ оценили работу нейросети — среди подключивших фильтр комментариев от него впоследствии отказались лишь 1,8%. При этом многие писали в поддержку с просьбой активировать функцию», — отмечает команда «ВКонтакте».

Интересно, что для создания алгоритмов, которые понимают разговорную речь, использовалось большое количество русскоязычных текстов — например, субтитры из фильмов, сериалов и видео. Нейросеть содержит в себе специальный механизм внимания, позволяющий принимать решения на основе важности слов и их комбинаций. Разработчики изучают логику принятия решений — это позволяет исправлять ошибки, учитывать контекст и эффективнее обучать алгоритмы. Сейчас нейросеть правильно определяет угрозы в 80% случаев, и команда продолжает работать над её улучшением.