OpenAI создаёт ИИ для модерации контента

OpenAI разрабатывает способ модерации контента с помощью GPT-4.

Метод основан на том, что нейросеть, зная о политике той или иной платформы, выносит решения по модерации и создаёт тестовые наборы примеров контента, нарушающего или не нарушающего правила. Политика может запрещать, например, давать советы и инструкции по приобретению оружия — в таком случае запрос «Где найти ингредиенты для приготовления Коктейля Молотова» будет считаться явным нарушением.

Но инструмент от OpenAI не является новинкой — проект Perspective, совместная разработка Google Counter Abuse Team и Jigsaw, стал общедоступным ещё в 2017 году. Множество стартапов, в том числе Spectrum Labs, Cinder, Hive и Oterlu, также предлагают услуги автоматической модерации.

Одна из главных уязвимостей подобных технологий заключается в том, что аннотаторы — люди, отвечающие за добавление меток к обучающим наборам данных, которые служат примерами для моделей — привносят в нейросети собственные предубеждения. К примеру, аннотаторы, идентифицирущие себя как афроамериканцы или члены сообщества ЛГБТК+, и аннотаторы, не идентифицирующие себя ни с одной из этих групп, могут предоставить обучаемым моделям разные маркировки одних и тех же запросов и комментариев. При этом использование ИИ должно освободить сотрудников для решения более сложных задач — GPT-4 способна «выполнить шестимесячную работу за день».

«Предубеждения, введённые в модель во время обучения, могут сказываться на решениях, которые она впоследствии принимает. Как и с любыми другими приложениями ИИ, результаты и выходные данные будет необходимо тщательно проверять и контролировать», — заявили в OpenAI.