Социальная сеть Facebook начала блокировать пользователей за предсказанное нейросетью намерение написать расистский или оскорбительный пост. Как сообщается в пресс-релизе, появление алгоритма позволит вывести борьбу с «языком ненависти» на принципиально новый уровень.
В Facebook рассказали, что нейросеть обучена «охотиться» на аккаунты, принадлежащие привилегированным социальным группам. Под этой фразой в США обычно подразумевают белых гетеросексуальных мужчин. Перед вводом в эксплуатацию точность алгоритма была доведена до 67% — этот результат в соцсети посчитали «впечатляющим ударом по расизму и гомофобии».
«Предполагаемый нарушитель ещё только задумал создать токсичное содержимое, а наши алгоритмы уже предсказали это событие и превентивно заблокировали его страницу на 30 дней за готовящееся нарушение норм сообщества — так это работает. Для анализа используется огромный массив данных, который мы получили, собирая досье на выявленных модераторами нарушителей, а также деперсонализированные данные, снимающиеся с микрофонов в мобильных телефонах пользователей», — рассказал ведущий разработчик отдела искусственного интеллекта Facebook Бен Хаарец.
В пресс-релизе уточняется, что алгоритм уже заработал и в дальнейшем будет совершенствоваться и самостоятельно обучаться.