В наши дни в центре внимания находятся онлайн-злоупотребления в социальных сетях, как никогда ранее: не только сильные и ненавистные слова могут быть непосредственно вредными для отдельных людей, но и их использование раздувает пламя вокруг групп ненависти и других экстремистов, разжигая даже более сильные (и часто трагические) ответы в автономном режиме тоже. Сегодня стартап под названием Sentropy, который считает, что он разработал самую сложную, но простую в реализации систему, которая помогает идентифицировать, отслеживать и в конечном итоге устранять злоупотребления в Интернете с помощью своей платформы на основе ИИ, начинает решать эту проблему.
Идея Sentropy не только техническая, но и философская: Джон Редгрейв, CEO, основавший стартап Мишель Банко, Тейлор Райн и Этан Бредер сказали, что речь идет о с помощью что он и его соучредители знали о том, как манипулировать и «читать» неструктурированные данные, чтобы применять их к онлайн-злоупотреблениям, которые, наконец, действительно необходимы быть воспринятым всерьез.
«Каждую неделю я наблюдал, как онлайн-разговоры влияют на реальный мир», – сказал он в интервью. «Они создавали длительный эффект. Там является ссылка между URL и IRL. Для молодого поколения разница между их цифровым и физическим Я будет неразличимой. Это мощно, но и проблематично ».
Стартап выходит из режима невидимости с финансированием в размере 13 млн. $ из довольно прославленного списка спонсоров – в их числе Алексис Оганян, соучредитель Reddit, его венчурной фирмы Initialized Capital, King River Capital, Horizons Ventures и Playground Global, основатели и руководители Riot Games, Nextdoor, OpenAI, Twitch, Twitterи «бывший глава правительства» (имя которого не разглашается).
Несмотря на то, что Sentropy выходит сегодня в открытый доступ, действительно он некоторое время работал, работая с рядом технологических компаний, находясь в закрытой бета-версии с июня, для первого из своих продуктов – механизма обнаружения злоупотреблений на основе API под названием Defend. Он выходит как общедоступный продукт вместе с готовой версией под названием Detect. Redgrave не будет раскрывать, с какими технологическими компаниями она работает до сих пор, хотя примечательно, что только на этой неделе Оганян все еще входил в правление Reddit и был бы очевидной стратегической связью для работы с ним, и, конечно, Reddit является Яркий пример платформы, с которой сталкивается Sentropy.
«Из первых рук я столкнулся с трудностью ручной модерации онлайн-сообществ», – сказал Оганян в своем заявлении. «Широта и глубина этой проблемы требуют серьезных ресурсов и возможностей машинного обучения. Sentropy создала технологию, которая очень нужна в социальных сетях. Безопасность пользователей стала конкурентным отличием для тех, кто желает выступить против злоупотреблений ».
Другая причина, по которой Sentropy, вероятно, рано и сильно заинтересовалась своим продуктом, заключается в послужном списке основателей. Их предыдущая компания, Lattice Data, была специалистом по большей части неструктурированных, темных данных, хотя и для разных целей. Было приобретено Apple в 2017 году несколько человек из нынешней команды будут работать там после продажи. Редгрейв сказал, что идею борьбы со злоупотреблениями в Интернете как проблему неструктурированных данных они действительно начали выявлять, когда Lattice была еще стартапом, хотя они не разработали ее там.
Sentropy продается как продукт на основе API для разработчиков для реализации и настройки, а также как продукт, который можно использовать “из коробки” для управления сетевыми сообществами, соответственно, под маркой Detect и Defend. Обе реализации сегодня основаны на предоставлении людям инструментов для окончательного принятия решений по модерации для их соответствующих платформ, хотя со временем может быть добавлен сервис, который автоматизирует большую часть работы.
Редгрейв отметил, что сегодня существует целый ряд проблем, связанных с интернет-злоупотреблениями и попыткой пресечь и смягчить их. Огромный объем комментариев на популярных сайтах делает задачу сортировки людей очень сложной, практически непреодолимой (и потенциально вредной сама по себе) задачей. Между тем, многие современные системы автоматизации и маркировки ключевых слов и фраз зачастую недостаточно развиты, чтобы уловить правильные вещи. Это приводит к небольшой вмятине в проблеме, но действительно около 75% онлайн-преследований не сообщается, сообщает компания со ссылкой на Pew Research.
Райн сказала, что «мозг», который лежит в основе сервиса, был создан путем приема множества страниц разговоров через открытую сеть, серую сеть и темную сеть. Как и следовало ожидать от системы ИИ, Sentropy также «узнает», как конкретные клиенты используют ее для адаптации к ним. В свою очередь, эти знания также поступают в большой мозг, чтобы продолжать учить его. (Способ, которым Sentropy проанализировал все эти данные, чтобы сделать его собственное чтение «более интеллектуальным», является, конечно, секретным соусом здесь.)
Есть много вопросов и неиспользованных областей, которые, вероятно, придется решать со временем, даже несмотря на достигнутые успехи. С одной стороны, Sentropy начинает с того, что фокусируется на тексте. На данный момент не существует продукта, который анализирует аудио или видео контент, который должен был бы сегодня выполняться через транскрибер, чтобы его можно было «прочитать» с помощью алгоритмов Sentropy. Со временем, учитывая распространенность видео приложений и популярность таких сайтов, как YouTube и видео на других платформах, таких как Facebook, это область, с которой придется считаться.
Точно так же все еще есть вопрос о том, сколько настройки сайта может потребоваться для определенной терминологии и как, и если это может быть использовано в какой-то момент. Райн отмечает, что на данный момент Sentropy решает эти термины, поэтому он не может быть сам по себе злоупотреблен и использован в качестве инструмента политической цензуры, как один из примеров. Конечно, возникают интересные вопросы о том, что является «правильным» и «неправильным».
«У нас есть выбор, кто наши клиенты», – сказал Редрав. «Это не технология с открытым исходным кодом, и они должны взаимодействовать с нами, и мы изучим конкретные варианты использования».