Дезинформация, дезинформация, информационно-развлекательная система, algowars – если дебаты о будущем СМИ в последние несколько десятилетий что-то значили, они, по крайней мере, оставили резкий отпечаток на английском языке. Было много оскорблений и опасений по поводу того, что социальные сети делают с нами, от нашей индивидуальной психологии и неврологии до более широких опасений по поводу силы демократических обществ. Как недавно выразился Джозеф Бернштейн, переход от «мудрости толпы» к «дезинформации» действительно был резким.
Что такое дезинформация? Существует ли он, и если да, то где он и как мы узнаем, что смотрим на него? Должны ли мы заботиться о том, что показывают нам алгоритмы наших любимых платформ, стремясь ограничить наше внимание? Именно такие сложные вопросы математики и социальных наук заинтересовали Ноя Джиансиракуза этим предметом.
Джиансиракуза, профессор Университета Бентли в Бостоне, получил образование в области математики (сосредоточив свои исследования в таких областях, как алгебраическая геометрия), но он также имел склонность смотреть на социальные темы через математическую призму, например, связать вычислительную геометрию с Верховным судом. Совсем недавно он опубликовал книгу под названием «Как алгоритмы создают и предотвращают фальшивые новости», в которой он исследует некоторые сложные вопросы, касающиеся современного медиа-ландшафта, и того, как технологии усугубляют и улучшают эти тенденции.
Я принимал Гиансиракузу на Twitter Космос в последнее время, и с тех пор Twitter не упростил последующее прослушивание этих разговоров (эфемерность!), я подумал, что вытащу самые интересные фрагменты нашего разговора для вас и для потомков.
Это интервью отредактировано и сжато для ясности.
Дэнни Крайтон: Как вы решили исследовать фейковые новости и написать эту книгу?
Ной Гиансиракуза: Одна вещь, которую я заметил, – это очень интересные социологические, политологические дискуссии о фейковых новостях и подобных вещах. А что касается технической стороны, у вас будут такие вещи, как Марк Цукерберг, говорящий, что ИИ решит все эти проблемы. Просто казалось, что преодолеть этот пробел немного сложно.
Все, наверное, слышали эту недавнюю цитату Байдена о том, что «они убивают людей», в отношении дезинформации в социальных сетях. Итак, у нас есть политики, говорящие об этих вещах, которым им трудно понять алгоритмическую сторону. Кроме того, у нас есть специалисты по информатике, которые действительно глубоко разбираются в деталях. Так что я как бы сижу посередине, я не настоящий заядлый специалист в области информатики. Так что я думаю, что мне немного легче просто сделать шаг назад и посмотреть с высоты птичьего полета.
В конце концов, я просто почувствовал, что хочу исследовать еще несколько способов взаимодействия с обществом, где все становится беспорядочно, где математика не так чиста.
Crichton: Исходя из математической подготовки, вы попадаете в эту спорную область, где многие люди писали с разных сторон. Что люди делают правильно в этой области и что люди, возможно, упускают из виду?
Giansiracusa: Здесь много невероятной журналистики, я был потрясен тем, как многие журналисты действительно могли справляться с довольно техническими вещами. Но я бы сказал, что, возможно, они не ошиблись, но меня поразило то, что часто выходит научная статья или даже объявление от Google, Facebook или одной из этих технологических компаний, и они как бы упоминают что-то, и журналист, возможно, извлечет цитату и попытается ее описать, но они, кажется, немного боятся действительно попытаться взглянуть и понять это. И я не думаю, что они не смогли этого сделать, это действительно больше похоже на запугивание и страх.
Одна вещь, которую я много раз испытал как учитель математики, – это то, что люди так боятся сказать что-то не так и сделать ошибку. И это касается журналистов, которым приходится писать о технических вещах, они не хотят сказать что-то не так. Так что проще просто процитировать пресс-релиз из Facebook или процитировать эксперта.
Одна вещь, которая так забавна и прекрасна в чистой математике, – это то, что вы на самом деле не беспокоитесь о том, что ошиблись, вы просто пробуете идеи и видите, к чему они приводят, и вы видите все эти взаимодействия. Когда вы готовы написать доклад или выступить с докладом, вы проверяете детали. Но большая часть математики – это творческий процесс, в котором вы исследуете и просто видите, как идеи взаимодействуют. Вы думаете, что мое математическое образование заставит меня опасаться ошибок и, если быть очень точным, но это как бы имело противоположный эффект.
Во-вторых, многие из этих алгоритмических вещей не так сложны, как кажется. Я не сижу их внедряю, уверен, что запрограммировать сложно. Но в целом все эти алгоритмы в наши дни, многие из этих вещей основаны на глубоком обучении. Итак, у вас есть нейронная сеть, для меня как постороннего не имеет значения, какую архитектуру они используют, все, что действительно имеет значение, – каковы предикторы? В принципе, какие переменные вы используете в алгоритме машинного обучения? А что он пытается выводить? Это то, что может понять каждый.
Crichton: Одна из серьезных проблем, с которыми я думаю при анализе этих алгоритмов, – это отсутствие прозрачности. В отличие, скажем, от чистого математического мира, который представляет собой сообщество ученых, работающих над решением проблем, многие из этих компаний могут на самом деле весьма враждебно относиться к предоставлению данных и анализу более широкому сообществу.
Giansiracusa: Кажется, есть предел тому, что каждый может сделать вывод, просто будучи извне.
Итак, хороший пример – с YouTubeгруппы ученых хотели выяснить, YouTube Алгоритм рекомендаций отправляет людей в эти кроличьи норы заговора экстремизма. Проблема в том, что, поскольку это алгоритм рекомендаций, он использует глубокое обучение, он основан на сотнях и сотнях предикторов, основанных на вашей истории поиска, ваших демографических данных, других видео, которые вы смотрели и как долго – все эти вещи. Он настолько адаптирован к вам и вашему опыту, что все исследования, которые мне удалось найти, используют режим инкогнито.
Таким образом, это в основном пользователь, у которого нет истории поиска, нет информации, и они переходят к видео, а затем щелкают первое рекомендованное видео, а затем следующее. И посмотрим, куда алгоритм приведет людей. Это совсем другой опыт, чем у реального человека с историей. И это было действительно сложно. Я не думаю, что кто-то придумал хороший способ алгоритмического исследования YouTube алгоритм извне.
Честно говоря, я думаю, что единственный способ, которым вы могли бы это сделать, – это что-то вроде исследования старой школы, когда вы набираете целую кучу добровольцев, устанавливаете трекер на их компьютер и говорите: «Эй, просто живи своей обычной жизнью. поделитесь своими историями и всем остальным и расскажите нам о видео, которые вы смотрите ». Так что было трудно отказаться от того факта, что многие из этих алгоритмов, я бы сказал, почти все они так сильно основаны на ваших личных данных. Мы не знаем, как это изучить в совокупности.
И дело не только в том, что у меня или у кого-то еще со стороны возникают проблемы из-за того, что у нас нет данных. Даже люди в этих компаниях создали алгоритм и знают, как алгоритм работает на бумаге, но они не знают, как он будет вести себя на самом деле. Это похоже на чудовище Франкенштейна: они построили эту штуку, но не знают, как она будет действовать. Так что единственный способ, которым, я думаю, вы можете по-настоящему изучить это, – это если люди, располагающие этими данными внутри, будут стараться изо всех сил и тратить время и ресурсы на их изучение.
Crichton: Существует множество показателей, используемых для оценки дезинформации и определения вовлеченности на платформе. Исходя из вашего математического образования, считаете ли вы эти меры надежными?
Giansiracusa: Люди пытаются развенчать дезинформацию. Но в процессе они могут комментировать это, они могут ретвитить его или делиться им, и это считается вовлечением. Итак, многие из этих измерений вовлеченности, действительно ли они рассчитаны на позитив или просто на всю вовлеченность? Вы знаете, это вроде как все складывается в одну кучу?
То же самое происходит и в академических исследованиях. Цитаты – универсальный показатель успешности исследований. Ну, действительно фальшивые вещи, такие как оригинальная статья Уэйкфилда о аутизме и вакцинах, получила множество цитат, многие из них цитировали ее, потому что считали ее правильной, но многие из них были учеными, которые опровергли ее, они цитируют ее в своей статье, чтобы скажем, мы демонстрируем, что эта теория ошибочна. Но почему-то цитата есть цитата. Таким образом, все это учитывается в метрике успеха.
Так что я думаю, что это немногое из того, что происходит с вовлечением. Если я публикую что-то в своих комментариях со словами: «Эй, это безумие», как алгоритм узнает, поддерживаю я это или нет? Они могли бы попробовать использовать некоторую языковую обработку искусственного интеллекта, но я не уверен, что они есть, и это требует больших усилий.
Crichton: Наконец, я хочу немного поговорить о GPT-3 и озабоченности по поводу синтетических медиа и фейковых новостей. Есть много опасений, что ИИ-боты завалиют СМИ дезинформацией – насколько мы должны бояться или не бояться?
Giansiracusa: Поскольку моя книга действительно выросла из класса, основанного на опыте, я хотел оставаться беспристрастным и просто как бы информировать людей и позволять им принимать собственные решения. Я решил попытаться прервать эти дебаты и позволить высказаться обеим сторонам. Я думаю, что алгоритмы новостной ленты и алгоритмы распознавания усиливают множество вредных вещей, и это разрушительно для общества. Но есть также большой прогресс в продуктивном и успешном использовании алгоритмов для ограничения фейковых новостей.
Есть эти техно-утописты, которые говорят, что ИИ все исправит, у нас будет правдивость, проверка фактов и алгоритмы, которые могут обнаружить дезинформацию и устранить ее. Есть некоторый прогресс, но этого не произойдет, и он никогда не будет полностью успешным. Всегда нужно будет полагаться на людей. Но еще у нас есть своего рода иррациональный страх. Это своего рода гиперболическая антиутопия ИИ, в которой алгоритмы настолько мощны, что они собираются нас уничтожить.
Когда в 2018 году в новостях впервые появились глубокие фейки, а пару лет назад был выпущен GPT-3, было много опасений, что «О, черт, это решит все наши проблемы с фейковыми новостями и пониманием того, что правда в мир намного, намного сложнее ». И я думаю, что теперь, когда у нас есть пара лет дистанции, мы видим, что они сделали это немного сложнее, но не настолько значительно, как мы ожидали. И главный вопрос скорее психологический и экономический, чем что-либо еще.
Итак, у первоначальных авторов GPT-3 есть исследовательская статья, в которой представлен алгоритм, и одна из вещей, которые они сделали, – это тест, в котором они вставили какой-то текст и расширили его до статьи, а затем они попросили некоторых добровольцев оценить и угадать, какой – это статья, созданная алгоритмически, а какая статья – созданная человеком. Они сообщили, что получили очень, очень близкую к 50% точность, что означает чуть выше случайных предположений. Знаете, это звучит одновременно удивительно и пугающе.
Но если вы посмотрите на детали, они будут расширяться, как однострочный заголовок, до абзаца текста. Если вы попытаетесь написать полную статью в атлантическом или нью-йоркском формате, вы начнете замечать несоответствия, мысль будет блуждать. Авторы этой статьи не упомянули об этом, они просто провели свой эксперимент и сказали: «Эй, посмотрите, насколько он успешен».
Это выглядит убедительно, они могут делать эти впечатляющие статьи. Но вот основная причина, в конце концов, почему GPT-3 не стал настолько преобразующим в том, что касается фальшивых новостей, дезинформации и всего прочего. Это потому, что фейковые новости – это в основном мусор. Он плохо написан, он низкого качества, он настолько дешев и быстр, что вы можете просто заплатить своему 16-летнему племяннику, чтобы он за считанные минуты выпустил кучу фальшивых новостных статей.
Дело не в том, что математика помогла мне это увидеть. Просто почему-то главное, что мы пытаемся сделать в математике, – это быть скептичными. Так что вы должны подвергнуть эти вещи сомнению и быть немного скептичными.