Во вторник на этой неделе нейробиолог, основатель и писатель Гэри Маркус сидел между генеральным директором OpenAI Сэмом Альтманом и Кристиной Монтгомери, которая является главным сотрудником IBM по доверительному управлению конфиденциальностью, поскольку все трое свидетельствовали перед Юридическим комитетом Сената более трех часов. Сенаторы были в основном сосредоточены на Альтмане, потому что в данный момент он руководит одной из самых влиятельных компаний на планете, а также потому, что Альтман неоднократно просил их помочь наладить его работу. (Большинство руководителей умоляют Конгресс оставить их отрасль в покое.)
Хотя Маркус уже некоторое время известен в академических кругах, в последнее время его звезда находится на подъеме благодаря его информационному бюллетеню («Дорога к ИИ, которому мы можем доверять»), подкасту («Люди против машин») и его интересным беспокойство по поводу неконтролируемого роста ИИ. В дополнение к слушанию на этой неделе, например, в этом месяце он появился на телевидении Bloomberg и был показан в воскресном журнале New York Times и Wired среди других мест.
Поскольку слушания на этой неделе казались во многом историческими — сенатор Джош Хоули охарактеризовал ИИ как «одно из самых технологических нововведений в истории человечества», а сенатор Джон Кеннеди был настолько очарован Альтманом, что попросил Альтмана выбрать своих собственных регуляторов — мы хотели поговорите также с Маркусом, чтобы обсудить опыт и узнать, что он знает о том, что произойдет дальше.
Вы все еще в Вашингтоне?
Я все еще в Вашингтоне. Я встречаюсь с законодателями и их сотрудниками, а также с другими интересными людьми и пытаюсь понять, сможем ли мы воплотить в жизнь то, о чем я говорил.
Вы преподавали в Нью-Йоркском университете. Вы стали соучредителем нескольких компаний, занимающихся искусственным интеллектом, в том числе одной со знаменитым робототехником Родни Бруксом. Я брал интервью у Брукса на сцене еще в 2017 году, и он сказал тогда, что не думает, что Илон Маск действительно понимает ИИ, и что, по его мнению, Маск ошибается в том, что ИИ представляет собой экзистенциальную угрозу.
Я думаю, что Род и я разделяем скептицизм по поводу того, является ли текущий ИИ чем-то вроде общего искусственного интеллекта. Есть несколько вопросов, которые вы должны разобрать. Во-первых, близки ли мы к ОИИ, а во-вторых, насколько опасен текущий ИИ, который у нас есть? Я не думаю, что текущий ИИ, который у нас есть, представляет собой экзистенциальную угрозу, но он опасен. Во многих смыслах я думаю, что это угроза демократии. Это не угроза человечеству. Он не собирается уничтожать всех людей. Но это довольно серьезный риск.
Не так давно вы обсуждали Янн ЛеКун, главный специалист по искусственному интеллекту в Meta. я не уверен, что этот лоскут был об истинном значении нейронных сетей глубокого обучения?
Итак, ЛеКун и я действительно обсуждали многие вещи для много лет. У нас были публичные дебаты, модератором которых в 2017 году был философ Дэвид Чалмерс. [LeCun] чтобы с тех пор устроить еще один настоящий спор, и он не будет этого делать. Он предпочитает субтвитить меня в Twitter и тому подобное, что я не думаю, что это самый взрослый способ вести разговор, но поскольку он важная фигура, я отвечаю.
Одна вещь, в которой, я думаю, мы не согласны [currently] то есть, ЛеКун считает, что можно использовать эти [large language models] и что здесь нет никакого возможного вреда. Я думаю, что он очень ошибается в этом. Существуют потенциальные угрозы для демократии, начиная от дезинформации, преднамеренно созданной злоумышленниками, и заканчивая случайной дезинформацией — например, профессора права, которого обвинили в сексуальных домогательствах, хотя он их не совершал — [to the ability to] тонко формировать политические убеждения людей на основе обучающих данных, о которых общественность даже ничего не знает. Это похоже на социальные сети, но еще более коварно. Вы также можете использовать эти инструменты, чтобы манипулировать другими людьми и, вероятно, обманывать их во всем, что вы хотите. Вы можете масштабировать их массово. Здесь определенно есть риски.
Вы сказали что-то интересное о Сэме Альтмане во вторник, сказав сенаторам, что он не сказал им, в чем его самый большой страх, который вы назвали «уместным», и перенаправив их на него. Чего он до сих пор не сказал, так это ничего, что имело бы отношение к автономному оружию, о котором я говорил с ним несколько лет назад как о главной проблеме. Мне показалось интересным, что оружие не появилось.
Мы рассмотрели кучу вопросов, но есть много вещей, до которых мы не дошли, включая правоприменение, что действительно важно, национальную безопасность, автономное оружие и тому подобное. Будет еще несколько [these].
Были ли какие-либо разговоры о системах с открытым исходным кодом и закрытых?
Вряд ли подошло. Очевидно, это действительно сложный и интересный вопрос. На самом деле не ясно, какой правильный ответ. Вы хотите, чтобы люди занимались независимой наукой. Возможно, вы хотите иметь какое-то лицензирование для вещей, которые будут развернуты в очень больших масштабах, но они сопряжены с определенными рисками, включая риски безопасности. Неясно, хотим ли мы, чтобы каждый злоумышленник получил доступ к сколь угодно мощным инструментам. Таким образом, есть аргументы за и есть аргументы против, и, вероятно, правильный ответ будет включать в себя разрешение достаточной степени открытого исходного кода, но также наличие некоторых ограничений на то, что можно сделать и как его можно развернуть.
Какие-нибудь конкретные мысли о стратегии Meta по выпуску своей языковой модели в мир, чтобы люди могли с ней повозиться?
я не думаю, что это здорово [Meta’s AI technology] LLaMA существует, если честно. Думаю, это было немного небрежно. И знаете, это буквально один из джиннов, выпущенных из бутылки. Отсутствовала правовая инфраструктура; они ни с кем не советовались о том, что они делали, насколько я не знаю. Может быть, они и сделали, но процесс принятия решения с этим или, скажем, Bing, в основном прост: компания решает, что мы собираемся это сделать.
Но некоторые вещи, которые решают компании, могут принести вред, будь то в ближайшем будущем или в долгосрочной перспективе. Поэтому я думаю, что правительства и ученые должны играть все более важную роль в решении того, что там происходит. [through a kind of] FDA для ИИ, где, если вы хотите выполнить широкое развертывание, сначала вы проводите пробную версию. Вы говорите о рентабельности. Вы делаете еще одно испытание. И в конце концов, если мы уверены, что преимущества перевешивают риски, [you do the] выпуск в большом количестве. Но прямо сейчас любая компания в любое время может решить развернуть что-то для 100 миллионов клиентов и сделать это без какого-либо государственного или научного надзора. У вас должна быть какая-то система, в которую могут вмешаться некоторые беспристрастные авторитеты.
Откуда взялись эти беспристрастные авторитеты? Разве не все, кто хоть что-то знает о том, как эти вещи работают, уже работают в компании?
Я не. [Canadian computer scientist] Йошуа Бенжио нет. Есть много ученых, которые не работают в этих компаниях. Это настоящая забота, как получить достаточное количество этих аудиторов и как дать им стимул для этого. Но здесь есть 100 000 ученых-компьютерщиков, обладающих определенными знаниями. Не все из них работают на Google или Microsoft по контракту.
Хотели бы вы сыграть роль в этом агентстве ИИ?
Я заинтересован, я чувствую, что все, что мы строим, должно быть глобальным и нейтральным, предположительно некоммерческим, и я думаю, что у меня есть хороший, нейтральный голос, которым я хотел бы поделиться и попытаться привести нас к хорошему месту.
Каково было сидеть перед Судебным комитетом Сената? И как вы думаете, вас снова пригласят?
Я не был бы шокирован, если бы меня снова пригласили, но я понятия не имею. Я был действительно глубоко тронут этим, и я был действительно глубоко тронут тем, что оказался в этой комнате. Я полагаю, это немного меньше, чем на телевидении. Но казалось, что все были здесь, чтобы попытаться сделать все возможное для США — для человечества. Все знали важность момента, и, по общему мнению, сенаторы показали свою лучшую игру. Мы знали, что были там по какой-то причине, и мы сделали все возможное.