Сегодня AWS объявила о запуске своих новейших инстансов с графическим процессором. Эти новые экземпляры, получившие название P4, запускаются через десять лет после того, как AWS выпустила свой первый набор экземпляров Cluster GPU. Это новое поколение работает на процессорах Intel Cascade Lake и восьми графических процессорах NVIDIA A100 Tensor Core. AWS обещает, что эти инстансы обеспечивают до 2,5 раз большую производительность глубокого обучения по сравнению с предыдущим поколением, а обучение сопоставимой модели с этими новыми инстансами должно быть примерно на 60% дешевле.
Кредиты изображений: AWS
На данный момент доступен только один размер, экземпляр p4d.12xlarge, на сленге AWS, и восемь графических процессоров A100 подключены через интерфейс связи NVIDIA NVLink и также предлагают поддержку интерфейса GPUDirect компании.
С 320 ГБ памяти графического процессора с высокой пропускной способностью и сетью со скоростью 400 Гбит / с, это, очевидно, очень мощная машина. Добавьте к этому 96 ядер ЦП, 1,1 ТБ системной памяти и 8 ТБ хранилища SSD, и, возможно, неудивительно, что цена по запросу составляет 32,77 доллара в час (хотя эта цена снижается до менее 20 долларов в час в течение 1 года. зарезервированные экземпляры и 11,57 долларов США за зарезервированные на три года.
Кредиты изображений: AWS
В крайнем случае, вы можете объединить 4000 или более графических процессоров в EC2 UltraCluster, как AWS называет эти машины, для выполнения высокопроизводительных вычислительных рабочих нагрузок на том, что по сути является машиной масштаба суперкомпьютера. Учитывая цену, вы вряд ли в ближайшее время развернете один из этих кластеров для обучения модели игрушечного приложения, но AWS уже работает с рядом корпоративных клиентов для тестирования этих экземпляров и кластеров, включая Toyota Research. Институт, GE Healthcare и Aon.
“В [Toyota Research Institute], мы работаем над тем, чтобы построить будущее, в котором у всех будет свобода передвижения », – сказал Майк Гаррисон, технический руководитель отдела проектирования инфраструктуры TRI. «Инстансы P3 предыдущего поколения помогли нам сократить время обучения моделей машинного обучения с дней до часов, и мы с нетерпением ждем возможности использовать инстансы P4d, поскольку дополнительная память графического процессора и более эффективные форматы с плавающей запятой позволят нашей команде машинного обучения обучаться большему количеству сложные модели с еще большей скоростью ».