NVIDIA Orin демонстрирует превосходные результаты в edge-системах ИИ с новыми результатами в тестах MLPerf

08.04.2022

NVIDIA вместе с партнерами продолжает демонстрировать высочайшую производительность в задачах ИИ, предлагая самую широкую экосистему для всех задач машинного обучения в уже пятом раунде отраслевых тестов производительности в задачах ИИ.

В категории задач ИИ для edge-систем предрелизная версия NVIDIA Orin лидирует в пяти из шести тестов производительности. Система оказалась до 5 раз быстрее, чем Jetson AGX Xavier предыдущего поколения, обеспечивая при этом в среднем двукратное повышение энергоэффективности.

Система-на-чипе NVIDIA Orin доступна в составе комплекта разработчика NVIDIA Jetson AGX Orin для робототехники и автономных систем. Платформу NVIDIA Jetson сегодня применяют свыше 6000 заказчиков компании, включая Amazon Web Services, John Deere, Komatsu, Medtronic и Microsoft Azure для инференса и других задач.

Она также является ключевым компонентом платформы NVIDIA Hyperion для автономных транспортных средств. Крупнейший китайский производитель электромобилей BYD, поддержав сделанные ранее анонсы других автопроизводителей,  также объявил об использовании архитектуры DRIVE Hyperion на базе Orin для своих автоматизированных электромобилей следующего поколения.

Orin играет ключевую роль и в платформе для медицинских устройств NVIDIA Clara Holoscan, которую производители систем и исследователи используют для разработки инструментов искусственного интеллекта нового поколения.

Компактные размеры – большой стек ПО

Серверы и устройства с графическими процессорами NVIDIA, включая Jetson AGX Orin, стали единственными edge-ускорителями, на которых выполнялись все шесть тестов MLPerf.

Благодаря SDK JetPack, Orin использует полную платформу искусственного интеллекта NVIDIA, которая уже зарекомендовала себя в центрах обработки данных и в облаке. Это стало возможным при поддержке миллиона разработчиков, использующих платформу NVIDIA Jetson.


NVIDIA лидирует по скорости инференса на ускоритель и является единственной компанией, которая представила данные для всех рабочих нагрузок. Сноска: MLPerf v2.0 Inference Closed; производительность каждого ускорителя получена на основе лучших результатов MLPerf с использованием зарегистрированного количества ускорителей в Data Center Offline и Server. Qualcomm AI 100: 2.0-130, Intel Xeon 8380 из заявки MLPerf v.1.1: 1.1-023 и 1.1-024, Intel Xeon 8380H 1.1-026, NVIDIA A30: 2.0-090, NVIDIA A100 (Arm): 2.0-077, NVIDIA A100 (X86): 2.0-094. Название и логотип MLPerf являются товарными знаками. Подробнее смотрите на сайте www.mlcommons.org.

NVIDIA и партнеры компании продолжают демонстрировать лучшую производительность во всех тестах и ​​сценариях в новой серии тестов MLPerf для инференса. Тесты MLPerf пользуются широкой поддержкой таких компаний, как Amazon, Arm, Baidu, Dell Technologies, Facebook, Google, Гарвард, Intel, Lenovo, Microsoft, Стэнфорд и Университет Торонто.

Расширение экосистемы

Платформа искусственного интеллекта NVIDIA снова привлекла наибольшее количество заявок MLPerf от самой широкой экосистемы партнеров. Повторяя декабрьский успех в обучающих тестах MLPerf, Azure продемонстрировала сильные результаты в новой серии тестов инференса ИИ, с использованием GPU NVIDIA A100 с тензорными ядрами в обоих случаях. Инстанс Azure ND96amsr_A100_v4 показал высокие результаты почти во всех тестах инференса, соответствующие восьми высокопроизводительным GPU, демонстрируя огромную мощь, доступную в облаке.

Производители систем ASUS и H3C дебютировали в MLPerf, отправив заявки на платформу NVIDIA AI. Они присоединились к компаниям Dell Technologies, Fujitsu, GIGABYTE, Inspur, Nettrix и Supermicro, которые представили результаты на более чем 20 систем, сертифицированных NVIDIA.

Почему результаты MLPerf так важны

Наши партнеры применяют тесты MLPerf, потому что это ценный инструмент для клиентов, оценивающих платформы ИИ и их поставщиков. Тесты MLPerf воспроизводят самые популярные на сегодняшний день рабочие нагрузки и сценарии ИИ. Это гарантирует, что эталонные тесты отражают предполагаемую производительность по всему спектру задач.

Программное обеспечение в комплекте

Все программное обеспечение, которое мы использовали для наших тестов, доступно в репозитории MLPerf.

Два ключевых компонента для тестов инференса — NVIDIA TensorRT для оптимизации моделей ИИ и NVIDIA Triton Inference Server для их эффективного развертывания — доступны бесплатно в NGC, нашем каталоге программного обеспечения, оптимизированного для графических процессоров.

Triton используют организации по всему миру, в том числе поставщики облачных услуг, такие как Amazon и Microsoft.

Мы регулярно отправляем все наши оптимизации в контейнеры, доступные в NGC, чтобы любой пользователь мог приступить к внедрению ИИ в производство с максимальной производительностью.