Ускорители Tesla P4 и P40 специально созданы для ускорения операций инференса – применения обученных глубоких нейронных сетей для распознавания речи, изображений и текста в ответ на запрос пользователей или устройств. Основанные на архитектуре Pascal, новые графические процессоры использую специальные инструкции инференса на базе 8-битных (INT8) данных, обеспечивая ответную реакцию в 45 раз быстрее по сравнению с CPU.⁽¹⁾ и в 4 раза быстрее по сравнению с GPU, представленными меньше года назад.⁽²⁾.

Ускорители Tesla P4 отличаются высочайшей экономичностью и предназначены для гипермасштабируемых дата-центров. Благодаря малым размерам и низкому энергопотреблению (от 50Вт), они подходят для любых серверов, что делает их в 40 раз экономичнее центральных процессоров в задачах использования результатов обучения нейронных сетей при обработке данных.⁽³⁾. Сервер с одним Tesla P4 может заменить 13 серверов на базе CPU, предназначенных для анализа данных.⁽⁴⁾, что сокращает общую стоимость владения в 8 раз, включая затраты на сервер и электричество.

Tesla P40 обеспечивает максимальную пропускную способность для задач глубокого обучения. С производительностью в 47 тера-операций в секунду (TOPS) с инструкциями INT8 сервер с восемью ускорителями Tesla P40 может заменить 140 серверов на базе CPU..⁽⁵⁾ С учетом средней стоимости одного сервера с CPU порядка $5000, общая экономия составит более $650 000.

“В лице Tesla P100, а теперь и Tesla P4 и P40, компания NVIDIA предлагает единственную комплексную платформу глубокого обучения для дата-центров, раскрывая огромные возможности искусственного интеллекта для решения самого широкого круга задач, - говорит Ян Бак (Ian Buck), директор по ускоренным вычислениям в NVIDIA. – Новые процессоры сокращают время обучения нейронных сетей с нескольких дней до нескольких часов. Они позволяют мгновенно извлечь данные из анализируемых материалов. И они выдают ответы в реальном времени пользователям сервисов ИИ”.

Программные инструменты для ускорения анализа данных
Решения Tesla P4 и P40 дополняют два новых программных продукта, предназначенных для ускорения работы ИИ-сервисов: NVIDIA TensorRT и NVIDIA DeepStream SDK.

TensorRT – это библиотека, созданная для оптимизации моделей глубокого обучения, которая обеспечивает мгновенную ответную реакцию для самых сложных сетей. Она увеличивает пропускную способность и эффективность приложений глубокого обучения путем оптимизации обученных нейронных сетей – обычно в форме 32-битных или 16-битных операций – для операций INT8 пониженной точности.

NVIDIA DeepStream SDK использует мощь сервера на базе решений на архитектуре Pascal для одновременного декодирования и анализа до 93 видеопотоков в разрешении HD в реальном времени, в отличие от семи потоков в случае с серверами на базе двух CPU.⁽⁶⁾. Это позволяет решить одну из сложнейших задач в области применения искусственного интеллекта: восприятие масштабируемого видеоконтента – что является критически важным для таких областей применения ИИ, как самоуправляемые автомобили, интерактивные роботы, фильтрация и размещение рекламы. Интеграция глубокого обучения в видеоприложения позволит компаниям создавать умные инновационные сервисы, которые раньше были просто невозможны.

Шаг вперед для клиентов
Компании, использующие решения NVIDIA, создают все более инновационные сервисы искусственного интеллекта, для которых требуется высочайшая скорость вычислений.

“Нам очень важно, чтобы наши клиенты могли создавать простые приложения с мгновенной реакций , - говорит Грэг Диамос (Greg Diamos), старший исследователь в Baidu. – Мы используем графические процессоры NVIDIA для таких наших сервисов ИИ, как Deep Speech 2. Применение GPU позволяет добиться такой оперативности, которая попросту невозможна на других неускоренных решениях. Pascal, с поддержкой инструкций INT8, позволяет нам сделать еще один шаг вперед, и теперь мы можем делать пользовательские возможности еще лучше”.

Спецификации
Спецификации GPU Tesla P4 и P40: