Система TensorRT, разработанная в компании Nvidia, предназначена для решения задач глубинного обучения и включает в себя средства оптимизации и исполнения обученных нейронных сетей на графических процессорах Nvidia. В компании считают, что подход, реализованный в TensorRT, гораздо эффективнее, чем использование только центрального процессора. Например, отмечают в компании, в тесте классификации изображений с использованием нейронной сети AlexNet, обученной на платформе Caffe, TensorRT 2, работающая на процессоре Nvidia Tesla P40, оказывается в 42 раза быстрее, чем аналогичная сеть, запущенная на процессоре Intel Xeon D-1587. По соотношению результатов и потребления энергии расчеты на графическом процессоре тоже оказываются значительно эффективнее, утверждают в компании.
.png) |
| Источник: Nvidia |
TensorRT работает только на графических процессорах Nvidia, а исходные коды системы закрыты. Компания AMD обещает с большей открытостью подходить к применению графических процессоров в задачах машинного обучения. В AMD намереваются использовать аппаратно-независимую платформу машинного обучения с открытым исходным кодом ROCm.
