快捷搜索:

CNN推理哪家强?英伟达/英特尔/骁龙/麒麟/Action

作者: 技术支持  发布:2019-11-07

麒麟970在运行InceptionV3时要比骁龙660快一点,SNPE平台在华为HiAI平台发布后比高通骁龙660更新。

NVIDIA TensorRT超大规模平台

https://github.com/basicmi/Deep-Learning-Processor-List

NVIDIA AGX系列

百乐门棋牌 1

Jetson AGX Xavier开发套件

不过骁龙660的一个问题是SNPE平台版本问题,作者曾经用snpe-tensorflow-to-dlc编译器编译某些最先进的模型时遇到过这个问题。

NVIDIA TensorRT推理服务器——这一容器化的微服务软件使应用能够在数据中心生产中采用AI模型。其在NVIDIA GPU Cloud容器注册中免费提供,可实现数据中心吞吐量和GPU利用率的最大化,支持所有常用AI模型和框架,并集成了Kubernetes和Docker。

ActionSemi不宜Mobilenets

NVIDIA Tesla T4 GPU——搭载320个Turing Tensor Core和2560个CUDA Core,这款全新GPU具有突破性的性能,以及灵活的多精度功能,从FP32到FP16再到INT8及INT4。它采用高能效的75瓦小型PCIe封装,可轻松适用于大多数服务器。FP16的峰值性能为65 teraflops,INT8为130 teraflops,INT4为260 teraflops。

3)Nvidia 1080ti(基准线)

英伟达今天推出了一个全新的人工智能数据中心平台——TensorRT超大规模平台,能够为语音、视频、图像和推荐服务提供推理加速解决方案。该平台可为端到端应用提供最快性能和更低延迟,使超大规模数据中心能够提供新的服务,例如增强型自然语言交互,以及对搜索查询的给出直接答案而非模糊匹配的一系列结果。处理查询的速度比仅采用CPU时快40倍。NVIDIA预计AI推理行业有望在未来五年内平稳增长至200亿美元的市场。

在InceptionV3网络的比拼中,由于每个平台功能不同,所以需要进行量化,测试中需要把高通骁龙660量化为8位,Nvidia TensorRT可以选择使用FP32或FP16,麒麟970可以选择8位或者1位量化。

NVIDIA TensorRT超大规模平台包括一整套硬件和软件产品,这些产品针对强大、高效的推理进行了优化。关键要素包括:

百乐门棋牌 2

英伟达今天还宣布了其AGX阵容,这是英伟达基于Xavier的产品系列的新名称,这些产品专为从机器人到自动驾驶汽车的自动机器系统而设计,嵌入了AI HPC。今天推出的是Nvidia Drive AGX Xavier开发套件,这是一个用于构建自动驾驶系统的平台。这种开放、可扩展的软件和硬件解决方案使公司能够无缝地开发和测试定制的自动驾驶技术,简化生产。Nvidia还提供类似的Clara平台,专为医疗应用而设计,作为疾病早期检测、诊断和治疗的新工具。

1)width_multiplier = 0.25&input_size = 128

百乐门棋牌 3

1)Nvidia Jetson Tx2

文章来源:网易智能

责任编辑:

NVIDIA TensorRT 5——推理优化器和运行时引擎,NVIDIA TensorRT 5支持Turing Tensor Core,并对适用于多精度工作负载的神经网络优化集进行了扩展。

百乐门棋牌 4

据9月13日消息,在北京时间今天上午举行的GTC2018日本站上,英伟达首席执行官黄仁勋介绍了该公司在AI方面的最新进展,宣布了一系列新产品,其中包括NVIDIA TensorRT 超大规模平台、NVIDIA Drive AGX Xavier开发套件以及Jetson AGX Xavier开发套件等。

调整参数可以改变输入图像的大小。我们用128和160两种型号来进行测试:

英伟达今天宣布推出Jetson AGX Xavier开发套件,部分日本的工业和制造商率先开始使用该新系统。作为世界上第一台为人工智能,机器人和边缘计算而创建的计算机,Jetson AGX Xavier的大规模计算性能可以处理对下一代机器人至关重要的测距、定位、测绘、视觉和感知以及路径规划。同时黄仁勋在今天GTC大会上介绍到,雅马哈汽车公司将选择NVIDIA Jetson AGX Xavier作为开发系统,为其即将推出的自动机器系列提供动力。

传送门

英伟达在本次GTC2018日本站上宣布的新产品具体有:

百乐门棋牌 5

现场还补充介绍了英伟达于不久前分别发布的新Quadro RTX和新Geforce RTX。据介绍,富士公司成为日本第一家采用NVIDIA DGX-2 AI超级计算机的公司,它将用于加速医疗保健和医疗成像系统等领域的AI技术的开发,以及用于显示器的高功能材料等。

麒麟970

InceptionV3:高通华为还不错

InceptionV3的竞争中,最快的是Nvidia 1080ti(Float TF),其次是Nvidia Jetson系列,1080ti比Intel i7-8700k CPU快10倍。

伊瓢 编译

高通骁龙660已经是一个相对早的版本了,训练Mobilenet,MobilenetSSD,InceptionV3这类较小网络时,骁龙660提供了不错的速度。

2)Movidius 2450

百乐门棋牌 6

4)麒麟970(华为手机)

原标题:CNN推理哪家强?英伟达/英特尔/骁龙/麒麟/ActionSemi大测评

一位名叫Mike Liao的作者,最近就利用暑期实习的机会测试了英伟达、英特尔、麒麟、高通、ActionSemi5个品牌硬件的CNN推理能力。

在速度方面,TensorRT(Half)<TensorRT(Float)<Tensorflow(Float),每个速度比前者快〜2倍,我们可以预期速度最快的TX2 TensorRT(Half)比1080ti(Float)慢大约2-5倍。

https://towardsdatascience.com/benchmarking-hardware-for-cnn-inference-in-2018-1d58268de12a

本文由百乐门棋牌发布于技术支持,转载请注明出处:CNN推理哪家强?英伟达/英特尔/骁龙/麒麟/Action

关键词: