图形处理单元(GPU)远不止图形芯片。多年来,它们一直是人工智能革命的核心。这在很大程度上归功于这样一个事实,即用于高保真3D图像处理的计算基板非常适合支撑神经网络的数学,这些神经网络为当今最复杂的AI应用提供动力。
GPU似乎从一开始就为AI设计,但这会歪曲这项技术的历史发展。 Nvidia,AMD和其他芯片制造商多年来为PC图形,交互式游戏,图像后处理和虚拟桌面基础设施提供了大量资金。
然而,图形处理和AI之间的亲和力是不可否认的。例如,卷积神经网络(CNN)处于AI的最前沿,主要用于图像分析,分类,渲染和操作。毫无疑问,GPU在许多应用中是CNN处理的主要硬件工具之一。
AI和图像处理有什么共同之处
从技术角度来看,图像处理和AI的共同之处在于依赖于高度并行的矩阵和向量运算,这是GPU发光的地方。基本上,AI术语中的矩阵(也称为“张量图”)等效于计算机生成的图像帧中的像素矩阵或点的行和列。 GPU的嵌入式存储器结构将整个图形图像处理为矩阵 - 可能通过自适应智能来丰富,该自适应智能来自深度学习和其他AI矩阵的并发执行。该架构使GPU供电的系统能够使用内联AI动态地和有选择地加速图像更新和修改的处理。
这些工作负载之间的共生关系在应用程序级别也很明显,这解释了为什么GPU通常是许多智能,图形丰富的应用程序的首选硬件加速器技术。我们越来越多地将AI嵌入到大众市场的图像处理产品中,例如自动稳定图像的智能相机,调整色彩和曝光,选择焦点,以及在现场实时定制图像到场景被捕获,从而降低了我们任何人拍摄技术上无用的照片的可能性。
同样,我们看到越来越多采用GPU驱动的AI来实现如此复杂的图像处理功能,如去噪,分辨率缩放,可变速率着色,物体检测,边缘检测,运动检测以及嵌入到智能相机中的缺失元素的插值。基于浏览器的
机器学习越来越多地
应用于GPU提升的图形密集型应用程序,如图像检测,识别,分类和操作。 GPU正在为生成性对抗网络(GAN)提供动力,这是一种领先的
人工智能方法,其图形应用包括为游戏,艺术,娱乐,医疗和其他应用生成逼真的高分辨率图像。
除了其他应用之外,甚至还有新一代支持GPU的智能手机应用动态图像处理,旨在为人脸图像呈现逼真(但基本上是触摸式)的增强效果。
虽然在大多数部署中GPU和CPU之间存在共生关系,但很明显GPU在哪里发光:与CPU内核相比,GPU的执行单元(称为流多处理器)可以并行执行更多操作。 GPU可以在本地存储器和寄存器中存储更多可重用的高速缓存数据,以实现快速矢量化和矩阵乘法。 GPU还具有更高的内存带宽,更高的线程并行性,并且可以在短路径寄存器内存中保存比CPU更多的数据。
很容易想象将部署图灵GPU的各种图形丰富的AI应用程序:
协作:人工智能生成的图形化身可能支持虚拟和物理协作的融合,每个人都可以访问耳机和降噪耳机,并可以进入协作,沉浸式虚拟环境。
学习:人工智能生成的模拟可以为个人和团体提供交互式,逼真的3D体验学习环境。
营销:人工智能生成的产品目录可以使逼真渲染的3D物品实际上覆盖,放置,定制,并安装在客户的身体或家中,汽车和其他环境中。
设计:开发人员和工程师可以使用AI生成的原型与完美呈现的3D设计进行交互,以便在未来可能的创建之前进行物理原型或发送到工厂。
导航:人工智能生成的图形自动完成或“修复”,在平视显示器中实施时,可以帮助驾驶员查看车辆盲点中的内容或突出他们可能拥有的实时环境中的显着物体忽视。
医学:人工智能生成的图形分辨率增强功能可以帮助医生在使用智能护目镜时,在进行手术时更容易看到身体组织中的细节,而医学人体模型实际上可以叠加在实际患者身上,以协助诊断,培训和其他医疗保健场景。
工业:AI增强型数字双工环境可以支持混合物理和虚拟环境中的制造,物流和其他工业实体资产的图形建模,优化和维护。
GPU不能做得那么好
但请记住,GPU并不是一种通用的硬件加速器。 GPU通常具有比CPU更少的内存容量,GPU必须使用CPU来提取数据,并且GPU时钟速度最多只占高端CPU的三分之一,这限制了GPU快速处理顺序任务的能力。
同样重要的是,GPU不一定是每个AI工作负载的最佳硬件加速器技术,它可以为图形注入的移动,边缘,物联网和其他应用程序提供智能。在更现代产品核心的片上系统(SoC)中,GPU与CPU和各种专用神经网络处理器(如张量处理单元(TPU),现场编程门阵列(FPGA))一起占用)和专用集成电路(ASIC)。
在不断发展的智能边缘设备生态系统中,真正的共生将取决于所有这些嵌入式AI芯片如何协同工作以创造视觉体验,以栩栩如生的现实主义令我们惊讶。