电脑显示器上显示的图像，在显示在显示器上之前，要经过一些列处理，这个过程有个专有的名词叫“渲染”，GPU就是专门为了渲染设计的。

渲染这个过程具体来说就是几何点位置和颜色的计算，这两者的计算在数学上都是用四维向量和变换矩阵的乘法，因此GPU也就被设计为专门适合做类似运算的专用处理器了。

深度学习中一类成功应用的技术叫做卷积神经网络CNN，这种网络数学上就是许多卷积运算和矩阵运算的组合，而卷积运算通过一定的数学手段也可以通过矩阵运算完成。这些操作和GPU本来能做的那些图形点的矩阵运算是一样的。因此深度学习就可以非常恰当地用GPU进行加速了。

没有GPU之前，渲染就是CPU负责的。渲染其实就是做了一系列图形的计算，但这些计算往往非常耗时，占用了CPU的一大部分时间。而CPU还要处理许多其他任务。CPU通用性强，但是专用领域性能低。这项强了，别的就弱了。再后来3D设计对渲染的要求越来越高，GPU的性能越做越强。论纯理论计算性能，GPU要比CPU高出几十上百倍。

GPU为什么计算快呢？GPU起初的设计目标就是为了处理图形图像的渲染工作，而这种工作的特性就是可以分布式，每个处理单元之间较为独立，没有太多的关联。而一部分机器学习算法，比如遗传算法，神经网络等，也具有这种分布式及局部独立的特性，这种情况下可以采用大量小核心（一般的GPU都有几百个核心）同时运算的方式来加快运算速度。