网游加速器原理 网络游戏加速器原理

LLM技术研究：AI加速器的简单介绍

异质计算是指具有多个计算“核心”的机器。计算芯可以是CPU，GPU，TPU，并且每天都会开发许多其他加速器。这些专用的“核心”也可以称为ASIC，这是“pplication-S法庭Integrated Circuit”的缩写。

ARM定义ASIC如下：

特定于应用程序的集成电路是为特定任务或应用程序设计的集成电路（ICS）。与可以在满足各种用例要求后可以编程的FPGA板不同，ASIC设计是在设计过程的早期定制的，以满足特定需求。

自从ChatGpt和随后的其他大型语言模型（LLM）发布以来，对训练这些模型（具有数十亿个参数）所需的计算能力的需求并生成结果（称为推论）。这是AI加速器发挥作用的地方！

本文将概述以下.

在本文中，我将简要介绍AI加速器以及它们与CPU和GPU的不同。然后，我将深入研究脉动阵列架构及其工作方式！我还将研究Google TPU，并在本文末尾介绍未来的研究指示。

AI加速器是专门旨在改善人工智能（AI）任务的性能，尤其是机器学习和深度学习的硬件。与传统的CPU相比，这些加速器可以有效地执行许多深度学习模型所需的大规模平行计算（读取矩阵乘法）。

将AI加速器与CPU和GPU区分开的一些关键功能是：

它们是为深度学习工作负载而设计的ASIC。相比之下，CPU和GPU也分别用于一般编程和渲染图形。实际上，NVIDIA GPU最初是用于处理与计算机图形相关的操作的ASIC，然后转换为科学计算（在CUDA的帮助下）。不久之后，2015年左右，CUDA的重点转向了支持神经网络。强大的并行处理能力——GPU和加速器旨在并行执行多个操作（“高吞吐量”），而CPU旨在在最短的时间内执行连续操作（“低潜伏期”）。加速器旨在卸载从CPU的深度学习工作负载，以更有效地执行这些操作。脉动阵列是简单且节能的架构，用于加速硬件中的通用矩阵乘法（GEMM）操作。它们提供了另一种实施这些操作并支持并行数据流以改善内存访问并促进数据重复使用的方法。该体系结构构成了许多商业加速器产品的基础，例如Google TPU（张量处理单元），Intel NPU（神经处理单元），IBM AIU等。

Mac阵列的脉冲数据流

这些数组由执行实际操作的Mac（多个和累积）单元组成。使用MAC单元的是行和列SRAM缓冲区，可为这些单位提供数据。每个MAC单元将将传入的数据保存在内部寄存器中，然后将相同的数据转发到下一个周期中的传出连接。

这种行为可以大大节省SRAM读取请求，并可以利用数据重用机会。例如，当滤波器图在图像上卷积时，卷积操作过程中的过滤重量保持不变。可以通过将权重存储在MAC数组中，而线缓冲区则加载到输入图像的不同窗口中，从而利用这一点。这减少了读取负载权重的读取请求，从而释放带宽以从芯片外存储器源（例如DRAM或HBM）中读取。

有不同的技术可以利用数据重用，这些技术称为数据流或下一节中讨论的映射方案。

Mac阵列的输入

输出固定数据流。请注意颜色编码，以了解卷积窗口和权重如何扩展

尽管没有关于用于适合脉动阵列体系结构的映射类型的艰难规则，但在这里我将讨论Scale-Sim论文中指定的三种策略之一。这三种策略称为输出固定（OS），重量固定（WS）和输入固定（IS）。 “固定”一词描述了计算的哪一部分在脉动阵列中的时间最多。

输出光滑数据流如上图所示。 “输出”平滑表示每个MAC单元将负责计算输出像素。所有必需的操作数将从脉动阵列的左侧和顶部输入。每行（IFMAP）都由卷积窗口中的元素组成，从顶部输入的列（过滤器）代表扩展的过滤器。乘以行和列的元素，以计算输出特征映射的像素（图）。

遵循输出固定数据流图的脉动阵列正时模型

在这里，我们尝试计算脉动阵列执行矩阵乘法所需的周期数。我们假设由于内存带宽而导致操作过程中没有停顿（请确保SRAM缓冲区到处都是数据以执行计算），并且我们假设我们有无限的MAC单位来执行计算。

SR和SC是脉动阵列的尺寸，在这种情况下，分别等于IFMAP和过滤器的行数和列的数量。 T是时间维度，指示输出稳定时的卷积窗口大小。

从上图，我们可以看到脉动数组的矩阵乘法的周期数为：

显然，在现实世界中，我们的Mac是有限的。在这种情况下，我们将工作量除以可用的MAC单元的数量，从而导致以下时间表达式：

扩大规模的机会

在这里，我们假设R和C是脉动阵列的实际尺寸，而SR和SC是所需的尺寸。为了减少这段时间，我们可以增加MAC单元的数量，这是我们称为“扩展”的过程。另一种方法是使多个MAC数组单元并行执行计算，这可以称为“扩展”。这进一步减少了完成操作所需的时间。

垂直扩展和水平扩展

Google TPUV1 [来源：Jouppi等，2017]

早在2013年，Google的预测表明，如果人们每天仅使用语音搜索3分钟，它将在Google数据中心中的计算需求增加一倍。使用DNN的语音识别模型对于使用传统CPU进行推理非常昂贵。因此，他们开始查看可以有效执行推理的自定义ASIC（特定于应用程序的集成电路）。目标是将性能提高到GPU的10倍。这项工作的结果是谷歌张量处理单元。 Google TPU基于脉动阵列体系结构。

TPU芯片的布局图。 [来源：Jouppi等，2017]

如您现在所知，基于脉动阵列的AI加速器由MAC单元组成。 Google的原始TPU实现由256256个Mac单元组成（请参阅上图中的矩阵乘法单元），可以在签名或无签名的整数上执行8位乘法并添加。然后将16位产品收集到矩阵单元下方的4个MIB 32位蓄能器中。然后还有其他组件，例如激活管道，可以在生成的矩阵上执行激活功能。

有关2017年发行的Google TPU的更多详细信息，请阅读此非常有趣的论文，该论文详细讨论了TPU的设计和性能！

张量处理单元的DATA中心绩效分析| IEEE会议出版物| IEEE Xplore

TPU V2的TensorCore框图

在改进TPU V1设计的基础上，Google发布了TPU V2和V3的规格，并做出了一些重大更改：

互连 —任何芯片设计的关键要素是互连，它决定了芯片之间的通信速度。设备上的开关称为互连路由器（请参见上图），并提供无僵硬的路由。它支持互连的2D拓扑。内存 —TPU V1的主要性能瓶颈是DRAM的有限内存带宽。在TPU V2中，使用HBM（高带宽内存）DRAM在某种程度上解决了此问题。它通过使用将TPU V2芯片连接到通过32 128位总线将TPU V2芯片连接到四堆DRAM芯片的Interposer底物的TPU V1带宽的20倍。每个芯片有多个较小的 MXU 单元 —尽管TPUV1具有256256尺寸的MXU，但在TPUV2中，其大小降低到128128，并且每个芯片具有多个MXU。较大的MXU需要更多的内存带宽才能实现最佳的芯片利用率。 Google分析说，128128 MXU的卷积模型利用率在37至48之间，是单个256256 MXU（22-30）的1.6倍。 Google提出这个想法的原因是，某些卷积自然要小于256256，这使得一些MXU未使用。 2D拓扑[来源：Jouppi等，2020]

有关Google TPU V2和V3的更多详细信息：

用于培训深神经网络的特定领域的超级计算机| ACM

与峰值失败相比，记忆带宽的扩展[来源：Gholami等，2024]

训练现代深度学习模型并将其用于推断所需的计算量正在迅速增长。这种趋势促使人们研究人工智能加速器，重点是提高计算能力。有时，这是以忽略内存层次结构和带宽为代价的，导致内存瓶颈。在本节中，我简要总结了这篇非常有趣的论文的内容[Gholami等，2024]，并指出了人工智能加速器领域的未来研究途径。

但是什么是记忆墙？

记忆墙是计算速度比从芯片外DRAM获取数据快的速度，从而限制了可以执行的整体计算。完成操作的时间取决于执行计算的速度以及将数据输入到硬件算术单元中的速度。

如上图所示，在过去的20年中，峰值计算增加了60,000倍，而DRAM和互连带宽分别仅增加了100次和30次。这一巨大的差距导致了记忆墙的更大问题，尤其是随着模型尺寸的不断增长。

资料来源：Gholami等，2024

如上图（a）所示，SOTA变压器模型中的参数数量每两年以410倍的速度生长，而AI加速器内存能力（绿点）仅以每两年的2次扩展。图（b）描述了训练不同计算机视觉（CV），自然语言处理（NLP）和语音模型的SOTA模型所需的计算量（以PETA失败），以及变压器模型（750x/2年）的不同扩展。

这个问题打开了许多可以取得进展的研究途径。人们正在积极研究诸如定量和模型修剪之类的技术，以减少模型大小。 AI加速器中的一个主要突破是成功采用了半精度（FP 16），而不是单精度，这将硬件计算能力提高了10倍。作者值得研究的另一个可能的解决方案是重新审视AI加速器的缓存层次结构的组织，该组织已被简化以确定计算能力的优先级。

参考：

https://pub.towardsai.net/but-what-what-is-inside-an-ai-accelerator-fbc8665108

深度揭秘：游戏加速器到底用了什么“黑科技”？

您是否曾经被困在团战关键时刻，您的心态爆炸了？您是否因为高延迟而错过了吃鸡良机？不用担心，游戏加速器可能是您的救世主！但是您知道它的工作原理吗？今天，我们将进入游戏加速器彻底拆解的技术内核，看看它如何使您的游戏体验从卡顿地狱到丝滑天堂！

只有一个游戏加速器终极目标：降低延迟，提高网络稳定性。具体来说，它使您可以在游戏优化网络路径、减少数据丢包和提升传输效率中玩。

操作更流畅：您的网络数据需要通过多个响应更迅速到问题。路径越长，延迟越高。设备：游戏加速器可找到游戏服务器或中转节点至解决方案的路径，因此数据为全球分布的加速节点，并减少了最短和最稳定。直通游戏服务器：普通网络将受到绕路的干预（例如下载，视频等），导致拥堵或问题。其他应用：建立了游戏加速器带宽不足，另一个网络流量为数据拥堵，确保游戏数据为解决方案，并且避免了专属隧道。游戏数据：游戏数据的尺寸很大，并且传输时间很长，尤其是隔离，这对延迟产生了巨大影响。优先传输：游戏加速器可以通过网络拥堵减少数据包的量，因此数据为问题和实时对战类游戏。解决方案：普通网络传输易于数据压缩技术或更快到达服务器，影响游戏体验甚至传输延迟。问题：游戏加速器可保护黑客攻击和窃取数据的安全性，并允许您使用账号安全。通过解决方案，解决加密技术问题，以便游戏数据也可以是用户隐私。为安心游戏区域提供全球节点优化，较低跨国延迟和海外玩家。畅快游戏该游戏的延迟要求非常高，并且游戏加速器可以显着提高网络基础较差。如果稳定连接的质量极差（例如带宽不足），则游戏加速器也为卡顿。某些游戏可能在加速器掉线率上，甚至可能出现在MOBA、射击类上。高质量的游戏加速器通常需要操作响应速度，增加本地网络。无法完全解决问题：选择支持不佳和封号风险的加速器以满足付费订阅的需求。使用成本：将优先级给予节点覆盖和节点多的产品，并避免分布广。多区域：确保加速器支持稳定性并避免口碑好。稳定性强：根据预算选择频繁掉线的加速器和兼容性。游戏加速器允许玩家通过你常玩的游戏、“白花钱”和性价比享受功能齐全的游戏体验。无论是价格合理还是节点优化，它都可以成为您的专线通道！

您使用的游戏加速器的效果如何？来到评论部分分享您的经验！