AI几小时设计芯片超越人类！谷歌AlphaChip已设计出三代旗舰TPU

编辑：Aeneas 桃子

【新智元导读】谷歌的AlphaChip，几小时内就能设计出芯片布局，直接碾压人类专家！这种超人芯片布局，已经应用在TPU、CPU在内的全球硬件中。人类设计芯片的方式，已被AI彻底改变。

能设计芯片的AI黑科技来了！

就在刚刚，谷歌DeepMind推出名为AlphaChip的AI系统。

无论是设计最先进的用于构建AI模型的TPU，还是数据中心的CPU，它在相关的众多领域，都产生了广泛影响。

在谷歌的许多款芯片设计中，它都取得了出色的效果，比如Axion芯片（一种基于Arm 的通用数据中心CPU）。

AlphaChip设计芯片，用的是强化学习的原理。

也就是说，芯片布局设计对它来说是一种游戏，就像AlphaGo一样，它在游戏中，学习如何设计出最好的芯片布局。

几小时内，它就能生成超出人类水平，或是与人类专家相当的芯片布局了。

现在，它已经用于设计多代TPU芯片（TPU v5e、TPU v5p和Trillium）。而且跟人类专家相比，AlphaChip放置的块数越来越多，线长也减少了许多。

布局五年，谷歌多代TPU全由AI设计

其实谷歌对于这个AI，已经布局多年了。

早在2020年，团队就发表了一篇预印本论文，介绍了谷歌的全新强化学习方法，用于设计芯片布局。

论文地址：https://arxiv.org/pdf/2004.10746

后来在2021年，这项工作发表在了Nature上，并且进行了开源。

论文地址：https://www.nature.com/articles/s41586-021-03544-w

而自从首次发表这项工作以来，谷歌内部一直在对它进行改进。

今天，团队发表了Nature附录，详细描述了具体方法，及其对芯片设计领域的影响。

同时，他们还发布了一个预训练的检查点，分享了模型权重，公布模型名称为AlphaChip。

谷歌表示，AlphaChip是最早用于解决现实世界工问题的强化学习方法之一。

在数小时内，它就可以生成超人或类似的芯片布局，而不需要花费数周或数月的人类。它设计的芯片布局，已经被用于世界各地的芯片中，包括数据中心和移动电话。

为了设计TPU布局，AlphaChip首先在来自前几代的各种芯片模块上进行实践，例如片上和片间网络模块、内存控制器和数据传输缓冲区。这一过程被称为预训练。

然后，团队在当前的TPU模块上运行AlphaChip，以生成高质量的布局。

与之前的方法不同，AlphaChip在解决更多芯片布局任务时变得更好、更快，类似于人类专家的工作方式。

对于每一代新的TPU，包括谷歌最新的Trillium(第6代)，AlphaChip都设计了更好的芯片布局，并提供了更多的总体布局图，从而加快了设计周期，产生了更高性能的芯片。

条形图显示了谷歌三代TPU上AlphaChip设计的芯片块的数量，包括v5e、v5p和Trillium

条形图显示，跟TPU物理设计团队生成的布局相比，AlphaChip在TPU三代产品中的平均有线长度减少

工作原理：一边设计，一边奖励

其实，设计芯片布局并不是一项简单的任务。

一般来说，计算机芯片有许多相互连接的模块、多层电路元件组成，所有这些部件都由纤细无比的导线连接起来。

此外，还有许多复杂且相互交织的设计约束，必须同时满足。

由于设计的复杂性，60多年来，芯片设计工程师一直在努力自动化芯片布局规划过程。

谷歌表示，AlphaChip的研发，从AlphaGo和AlphaZero中汲取了经验。

众所周知，通过深度学习和博弈论，AlphaGo和AlphaZero逐渐从0掌握了围棋、国际象棋和将棋的潜在规则。

AlphaChip同样是采用了，将芯片底层规划视为一种游戏的策略。

从空白栅格开始，AlphaChip每次放置一个电路元件，直至放置完所有元件。

然后，根据最终布局的质量，给予模型奖励。

一种全新的「基于边」的图神经网络让AlphaChip，能够学习相互连接的芯片元件之间的关系，并在芯片之间进行泛化，让AlphaChip在设计的每种布局中都有所改进。

左图：动画显示AlphaChip在没有任何经验的情况下，将开源的Ariane RISC-V CPU置入。右图：动画显示AlphaChip在对20个TPU相关设计进行练习后，放置相同的块。

AI大牛带队，2页浓缩版力作

让我们从最新论文中深扒一下，AlphaChip的整个训练过程。

值得一提的是，这项研究依旧是由Jeff Dean带队，所有核心要素全都浓缩在了这两页论文中。

论文地址：https://www.nature.com/articles/s41586-024-08032-5

预训练

与以往方法不同的是，AlphaChip是基于一种「强化学习」的方法。

这意味着，当它解决了更多芯片布局问题的实例时，会变得更好、更快。

正如Nature论文（2021年），以及ISPD 2022后续研究中所讨论的那样，这种预训练过程显著提升了AI的速度、可靠性、布局的性能。

顺便提一句，预训练也能培养出LLM，像Gemini、ChatGPT令人印象深刻的能力。

自此前研究发表以来，谷歌便开源了一个软件库，以重现论文中描述的方法。

开发者们可以使用这个库，对各种芯片进行预训练，然后将预训练的模型应用到新的块。

GitHub地址：https://github.com/google-research/circuit_training

基于最新的AlphaChip训练过程，研究人员在库中添加了预训练的20个TPU块模型检查点（checkpoint）。

显然，如果不进行任何预训练，AlphaChip就无法从先前的经验中学习，从而规避了学习方面的问题。

训练和计算资源

随着RL智能体（任何ML模型）的投入训练，它的损失通常会逐渐减少。

最终会趋于平稳，这代表着模型对其正在执行的任务有了尽可能多的了解，对外表现就是「收敛」。

从训练到收敛，是机器学习的标准做法。如果不按照这个路径来，可能会损害模型的性能。

AlphaChip的性能随应用的计算资源而扩展，在ISPD 2022论文中，谷歌团队曾进一步探讨了这一特性。

论文地址：https://dl.acm.org/doi/10.1145/3505170.3511478

正如Nature论文中所描述的，在对特定块进行微调时，使用了16个工作单元，每个单元由1个GPU和32个RL环境组成，通过多进程处理共享10个CPU。

总言之，用较少的计算资源可能会损害性能，或者需要运行相当长的时间，才能实现相同（或更差）性能。

初始布局

在运行Nature论文中评估方法之前，团队使用了来自物理综合的近似初始布局，以解决hMETIS标准单元集群大小不平衡的问题。

RL智能体无权访问初始布局，并且不复杂放置标准单元。

尽管如此，谷歌作者还是进行了一项消融研究，排除了任何初始布局的使用，并且也没有观察到AlphaChip性能下降。

如下表1所示。

具体来说，他们跳过了单元集群重新平衡的一步，而是将hMETIS集群不平衡参数降低到最低设置（UBfactor = 1）。

由此，这使得hMETIS生成更平衡的集群。

基准

在Nature论文中，研究人员采用了10nm以下制程的TPU块进行实验得出的结果。

这个技术节点的大小，正是现代芯片的典型尺寸。之前许多论文报告中，采用较早的45nm、12nm。

从物理设计角度来看，这种较老的技术节点尺寸的芯片，有着显著的不同。

比如，在10nm以下的芯片中，通常使用多重图案设计，这会在较低密度下导致布线拥堵的问题。

来源：Pushing Multiple Patterning in Sub-10nm: Are We Ready?

因此，对于较早的技术节点尺寸，AlphaChip可能需要调整其奖励函数，以便更好地适应技术。

展望未来：AI将改变整个芯片设计流程

自从2020年发布以来，AlphaChip已经生成了每一代谷歌TPU使用的超人芯片布局。

可以说，正是因为它，才能使大规模放大基于Transformer架构的AI模型成为可能。

无论是在Gemini这样的LLM，还是Imagen和Veo这样的图像和视频生成器中，TPU都位于谷歌强大的生成式AI系统的核心。

另外，这些AI加速器也处于谷歌AI服务的核心，外部用户可以通过谷歌云获得服务。

谷歌数据中心的一排Cloud TPU v5p AI加速器超算

如今，谷歌的三代旗舰TPU芯片，已经在世界各地的数据中心中制造、部署。

随着每一代TPU的发展，AlphaChip和人类专家之间的性能差距不断扩大。

从TPU v5e中的10个RL放置模块和3.2%的布线长度减少，到TPU v5p中的15个模块和4.5%的减少，再到Trillium中的25个模块和6.2%的减少。

AlphaChip还为数据中心CPU（Axion）和谷歌尚未公布的其他芯片，生成了超越人类的布局设计。

而其他公司，也在谷歌研究的基础上进行了改进。

比如联发科就不仅用AlphaChip加速了最先进芯片的开发，还在功耗、性能和面积上对芯片做了优化。

如今，AlphaChip仅仅是一个开始。

谷歌对未来做出了大胆畅想：AI将实现芯片设计全流程的自动化，

通过超人算法以及硬件、软件和机器学习模型的端到端协同优化，芯片设计的周期会显著加快，还会解锁性能的新领域。

谷歌表示，非常期待和社区合作，实现AI芯片以及芯片AI之间的闭环。

DeepMind推出芯片领域AlphaGo，几小时搞定设计，已被联发科采用

一直以来，计算机芯片是驱动 AI 发展的重要基础。现在，AI 也能够加速和优化芯片的设计了。

近日，谷歌 DeepMind 公布了一项名为 AlphaChip 的强化学习方法，可以大幅加速和优化芯片布局设计过程。而且，已被谷歌、联发科等公司采用，该方法的实用性得到了广泛验证。

DeepMind 在博客中写道：“AlphaChip 是首批用于解决实际工程问题的强化学习方法之一。

它可以在数小时内生成超越人类设计或同等水平的芯片布局，而无需耗费数周或数月的人力，其布局已应用于数据中心、手机等产品中的芯片。”

实际上，DeepMind 早在 2020 和 2021 年就分别发布了相关的论文，介绍了这种强化学习方法。

此次公布的是一篇 Nature 论文附录，揭示了更详细的技术细节，以及该方法在过去几年对芯片设计领域的积极影响。

图 | 谷歌数据中心内的 Cloud TPU v5p AI 加速器超级计算机（来源：DeepMind）

设计芯片布局并非易事。

计算机芯片的结构复杂，它由很多互相连接的功能模块组成，这其中又包含了多层电路元件。而且，这些组件之间还通过极其精细的导线相互连接。

此外，还必须同时满足很多复杂且相互交织的设计限制。

从 AlphaChip 的工作原理来看，其与谷歌的 AI 系统 AlphaGo 与 AlphaZero 等类似。

它将芯片布局设计视为一种游戏，从空白的网格开始，逐一放置电路元件，直至完成所有元件的布局。

遵循强化学习的理念，这个系统将基于最终布局的质量得到奖励。

AlphaChip 通过一种新颖的“基于边缘”的图神经网络，学习互连芯片组件之间的关系。并且，在不同芯片上进行泛化，使其设计能力随着每次布局而不断提升。

AlphaChip 在效率和性能上的表现，均优于传统芯片设计方法。

一般来说，设计一个复杂芯片（如图形处理器）的布局需要耗时约 24 个月，而较简单的芯片也需要数月时间，这意味着巨大的人力和资金成本。

相比之下，AlphaChip 能在几小时内完成芯片布局设计，并且其设计在功耗和性能方面往往优于人工设计。

自 2020 年起，谷歌开始在其张量处理单元（TPU，Tensor Processing Unit）芯片设计中应用 AlphaChip 技术。

TPU 是谷歌专为 AI 加速而设计的定制芯片，为多个生成式 AI 系统提供支持，包括：Gemini 大型语言模型、Imagen 图像生成器和 Veo 视频生成器等。

AlphaChip 在每一代 TPU 的设计中都发挥了重要作用，包括最新的第六代 Trillium 芯片，并不断提高芯片性能并加快设计周期。

图 | AlphaChip 设计的芯片块在三代谷歌 TPU 中的数量（来源：DeepMind）

据 DeepMind 介绍，为了设计 TPU 布局，AlphaChip 首先在前几代的芯片块上进行预训练。例如，片上和芯片间网络块、内存控制器和数据传输缓冲区。

之后，他们会在当前的 TPU 块上运行 AlphaChip，尝试生成高质量的布局。

与以往方法不同之处在于，AlphaChip 在完成芯片布局任务时，会随着任务增多而变得更好和更快。

除了设计专用 AI 加速器外，AlphaChip 还被用于设计谷歌 Axion 处理器（基于 ARM 架构的通用数据中心中央处理器）等其他类型的芯片。

并且，其他公司也开始采用和改进 AlphaChip 技术。

例如，芯片设计公司联发科对 AlphaChip 的应用进行扩展，用于加速开发其最先进的芯片，包括用于三星手机的 Dimensity 旗舰 5G 芯片。它还同时改善了芯片的功耗、性能和面积。

图 | AlphaChip 在三代谷歌 TPU 中平均减少的线长（来源：DeepMind）

AlphaChip 引发了基于 AI 在芯片设计领域的研究热潮。研究人员正在探索将这一技术扩展到芯片设计的其他关键阶段，如逻辑综合、Macro 选择和时序优化等。

目前，虽然新思（Synopsys）和楷登电子（Cadence）等公司已经提供了一些 AI 辅助芯片设计工具，但这些工具通常价格昂贵。

谷歌希望通过开源 AlphaChip，来普及 AI 辅助芯片设计方法。

尽管 AlphaChip 展现出了巨大的潜力，但值得注意的是，目前谷歌和联发科等公司仍然只在有限的芯片模块中使用 AlphaChip，大部分设计工作仍由人类开发者完成。

但不可忽视的是，AlphaChip 的学习速度远远超过人类专家，这意味着，它的表现将随着时间的推移而迅速提升。

展望未来，谷歌相信“AlphaChip 有潜力优化芯片设计周期的每个阶段，从计算机架构到制造的各个环节”。

这可能会彻底改变定制硬件的芯片设计，包括智能手机、医疗设备、农业传感器等日常设备中的芯片。

这一技术的广泛应用可能会对整个科技行业产生深远影响，推动从消费电子到大规模计算基础设施等各个领域的进步。

参考资料：

https://deepmind.google/discover/blog/how-alphachip-transformed-computer-chip-design/

https://www.tomshardware.com/tech-industry/google-unveils-alphachip-ai-assisted-chip-design-technology-chip-layout-as-a-game-for-a-computer

运营/排版：何晨龙

相关问答

半导体中名词“wafer”“chip”“die”的联系和区别是什么?...

[最佳回答]上面基本是对的。以硅工艺为例,一般把整片的硅片叫做wafer,通过工艺流程后每一个单元会被划片,封装。在封装前的单个单元的裸片叫做die。chip是对芯...

chip原理?

因此,研究蛋白质与DNA在染色质环境下的相互作用是阐明真核生物基因表达机制的基本途径。染色质免疫沉淀技术(chromatinimmunoprecipitationassay,CHIP.....

芯片制造中PM是什么意思?

ChipPowerModel(CPM)是一个紧密的具有SPICE精度的全芯片电源网络模型。它包含有时间和空间开关电流分析,以及片上模块的非线性寄生参数,包括decaps、电容负...

chip是什么意思_作业帮

[最佳回答]chip[tʃip]vt.削,凿;削成碎片vi.剥落;碎裂n.芯片;筹码;碎片[过去式chipped过去分词chipped现在分词chipping]chip[tʃip]vt.削,凿;...

半导体IC芯片是什么，有什么用途?，-懂得

集成电路IC(InterrgratedCircuit)是将晶体管、电阻、电容、二极管等电子组件整合装至一芯片(chip)上,由于集成电路的体积极小,使电子运动的距离大幅...

使用u盘chipgenius芯片精灵检测了u盘,怎么样看它的芯片型号-...

实际芯片型号就是列表中的其中一个是不是在win7系统下啊精灵好像对win7支持不太好更新一下精灵的版本可能你的版本太低你好,1、在偏下面一些,有一个主控厂...

rackchip是什么芯片?

Rockchip是瑞芯微芯片,瑞芯微电子有限公司(RockchipsElectronicsCO.,Ltd)是国内独资的专业集成电路设计公司和经国家认定的集成电路设计企业,专注于数字音...

芯片是什么?用什么材料做的?有什么特点和用途-177****1597...

芯片指内含集成电路的硅片,体积很小,常常是计算机或其他电子设备的一部分。芯片,英文为Chip;芯片组为Chipset。芯片一般是指集成电路的载体,也是集...

BIOS中的on-chipATADevices是什么意思啊??-ZOL问答

on在...上的意思chip屑片,碎片ATAATA技术是一个关于IDE(IntegratedDevi...当然也得看集成显卡的芯片组的功能5条回答:【推荐答案】on在...上的意思c...

onchipidechannel10是什么意思-ZOL问答

onchipidechannel10IDE通道10(集成芯片)——一般传统硬盘、光驱接口模式onchipSATAcontrollerSATA控制器(集成芯片)——串口硬盘控制器onc...