像人眼一样智能！复旦芯片实现感存算一体化

人工智能时代

视觉数据爆发式增长

存储、传输成棘手难题

如何为光电器件“减负”？

复旦芯片与系统前沿技术研究院

刘琦、王建禄教授团队

利用铁电畴调控研发了

一种可编程的光电二极管阵列

实现探测、存储、计算功能“三合一”

让探测器像人眼一样高效工作

为构建智能视觉系统提供新思路

相关成果发表于Nature Materials

获得世界人工智能大会WAIC

青年优秀论文奖

入选2023年复旦“十大科技进展”

打破传统探测架构

一款芯片集成三大功能

曾经，我们用手机拍一张照片，只有几千字节大小。如今，进入超高清时代，一幅千万像素、亿像素的照片，能占据数十甚至数百兆字节的存储空间。根据国际数据公司IDC预测，至2025年，全球数据量将达175ZB（1750万亿亿字节）量级。

相机中将光信号转换为电信号的成像芯片，本质上便是光电探测器。高清摄像、高速探测、智能识别……随着光电探测器的应用越来越广，视觉信息数据爆发式增长，存储空间不足难题迫在眉睫，信息处理能力亟待提升。

“人们每天传输的海量数据中，冗余信息占比颇高。我们希望让光电探测器更加智能，实现数据传输‘轻量化’，降低延迟，减少功耗。” 复旦大学芯片与系统前沿技术研究院教授王建禄介绍。

在传统的光电探测架构中，探测、存储和计算单元相互分离，延时高、功耗高，针对这一瓶颈，能否设计出集探测、存储和计算功能于一身的“感存算一体架构”？

核心难点在于半导体掺杂——这是半导体制备过程中的一项关键技术，能够改变材料的电学性质。掺杂分为n型掺杂和p型掺杂，传统掺杂技术在半导体中注入掺杂原子，形成n型半导体和p型半导体。这就意味着，当掺杂一旦完成，器件能带结构就无法调节，无法满足智能感知对于光电子器件的可塑性需求。

曾有国内外研究者尝试过外加栅压的方法，然而，外部电压撤去后就无法保持性能，因此必须持续加压，带来了高能耗、器件不稳定和不可靠方面的问题。

2020年，团队提出一种新的技术路径：用铁电极化代替传统掺杂技术。“我们发挥了铁电畴非易失、可重构的特点，实现了极化场精准可编程的半导体掺杂新技术。” 复旦大学芯片与系统前沿技术研究院青年研究员吴广健说。

▲ 铁电畴极化方向由施加到探针的电压局部操纵

这一方法无需对半导体元素掺杂，而是通过外部施加电场即可 ——只需切换铁电极化的大小或方向，就能改变器件导电性能，切换速度可达纳秒级。同时，铁电调控具有高灵敏度，能有效捕捉微小信号。铁电的非易失特性，还可使器件在单次调节后长时保持。

▲ 经过极化操作后的铁电相图，相位差为180°。PFM定义的铁电畴具有任意可重构特性

基于该方法，探测器不仅可以“记忆”电导状态，还能通过精准调节权重从而进行计算。光信息探测、权值存储和高级计算的功能，被集成到传感器阵列中，有效减少了感知数据的传输和计算步骤，实时、高效地处理探测数据。

▲左侧是传统探测架构，感存算模块分离；中间是存算一体架构，存算结合但感知层独立；右侧是感存算一体架构，能够直接识别图像

仿生思路驱动交叉研究

实现“类人眼”性能

尽管做的是芯片研发，团队的研究灵感，最初来自于人眼。

“人眼就是在感知的同时不停对视觉信息进行计算，因此我们希望在光电探测器上，也能模拟人眼的高效处理能力。” 吴广健介绍，人的双眼能在一定动态范围内适应环境变化，当人从昏暗的电影院走到明亮的室外时，会自动调整瞳孔的进光量，从而对图像进行识别，“我们用铁电畴调控器件，也是类似于这种自适应调整”。

团队负责人刘琦教授常年扎根存算研究，铁电调控则是王建禄教授长期的研究方向。结合双方优势，团队确定研究思路，聚焦实现探测器的“类人眼”性能，力求让其兼具高性能探测、权值存储、原位计算功能。

借助仿生思路，研究从一开始就具有高度交叉性，与仿生视觉、类脑智能息息相关。团队成员学习借鉴人眼的生物功能，积极咨询脑科学研究人员，最终完成器件设计，并花了一年多时间完成实验。

团队制备了3×9二极管阵列，利用铁电调控的正负光响应、线性、多态特性，实现了矢量乘加运算，此外还开展了较大范围的线性调节，而后借助计算机算法等工具对其进行针对训练。

视频加载中...

原理验证实验中，他们在机器狗身上安装芯片，让其按照“看到”的方向图标自行前进。从演示画面可以看到，在无需外部存储和计算单元的情况下，机器狗可以按照向左、向右等方向准确实时前进。

Nature Materials同期发表“研究简报”对成果进行了亮点报道，评价其“开发了一种使用铁电调控的非易失性光电二极管传感器阵列来实现感存算一体架构，大大减少了传感和计算单元之间接口处的数据传输和转换，在能耗和延迟方面显示出显著的优势 ”。

曾获洪堡研究奖的美国加利福尼亚大学洛杉矶分校Ya-Hong Xie教授则评价：“这种p-n结能够实现光探测，为先进的纳米光电探测器和实现下一代光电器件提供了机会。”

人脸识别、无人驾驶……

智能识别应用前景广阔

由于具备实时处理、轻量数据的两大优势，低延迟、低功耗，复旦团队研发的这一智能探测芯片在未来应用广泛，特别是人脸识别、动目标监测、无人驾驶等多种智能化场景。

以动目标监测为例，探测器探测到的大部分信息是目标未出现的画面数据，其实都是冗余信息。传统的探测器会将所有探测数据进行存储，再传输至计算单元，而智能探测芯片则通过一体化的计算功能，实时处理数据，只采集、传输目标出现的有效图像，能使得数据压缩量达到90% 。

而在无人驾驶这种高速移动场景中，更需要实时对探测目标进行快速反应。传统架构需要经过三道传输环节，而感存算一体架构可以进一步提升反应速度，使汽车在更短时间尺度触发驾驶的相关决策指令。

眼下，无人驾驶蓬勃发展，其背后技术大多还是基于激光雷达主动发射激光进行距离探测——借助发出的激光反射到探测器，汽车才可以计算前方物体和车身的距离，从而进行决策。

随着无人驾驶汽车越来越多，环境中的发射激光随之增加，难免对人眼造成损害。相较之下，智能探测芯片的优势还在于无需主动发射激光信号，而是和人眼一样完全被动获取信息，对环境和人体更为友好 。

下一步，团队将继续提升探测器性能，并期待通过与各个行业的通力合作，打通后端电路设计等环节，实现该技术在更多应用场景的落地。

该研究得到国家重点研发计划、国家自然科学基金等项目支持，吴广健、张续猛、冯光迪为论文的共同第一作者，田博博、刘琦、王建禄教授为该论文的通讯作者。

组稿 | 校融媒体中心

文字 | 余敏之 殷梦昊

图片 视频 | 受访者供图

责编 | 殷梦昊

编辑 | 刘怡然 徐佳徽

人工智能芯片：概念内涵及其重要性

在可预见的未来几年，人工智能将在国家和国际安全中发挥重要作用。因此，美国政府正在考虑如何控制人工智能相关信息和技术的传播。由于难以对通用人工智能软件、数据集和算法进行有效管控，现代智能系统所需的计算机硬件自然成为关注重点。领先的、专业的“人工智能芯片”对于经济、高效地大规模应用人工智能至关重要。对此，美国乔治敦大学安全与新兴技术中心（Center for Security and Emerging Technology，CSET） 发布报告《人工智能芯片：概念内涵及其重要性》，重点介绍何为人工智能芯片，为什么其对于大规模开发和部署人工智能不可或缺，并分析人工智能对国家竞争力的影响。

一、产业发展青睐人工智能芯片而非

通用芯片

（一）芯片创新的规律

包括通用的中央处理器（Central Processing Unit，CPU）、专用芯片（如人工智能芯片）在内的所有计算机芯片的发展都得益于较小的晶体管，相比于较大的晶体管，前者运行更快，功耗更少。不过，至少在21世纪头10年，尽管晶体管的尺寸收缩速度很快，并带来了巨大的速度和效率提升，专用芯片的设计价值仍然很低，通用CPU占据主导位置。

随着缩小晶体管的技术不断发展，芯片中的晶体管密度持续增加。20世纪60年代，摩尔定律指出，芯片中的晶体管数量大约每两年翻一番。遵从该定律，CPU速度得到了极大的提高。晶体管密度增加对速度的提升主要通过“频率缩放”（frequency scaling）来实现，即晶体管在开（1）和关（0）状态之间切换得更快，从而允许给定的执行单元在每秒进行更多计算。此外，晶体管尺寸的减小降低了每个晶体管的功耗，使芯片的效率也获得了很大的提高。

随着晶体管的缩小和密度的增加，新的芯片设计成为可能，新的芯片运行效率和速度得到进一步提升。CPU可以集成更多不同类型的执行单元，这些执行单元能够针对不同功能进行优化。同时，更多的片上存储器可以减少对片外存储器的需求，从而提升访问速度。此外，CPU可以为实现并行而非串行计算的架构提供更多空间。与此相关的是，如果晶体管密度的增加使得CPU更小，那么单个设备可以容纳多个CPU，实现同时运行不同的计算。

（二）摩尔定律的减慢与通用芯片的衰落

随着晶体管缩小到只有几个原子大小，其尺寸正迅速接近绝对下限，小尺寸下的各种物理问题也使得进一步收缩晶体管尺寸在技术上更具挑战性。这使得半导体行业的资本支出和人才成本以不可持续的速度增长，新芯片制程技术节点的引入速度比过去更慢。因此，摩尔定律正在放缓，也就是说，晶体管密度翻倍所需的时间越来越长。

在通用芯片占主导地位的时代，其成本可分散在销售的数百万个芯片中。而专用芯片虽然实现了针对特定任务的改进，但无法依靠足够的销量来弥补高昂的设计成本，其计算优势很快就被下一代CPU抹去了。如今，摩尔定律的放缓意味着CPU不再快速改进，通用芯片的规模经济效应遭到破坏。与此同时，一方面，半导体能力的关键改进已经从制造驱动转向设计和软件驱动；另一方面，人工智能应用需求不断增长，需要依托专用芯片实现高度可并行、可预测的计算。

这些因素驱动芯片向人工智能专用化方向发展，促使人工智能芯片夺取CPU的市场份额。

二、人工智能芯片的主要特征

人工智能芯片是一种常见的专用芯片，具有一些共同的特点。一是与CPU相比，人工智能芯片可以并行执行更多计算；二是能够采用低精度计算模式成功实现人工智能算法，但同时减少相同计算所需的晶体管数量；三是通过将整个算法存储在单个人工智能芯片中来加速内存访问；四是使用专门的编程语言来有效地翻译人工智能计算机代码，以便在人工智能芯片上执行。需要阐明的是，人工智能芯片是计算机芯片的特定类型，能够高效、高速实现人工智能计算，代价是在其他通用计算中只能以较低的效率和速度运行。

人工智能芯片包括三种类型：图形处理器（GPU）、现场可编程逻辑门阵列（FPGA）和专用集成电路（ASIC）。GPU最初用于图像处理。2012年，GPU开始越来越多地用于训练人工智能系统，这种应用从2017年起占据主导地位。GPU有时也用于推理。然而，尽管GPU可以提供比CPU更高程度的并行性，它仍然是为通用计算而设计的。相比于GPU，专用FPGA和ASIC效率更高，在推理方面的应用变得愈发突出，ASIC还越来越多地被用于训练。FPGA包括很多逻辑块（即包含一组晶体管的模块），逻辑块之间的互连可以在芯片制造后由程序员重新配置以适应特定算法，而ASIC则包括为特定算法定制的硬连线电路。前沿的ASIC通常能比FPGA提供更高的效率，而FPGA则比ASIC更具定制化能力，能够随着算法的发展促进设计优化。相比之下，ASIC则只能随着算法的迭代变得越来越过时。

机器学习是一种实现人工智能的重要方法，主要涉及到训练（Training）和推断（Inference）。简单来说，训练也就是搜索和求解模型最优参数的阶段。当模型参数已经求解出来，使用和部署模型，则称为推理。考虑到训练和推理中每项任务对芯片的要求不同，二者可能采用不同的人工智能芯片。首先，训练与推理需要不同形式的数据并行和模型并行，在一些相同的计算步骤基础上，训练还需要一些额外的计算步骤。其次，训练实际上总是受益于数据并行，但推理并非如此，例如有时可能只需要对单个数据块执行一次推理。最后，根据应用场景的不同，效率和速度对于训练和推理的相对重要性可能会有所不同。

人工智能芯片的商业化取决于其通用能力的程度。GPU早已被广泛商业化，FPGA的商业化程度较低。同时，ASIC设计成本高，专业化特征导致低销量，比较难以商业化。不过，人工智能芯片的预计市场规模增长可能会创造必要的规模经济效应，从而使应用更窄的ASIC盈利。

人工智能芯片依据性能的不同，可以分为不同的等级。在高性能领域，服务器级人工智能芯片通常用于高性能的数据中心，并且在封装后比其他人工智能芯片更大。中等性能的芯片是消费者常用的个人计算机人工智能芯片。在低性能领域，移动人工智能芯片通常用于推理，并集成到一个还包含CPU的芯片系统中。

三、为什么人工智能需要尖端的人工

智能芯片

人工智能芯片的效率和速度通常比CPU高10—1000倍。一个效率是CPU 1000倍的人工智能芯片提供的改进效果相当于26年摩尔定律驱动的CPU改进效果。

（一）从成本—效益视角分析使用尖端人工智能芯片是否有效

前沿人工智能系统需要的不仅是人工智能芯片，还是最先进的人工智能芯片。普通芯片体积更大、运行更慢、耗能更高，导致人工智能模型训练过程中，功耗成本将迅速膨胀到无法承受的水平。

通过对比尖端人工智能芯片（7纳米或5纳米）与普通芯片（90纳米或65纳米）的成本，可得出两大结论。在生产和运营成本方面，使用尖端人工智能芯片会比普通芯片节约更多的经济成本。因为普通芯片使用2年后耗费的电费成本将会是芯片本身成本的3—4倍，并且随着时间推移还将逐年增加。而尖端人工智能芯片耗费的电费成本刚刚超过芯片本身的成本。其次，据估计，生产和运行5纳米芯片的成本需要8.8年才能与7纳米的成本持平。因此，在8.8年以下，7纳米芯片更便宜，而在8.8年以上，使用5纳米芯片更便宜。因此，只有当用户预计使用5纳米节点芯片8.8年时，他们才有动力更换现有的7纳米节点芯片。

通常来说，企业会在运营大约三年后更换服务器级芯片，但是如果购买5纳米芯片，他们可能会期望更长的使用时间，所以市场需求的放缓也与摩尔定律正在放缓的规律相匹配。由此预测，3纳米芯片可能在很长一段时间内都不会推出。

（二）芯片成本和速度是计算密集型人工智能算法的瓶颈

企业在人工智能相关计算上花费的时间和金钱已成为该技术进步的瓶颈。鉴于尖端人工智能芯片比旧版芯片或尖端CPU更具成本效益和速度，人工智能企业或实验室需要此类芯片来继续推动智能技术进步。

首先，DeepMind开发了一系列领先的人工智能应用（如AlphaGo），有的训练成本甚至高达1亿美元。OpenAI报告称，其2017年总成本为2800万美元，其中有800万美元用于云计算。如果用旧版人工智能芯片或尖端CPU来运行计算，则计算成本会乘以30甚至更多，这将使此类人工智能训练或实验在经济上令人望而却步。计算成本增长如此之快，可能很快就会达到上限，因此需要最高效的人工智能芯片。

其次，领先的人工智能实验可能需要数天甚至一个月的训练时间，而部署的关键人工智能系统通常需要快速或实时的推理。使用旧版人工智能芯片或尖端CPU将极大地增加这些时间，使人工智能研发所需的迭代速度以及部署的关键人工智能系统的推理速度慢得令人无法接受。

以上分析的一个局限是，最近的一些人工智能突

相关问答

机器人芯片的主要成分?

芯片的主要成分是硅。芯片的原料晶圆。晶圆的成分是硅,硅是由石英沙所精练出来的,晶圆便是硅元素加以纯化(99.999%),接着是将这些纯硅制成硅晶棒,成为制造...

CPU与芯片有什么不同?

CPU和芯片是两个不同的概念,打个形象的比喻,CPU与芯片的之间关系就像鲨鱼与鱼类之间的关系。芯片是集成一定功能的半导体器件,而CPU的英文名称翻译为中文...

智能芯片是什么意思?

智能芯片是一种集成电路,具有高度智能化和计算能力,能够进行复杂的数据处理和决策。它采用先进的微电子技术和算法,集成了处理器、存储器、传感器和通信接口等...

人工智能芯片需要哪些原材料?

人工芯片主要材料就是硅。日常生活里也就是沙子含硅最多,提取也最方便快捷。只不过制造芯片的硅对于纯度要求极高!其纯净度约99.99999999%.视同无限接近100%...

充电宝智能芯片是什么意思?

充电宝智能芯片的意思大致为:1、能防止过充过放有电压比对和监测功能,充电设备满电后,能自动截止电压输出,防止对设备过充;给充电宝充电时,满电后也能进行...

如何评价海尔与amlogic联合研发的12nm芯片?是否是amlogic和小米、海尔三方共同研发?

如何评价海尔与amlogic联合研发的12nm芯片?是否是amlogic和小米、海尔三方共同研发?海尔也好、小米也罢没有独自研发电视芯片的能力,只是和Amlogic形成战略合...

一个智能手机有几个芯片，几个cpu，cpu和单片机的区别?

包括不限于:无线电收发芯片功率放大器芯片存储芯片数字基带处理器电源管理芯片GPS导航接收器充电/USB控制器芯片音频数字信号编解码芯片触摸屏控制器...

ait芯片是什么意思?

是一种专门用于人工智能计算的集成电路。相较于传统的通用微处理器,AI芯片具备更优秀的高性能和低功耗等特点,能够加速训练和推理过程,是目前在人工智能领域广...

手机芯片是什么-ZOL问答

手机芯片的设计非常复杂,在制造过程中需要使用许多先进的技术和材料。首先,工程师们会使用计算机辅助设计(CAD)软件来设计出基本架构,并进行模拟测试以确保其性...

马云研究出了什么芯片?

阿里巴巴发布了第一款AI芯片——含光800,无疑给芯片行业投下了一颗重磅炸弹,瞬间成为新闻焦点。阿里CTO张建峰在会议展示这块芯片和参数,含光800有着领先世界...