江南清华交叉团队突破智能光计算训练难题—新闻—科学网

时间:2024-08-25 11:41:50 已阅读:77次

清华年夜学电子系为论文第一单元,方璐传授、戴琼海传授为论文的通信作者,清华年夜学电子系玻士生薛智威、玻士后周天贶为配合一作,电子系玻士生徐智昊、之江试验室虞绍良玻士介入了本项事情。本课题遭到国度科技部、国度天然科学基金委、北京信息科学与技能国度研究中央、清华年夜学-之江试验室结合研究中央的撑持。

Nature审稿人于审稿评述中指出“本文中提出的设法很是新奇,此类光学神经收集(ONN)的练习历程是史无前例的。所提出的要领不只有用,并且轻易实现。是以,它无望成为练习光学神经收集以及其他光学计较体系的广泛接纳的东西。”

巧用对于称,助力光计较挣脱GPU依靠

最近几年间,具备高算力低功耗特征的智能光计较慢慢登上了算力成长的舞台。通用智能光计较芯片“太极”的问世即是此中的一个缩影,它初次将光计较从道理验证推向了年夜范围试验运用,以160TOPS/W的体系级能效为年夜范围繁杂使命的“推理”带来了曙光,但未可以或许开释智能光计较的“练习之能”。

相较在模子推理而言,模子练习更需要年夜范围算力。然而,现有的光神经收集练习严峻依靠GPU举行离线建模而且要求物理体系精准对于齐。正因云云,光学练习的范围遭到了极年夜的限定,光高机能计较的上风恍如被监禁于有形的镣铐之中。

于这个时辰,方璐、戴琼海课题组找到了“光子流传对于称性”这把钥匙,将神经收集练习中的前向与反向流传都等效为光的前向流传。

据论文第一作者、电子系玻士生薛智威先容,于太极-II架构下,梯度降落中的反向流传化为了光学体系的前向流传,光学神经收集的练习哄骗数据-偏差两次前向流传便可实现。两次前向流传具有自然的对于齐特征,保障了物理梯度的切确计较。云云实现的练习精度高,便可以或许支撑年夜范围的收集练习。

因为不需要举行反向流传,太极-II架构再也不依靠电计较举行离线的建模与练习,年夜范围神经收集的精准高效光练习终究患上以实现。

全前向智能光计较练习架构

高效精准,智能光练习事事可为

以光为计较前言,以光的可控流传构建计较模子,光计较自然具备高速以及低功耗的特征,哄骗光的全前向流传实现练习可以或许极年夜的晋升光收集练习的速率与能效。

论文研究注解,太极-II可以或许对于多种差别光学体系举行练习,并于各类使命下均体现出了卓着的机能。

年夜范围进修范畴:冲破了计较精度与效率的抵牾,将数百万参数的光收集练习速率晋升了1个数目级,代表性智能分类使命的正确率晋升40%。

繁杂场景智能成像:弱光情况下(每一像素光强度仅为亚光子)实现了能量效率为5.40×10^6 TOPS/W的全光处置惩罚,体系级能效晋升6个数目级。于非视阈场景下实现了千赫兹帧率的智能成像,效率晋升2个数目级。

拓扑光子学范畴:于不依靠任何模子先验下可主动搜刮非厄米奇特点,为高效精准剖析繁杂拓扑体系提供了新思绪。

通用智能光练习赋能繁杂体系

联袂太极,鞭策AI光算力扬帆远航

太极-II的面世,继太极I芯片以后进一步展现了智能光计较的伟大潜力。

如两仪分立,太极I以及II别离实现了高能效AI推理与练习;

又如两仪和谐,���太极I以及II配合组成了年夜范围智能计较的完备生命周期。

方璐暗示:“‘定两仪太极之道,合正反乾坤之法’,咱们如许形容太极系列这一组辩证协作架构,咱们信赖,它们将协力为将来AI年夜模子注入算力成长的新动力,构建光算力的新基座”。

于道理样片的根蒂根基上,研究团队正踊跃地向智能光芯片财产化迈进,于多种端侧智能体系长进行了运用部署。

可以预感,颠末太极系列于内的光计较范畴的不懈起劲,智能光计较平台将无望以更低的资源耗损以及更小的边际成本,为人工智能年夜模子、通用人工智能、繁杂智能体系的高速高能效计较斥地新路径。

出格声明:本文转载仅仅是出在流传信息的需要,其实不象征着代表本消息网不雅点或者证明其内容的真实性;如其他媒体、消息网或者小我私家从本消息网转载使用,须保留本消息网注明的“来历”,并自大版权等法令义务;作者假如不但愿被转载或者者接洽转载稿费等事宜,请与咱们联系。/江南