首款類腦互補視覺感知芯片誕生,中國類腦研究成果再登Nature封面

近日,清華大學施路平、趙蓉教授團隊發布了首款類腦互補視覺感知芯片——“天眸芯(Tianmouc)”,相關研究論文《面向開放世界感知的類腦互補視覺芯片》(A vision chip with complementary pathways for open-world sensing)登上了2024年5月30日正式刊發的《自然》 (Nature)雜志封面。這是該團隊繼異構融合類腦計算“天機芯”后,第二次登上《自然》封面,標志著我國在類腦計算和類腦感知兩個重要方向上均取得了基礎性突破。論文合作單位包括北京靈汐科技有限公司,此項研究也得到了科技部以及國家自然基金的相關資助。

圖1:施路平團隊發表文章兩次登上Nature封面(左邊為2019年8月文章,右邊為2024年5月文章)

原理:“多通路互補”的類腦視覺感知芯片

在未來通用人工智能尤其是具身智能發展過程中,科學家會不斷從人類大腦及神經形態的研究中獲得啟發。如果我們把計算芯片比作智能系統的大腦,那么視覺感知芯片就是它的眼睛。然而,在面對復雜多變和不可預測的開放世界環境時(平時冗余數據多但又會突發極端事件),現有視覺感知芯片受制于帶寬限制和功耗問題,不能做到同時兼顧采樣速度、動態范圍、分辨率和數據精度。例如在自動駕駛中,傳統圖像傳感器在面臨突發危險、隧道出入口劇烈光線變化、夜間的對向大燈和道路監控閃光干擾等極端場景時(速度和動態范圍加大),往往就會面臨強烈的失真和失效(分辨率和精度變低)。這種“相互制約、不可兼顧”的視覺感知問題極大地限制了真實開放世界中的智能應用發展。

“天眸芯”則從人類視覺系統的模式出發,創新提出了一種視覺感知芯片設計的范式——“多通路互補”。它首先模仿人眼,自動把看到的場景分解成很多元素(視覺原語),包括物體運動、輪廓邊緣、色彩以及不同區域之間的對比度等信息;接著它模仿人腦的處理機制,把這些信息分配到不同的“處理通路”中去,就像工廠的多個流水線;然后它又模仿人腦響應機制,對“時間空間變化”的信息進行響應,并讓時空變化和色彩等其他信息互補,如同在流水線之間又做了連接和協同。這種范式實現了高效率的同時響應多種視覺性能要求,而且大大緩解了傳輸帶寬緊張和功耗問題。

優勢:“四高兩低”性能及廣泛應用潛力

基于上述“多通路互補”感知的基本原理,新型類腦感知芯片“天眸芯”同時具備了“四高兩低”的成像特征:一是高速感知,“天眸芯”能夠在保持較高像素的前提下達到1秒拍攝10000張圖像(10,000fps@640*320);二是高動態范圍,“天眸芯”能檢測的明暗信號對比超過300萬倍(130dB);三是高靈敏度,該芯片采用背照式圖像傳感器工藝,其峰值量子效率達到72%,并支持近紅外感知(72%@530nm,NIR);四是高精度,“天眸芯”色彩信息更為豐富,采用10bit記錄色彩信息;五是低功耗,該芯片工作功耗約300mW,僅為傳統高速圖像傳感器的十分之一;六是低帶寬,相較于傳統高速相機,“天眸芯”降低了90%的帶寬。從以上性能來看,“天眸芯”的綜合指標已大幅超過傳統高速圖像傳感器、傳統高動態范圍圖像傳感器和神經形態傳感器。

圖2:“天眸芯”的類腦互補視覺感知架構圖

為驗證“天眸芯”的應用價值,研究團隊還開發了智能駕駛感知演示平臺,搭載了基于“天眸芯”開發的成像設備,并在開放道路進行了實地測試。結果表明,在車輛以60公里時速行駛條件下,基于“天眸芯”的成像設備僅需0.1毫秒即可感知突發的道路危險情況,相比傳統圖像傳感器更為準確和快速(速度提升近300倍)。測試結果證明了“天眸芯”的顯著優勢,在工業視覺、高性能機器人、智能駕駛等實際應用場景中具有極高的價值。未來類腦計算芯片和類腦感知芯片的結合,將讓機器不僅能夠像人一樣思考,還能夠像人一樣感知和理解周圍的世界,為交通、醫療、教育、工業等領域帶來更大的變革。

圖3:基于“天眸芯”的智能駕駛感知演示平臺

加速:從科研成果到產業生態

類腦智能是一種受到生物腦結構和功能啟發的人工智能范式,指通過借鑒生物腦的結構、功能和運作原理而構造的智能體,該智能體可獨立工作、也可與生物腦交互工作。類腦智能主要包括類腦計算、類腦感知、腦機接口等三大領域。類腦計算和類腦感知融合,具有“感存算一體、稀疏計算、時空敏感、極低能耗”的優勢特征,可以在已有硅基芯片工藝基礎上搭建新架構,因此被認為是即將到來的未來產業。在我國類腦計算的發展過程中,高校團隊的基礎科研提供了重要的技術源頭。來自清華大學施路平教授團隊成功發展了覆蓋架構、芯片、系統和軟件工具鏈的完整類腦計算技術棧,并在《自然》、《自然(通訊)》以及《科學(機器人)》等相關刊物上發表了數篇重要論文,涉及類腦計算架構、類腦計算完備性證明、混合神經網絡、機器人類腦系統等一系列重要議題。2019年8月,施路平教授團隊的首篇Nature封面文章,標志著類腦計算科研領域開始取得重大突破。

2021年,北京靈汐科技依托清華相關研究成果,進一步研制出首款商用的異構融合類腦計算芯片KA200及HP系列計算板卡,推動了產業應用生態。近期,相關科研機構和企業合作,還將發布新一代類腦開發者平臺——“腦啟云與腦啟社區”,提供資源開源共享與技術學習支持,進一步助力生態建設。

而此次中國學者的相關研究成果再登Nature封面,既標志著類腦感知科研領域的新突破,也預示著類腦智能的創新與產業生態發展即將駛入快車道。