我国半导体行业迎来重大突破,清华大学立功了,研发出全球首款类脑互补视觉芯片“天眸芯”。
近日,又有好消息传来,清华大学精密仪器系的施路平教授团队,提出一种基于视觉原语的互补双通路类脑视觉感知新范式,研制出世界首款类脑互补视觉芯片“天眸芯”。相关研究成果也以封面文章的形式,刊登在了国际顶级学术期刊《Nature》上,权威性毋庸置疑。
天眸芯借鉴了人类视觉系统的基本原理,将开放世界的视觉信息拆解为基于视觉原语的信息表示,并通过有机组合这些原语,模仿人视觉系统的特征,形成两条优势互补、信息完备的视觉感知通路。
可能不太好理解,我们简单的解释一下。
人类的大脑在处理信息的时候,会根据不同神经元组成信息通路来进行信息的处理,例如,有的负责处理颜色、细节等高精度的信息,但该通路处理速度相对较慢。有的负责处理突发事情,能够做出快速反应,但精度不高。然后这两个通路配合互补,就能实现在极端场景下完成信息处理并做出应对。
天眸芯就是借鉴了人类视觉系统的这一基本原理,先模仿人眼,把看到的视觉信息分解成很多元素,包括物体运动、轮廓边缘、色彩以及不同区域之间的对比度等等,这些元素被称为“视觉原语”。
然后再模仿人脑的处理机制,把这些信息分配到不同的“处理通路”中去,再模仿人脑响应机制,对“时间空间变化”的信息进行响应,并让时空变化和色彩等其他信息互补。
很明显,这样的方式更加高效。
而传统的机器视觉就做不到这一点,工作的时候会把所有拍到的内容统统进行识别和处理,根本无法分辨出哪些物体有用,哪些事物更重要,所以往往就需要较高的带宽,会消耗大量的系统资源,也容易造成输出慢、错误率高的情况,进而引发更多安全问题。
现在新能源汽车行业火热,智能驾驶技术的发展也处于快车道,在实际应用的过程中,智能系统不仅要处理庞大的数据量,还需要应对各种极端事件。比如驾驶中的突发危险、隧道口的剧烈光线变化和夜间强闪光干扰等等。那么传统视觉感知芯片由于受到“功耗墙”和“带宽墙”的限制,在应对这些场景时往往面临失真、失效或高延迟的问题,严重影响了系统的稳定性和安全性。
天眸芯采用90 nm CMOS背照式技术制造,由用于将光学信息转换为电信号的混合像素阵列和用于构建两个互补视觉通路的并行异构读出架构两个核心部分组成。
它的性能可以用夸张来形容,能够在极低的带宽(降低90%)和功耗代价下,实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集,能够更加精确地识别道路标志、行人、障碍物。
同时结合自主研发的高性能软件和算法,在开放环境车载平台上进行了性能验证。实验表明,在多种极端场景下,包括强光干扰、高动态范围场景、域偏移问题(异常物体)和具有多个极端情况的复杂场景,均实现了低延迟、高性能的实时感知推理。
而且,清华大学已经开发出了两种模组,第一代为高性能模组,第二代为微型化模组,适用于不同领域,已经可以实际化应用。
大家都知道,智能驾驶、无人驾驶是未来的技术方向,天眸芯已经展示出了巨大应用潜力。它不仅突破了传统视觉感知范式的性能瓶颈,而且能够高效应对各种极端场景,确保系统的稳定性和安全性,实际意义重大。
同时也为我国新能源汽车行业的高速发展,提供了有力的技术支撑。并将进一步完善我国类脑智能生态,有力推动中国人工通用智能的发展。
尤其是当下,老美在半导体领域对我们进行了各种限制的大背景下,天眸芯的技术突破显得尤为重要。而老美想要阻挡中国科技的进步,终究是痴人说梦,永远不可能实现的。