12月26日，36氪硬氪在深圳前海召开了硬科技黄金时代大会。大会邀请了硬科技大量一线投资机构、科技公司、专家学者，共设立14个主题演讲、2个圆桌。主题涉及半导体投资、新材料投资、人民币投资、专精特新成长等多个热门赛道。
26日下午，锐思智芯创始人兼CEO邓坚先生进行了《Hybrid Vision Sensor:变革智能感知时代》的主题分享，以下为演讲内容：
非常感谢36氪给我们这个机会，我和大家分享的是传感器的变革，顺带也会把我们的传感器产品给大家介绍一下。
刚才听各位嘉宾的分享，感触很深。产业链的国产化，从材料到设计，再到系统，整个的变革的确是百年未有之大变局，传感器也是一样。
这是162年前的第一个影像出来的场景，当时是拍一匹马，是用化学曝光的图像进行连续播放形成黑白图片。这是咱们现在拍的，实际上它并不是真正的拍摄，而是一个普通的视频再加上chatGPT还原。现在图像的拍摄，它对画质的追求已经到了一个极致，不过这并不是图像传感器或者视觉传感器的全部。当前的图像和视觉传感器还承接了更多的工作，从拍照来说，比如手机和机器人，除了图像大家还想从那获得更多的信息，比如距离信息，光谱信息，还有另外一类信息也是非常重要的，就是运动信息。运动信息可以用来干什么呢？我们先说说缺少它会有什么样的现象。
162年前的第一个影像
第一，运动模糊。在拍照的过程中，我们有个曝光的时间，在这个曝光的时间，所有运动过程都被采集，但是它会合成一张图片进行输出，就变成了一个模糊的图像。
第二，冗余数据。比如我们拍照片是静态的图像，我们已经知道了它的信息，但是对于每张图片进行重复的拍摄，我们需要知道的只是其中的变化，也就是运动和变化，所有的静态信息是被反复获得的，它其实是因为没有办法区分动态和静态的信息，所以导致了冗余的数据量。
第三，在拍摄的时候，摄像头通过曝光，就有曝光时间，曝光时间是根据光的强度进行调整，但是人去看一样东西的时候没有这样的概念，所以我们会发现，图像在暗的时候需要的曝光比较长，亮的时候曝光比较短，但是实际应用场景中，会有明暗都存在的场景，现在的技术就用多张图像进行融合。在融合的过程中，这几张图片拍摄的时间点不一样，中间有误差、移动，合成之后就形成鬼影，这是帧与帧之间的图像信息丢失。
这个出现之后，大家一直在研究，对于新型传感器怎么样能够获取运动的信息。其中有一个技术，从90年代开始一直做研究，这个就是我们今天要介绍的事件传感技术，它是基于人眼的感知方式，只对变化敏感。所有的感知都是从像素实现，像素感知到光的变化信息，这个变化信息在像素内进行放大，然后在像素里进行比较，同时通过比较的信号，把变化的信息或者是运动的信息通过一个数字域的转换进行输出。直观来看，它输出的图像，就像我们看到的实际场景，它是一个小熊掉到水杯里的过程。对于事件感知，它不显示静态的信息，因为静态的信息不感知，它只感知变化，而且所有的处理都是连续的，所以帧率、效率都非常高。也就是说，它通过一种新的感知方式，把运动和变化的信息进行了非常好的提龋比如它与现在摄像头拍摄的图片来说，流畅度会有非常大的提升。
但是问题也很明确，如果我们不看实际的场景，只看这个事件感知输出的画面，没有静态信息，得到的信息量非常少。它能够在一些功能上，比如在帧率、数据量上有很高的提升，但是因为它缺乏了静态信息，所以它很难在一个场景里进行覆盖和提升。所以，虽然事件传感技术在2021年被索尼量产了，并且在工业领域有一些应用，但很多在座朋友在大部分场景都没有看到它在实际应用中落地。
事件传感技术的技术原理
在传统的消费电子领域、车载电子等领域，如果要用到事件传感技术，为了覆盖这个场景，需要把事件摄像头和传统的摄像头进行组合，同时输出事件和图像两个画面，再进行算法的匹配，这是双摄的方案。但问题是如何做更好的配准，机器上如何达到实际使用的需求。实际情况，手机这样的场景无法添加事件传感这么单一的摄像头，所以这个技术一直没有大规模应用的原因也是在于此。
我们提出的方案是，将事件和图像融合在一个传感器里面，它能够把事件的感知功能和图像的功能在一个像素里进行一个集成，这也是我们率先提出的概念，也是我们目前在量产的技术。这是我们给手机做的一款芯片，它就是传统的传感器一样的像素结构，通过堆叠工艺，把图像的功能和事件感知功能集成在一个像素里面，这个像素可以同时输出事件和图像两个图片，好处是解决了事件没有静态信息，图像没有运动信息的问题；它通过这样的一种结合，可以很好的把运动和静态进行一个互补，实现了对图像传感器的运动信息延拓。
融合式高端视觉传感器
这是我们做出来的方案，同时输出事件和图像能够得到的效果。这里需要提到的是我们做传感器就是做一件事情，传感器最关键的三个参数，帧率、数据量以及动态范围，我们做传感器一直在平衡这3个参数，在每一个场景去适配这3个参数的平衡，来达到匹配这个场景的目的。但是现在很多的一些应用里，比如车载，它没有办法再去找到这样的平衡，因为它既需要速度很快，对数据量的要求又非常极致，它在各种各样的光照环境下都要能够很好的工作。传统的传感器达不到，但是事件传感器就可以平衡这个，比如它的帧率，比如我们现在做到的将近1千万的像素，帧率可以做到4千帧每秒，这是非常高的速度。
对于传统的高速摄像头来说，这样的帧率会形成巨量的数据量，因为事件捕捉的只是变化，所以它的事件数据有效性非常高，它能够在帧率很高的同时，把数据量和功耗压制住，它的环境适应能力极强，可以把帧率、数据量、运动范围进行很好的提升，加上传统的图像传感器数据，拍照、机器视觉的功能就得到很大的增强。基于我们在传感器的积累，迭代了3次，现在开始实现消费电子（手机、安防、AIOT）领域大规模的应用，相信大家不久就能够看到基于Sensor做出来的产品。
我们公司成立4年，总部在深圳，在南京、北京、苏黎士都有分公司。我们有超过200多个发明专利，涵盖了从像素到数据结构、芯片架构、应用、算法等一系列的专利，所以这一块，在全球在融合视觉里布局专利是最多的。
在整个行业里，我们所处的这一细分行业还是挺受各个行业的重视。36氪也对我们有比较多的报道，我们也参与了很多评眩我们现在有两款芯片，一款是用于消费电子，是手机的应用，能够输出高质量图像的同时，能够非常好的输出运动的信息，实现特殊的功能；另外一款是是作为安防的高端芯片，能够实现暗光全彩，以及暗光下对运动物体的捕捉，而且通过低功耗的特性实现安防摄像头本地智能化，比如可以做事件的判断，当发生感兴趣的事件进行推送。
现在大家看到的是消费电子用的去模糊。左边的图片是实际拍摄的图片，拍摄一个运动的画面，它会有因为运动造成的模糊，模糊的去除是现在没有解决的问题，因为它需要知道在曝光过程中，每一个像素的拍摄无题运动轨迹，这是几乎不可能获得的。但是基于我们的传感器，因为可以快速捕捉变化，而且这个变化非常高效，通过这个能够获得整个特征点的运动轨迹，然后对它进行反推就能够形成特别清晰的图片。
这是慢动作，原理是在两帧之间通过技术变化，在任意时间点和原始图片加上变化的数据进行结合，重构，可以生成高速的图片出来。它实现了非常低成本又能够适应不同光照环境的高速摄像功能。
显示对比图
这是现在用到的传感器的典型问题，从隧道里出来，外面很亮，这个时候传感器是失效的，左边的图是通过事件感知拍摄出来的特征信息，它不会受到光照的影响，可以有非常稳定的输出。通过事件数据和图像数据可以重构出中间的视频，这个视频也就是在各种光照情况下输出的。
端侧智能
这是我们做的端侧智能，欢迎大家到我们的展台看，我们有1千帧的结构光，这是用于AR、VR，它可以实现超低功耗、超高速的3D视觉，比如手势识别、摔倒识别都可以通过很好的实现。我们也和一个大厂做眼动追踪，主要是通过事件高速的特征，和低功耗的特征，来实现非常灵敏、快速、非常准确的眼睛的运动追踪。我们还做了机器人的应用，这里不仔细讲。
在车的方面，有车内的DMS系统，在保护隐私的同时可以监控眼动、眨眼等快速细节的特征。在车上，也可以做电子后视镜。我们的传感器有一个特点，即适合给人观看，因为它能够带来非常优质的视频，而且不容易出现模糊或者是过曝等。它通过事件也可以给机器视觉提供非常高效的数据，能够满足后视镜对人看和对机器看的需求。其他的应用，包括光流、机器评测、转速评测等，这是一个底层器件。我们也和各个行业的巨头合作比较多，希望通过这样的生态，能够一起把新技术变成一个能改变大家生活的产品。
非常感谢大家！
