当前位置: 首页 > 新闻中心

事件相机的工作原理和应用场景

  事件相机最早诞生于1990年,那时候,许多研究人员探讨动物感知环境的方式,发现对变化更为敏感,所以设计出了实验室用的事件相机。2008年,诞生了第一款商用的事件相机。如今国内外都有企业和机构进行事件相机的研究。传统相机,无论是CMOS传感器,还是CCD传感器,亦或是RGBD相机,都有一个参数:帧率。它们是以恒定的频率拍摄获取图像。这样,即使帧率能达到1KHz,那也具有1ms的延时。所以传统相机存在一定的延迟问题。此外,传统相机需要通过一段时间的曝光,使感光器件积累一定的光子,那么在曝光时间之内如果物体在高速运动,则会产生模糊,这也是传统相机的一个问题。另外,传统相机的范围较低,具体表现为在光线极差或者亮度极高时,相机获取的信息有限。这样一些问题极大的限制了传统相机在一些应用场景中的应用。而事件相机则能很好的解决这样一些问题。事件相机,也称神经形态像机,或动态视觉传感器(DVS,Dynamic Vision Sensor),是一种能够响应局部亮度变化的成像传感器。事件相机不像常规相机那样使用快门捕获图像。相反,事件相机中的每个像素都独立且异步地运行,并在发生亮度变化时输出这些变化,否则保持沉默。下图可以非常形象的展示出事件相机和传统相机在工作原理上的不同。左侧:假设拍摄的是一个圆盘转动(圆盘此时逆时针转动一段时间然后停止)。右侧:上面是传统相机,圆盘停止时,标准相机输出不间断,然而这一些信息其实不是我们关注信息。下面是事件相机,其输出信息为亮度动态变化的位置,并且当图片无变化时即为no events,无输出。此前有业内人士对电子发烧友表示,基于这样的工作原理,事件相机有几个典型的特点:一是它的动态范围非常高,能够达到140dB;二是因为它只输出有效信息,不输出无效信息,它的数据量非常小;三是它的速度很快,能够达到1/10000s,甚至更高。因为这些特点,事件相机可适用于传统相机难以解决的一些场景中。比如城区场景中的鬼探头,传统相机在面对横向的鬼探头场景时,无法快速做出一定的反应,而事件相机可以更快感知到危险信号;再比如高速场景下的避障,车辆在高速上快速行驶时,遇到前方路面有一个轮胎,传统相机不能及时做出一定的反应,事件相机可以依靠低时延优势,快速识别并做出避障的动作。目前,不少公司都在致力于事件相机的发展,包括iniVation、prophesee(普诺飞思)、索尼(收购Insightness)、芯仑光电(韦尔股份子公司)、锐思智芯(Alpsentek)等。iniVation起源于瑞士,由基于事件视觉的发明者创立。该公司已推出多款产品,热门型号包括:DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。iniVation的动态视觉平台可为诸多应用和行业提供支持和解决方案,包括物联网(超低功耗监控和智慧城市)、无人驾驶(车辆测距、SLAM和乘员监控)、机器人技术(场景理解与定位)、工业视觉(过程监控和基础设施检测)等。Prophesee于2014年成立于法国巴黎,专注于神经拟态视觉传感技术,目前基于事件的视觉技术推出多款传感器。其研发的普诺飞思原视觉(Metavision)传感器可应用于手机、无人驾驶、工业自动化、物联网、AR/VR、医疗设施等领域。比如在智能驾驶领域,Xperi旗下子公司DTS基于普诺飞思原视觉(Metavision)传感技术提供的事件数据,开发了基于神经拟态视觉系统的驾驶员监控解决方案(DMS),提供了更优的微光性能,以及新的检测功能,如眼跳或微表情检测等。再比如,高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的VoxelFlow传感器,采用了普诺飞思原视觉(Metavision)传感器,可扫描车辆四周半径为40米的区域,反应时间为3毫秒。锐思智芯成立于2019年,拥有一支兼备芯片、算法、软件和硬件研发经验与能力的团队,核心专家来自全球顶尖机构。在高端视觉传感器领域拥有超过16年的技术积累,在事件相机领域拥有超过8年的研究经验。2021年10月,锐思智芯(Alpsentek)发布了首款融合仿生事件视觉传感器芯片——ALPIX-Pilatus(简称 ALPIX-P)。专为机器感知设计的传感器,可大范围的应用于机器人、智能手机、无人驾驶、无人机、安防等场景。ALPIX-P 采用锐思智芯自主研发的 Hybrid Vision融合式仿生事件视觉传感技术,即将仿生事件视觉技术与传统图像传感技术在像素级别进行融合。芯片可以在传统图像传感器模式和仿生事件相机模式之间快速切换,实现事件相机与 CIS 相机功能 “二合一”。在图像模式下,ALPIX-P 是一款最高帧率为 120 帧的全局曝光传感器,其图像质量与现有的商化的 CIS 输出的图像质量一致,兼容现有成熟的视觉系统。在仿生事件相机模式下,ALPIX-P 具有超高帧率,高有效信息占比,大动态范围的特点。事件相机的核心是神经拟态,神经拟态技术最早源于瑞士苏黎世联邦理工学院(ETH Zurich)。目前研究的企业主要有两个方向,一是传感器,即事件相机,就是文章提到的几家公司;另一个是神经拟态计算,主要是SoC芯片,如九天睿芯、时识科技。目前从两个方向来看,神经拟态在产品和应用上都有不错的进展。

  如果说人脸识别功能以前被奉为黑科技,那么现在它慢慢的开始普及,离用户慢慢的接近。目前来说,支持人脸识别的国产新机有小米Note 3,而它即将迎来新伙伴。日前小米宣布,小米6上的MIUI体验版已支持小米Note 3同款人脸识别功能,这无疑是广大小米6用户的福音了。 不过小米也提醒,人脸识别的安全性要低于图案数字密码,手机可能会被容貌相近的人解锁。另外,人脸解锁需要保证五官清晰可见,避免戴帽子、墨镜、口罩等,并保证光线充足、避免阳光直射,才能提高录入成功率。 其实自从iPhone X发布之后,人脸识别就被大家玩坏了。某宝上甚至还出现了不少“人脸面罩”类商品,其目的是为防止用户在睡着时,被别人扫描面部解锁手机。而由此也不难

  5月20日上午消息,Twitter帐户L0vetodream放出一张照片,据称这就是iPhone 12或iPhone 12 Pro的主板照片。 这张L形主板并没有为咱们提供太多新线索,有必要注意一下的是,与最新的旗舰款iPhone主板相比,它的设计更加细长。 精美印刷表明这个零件板制造于2019年的第40周,即10月的第一周生产。 如果从主板上看,三星似乎仍将是iPhone闪存存储的供应商之一。 本月早一点的时候,国外爆料者Jon Prosser声称,iPhone 12心裂的存储将从128GB起步,而目前为64GB。 综合之前传闻,iPhone 12的外形将从圆到方,回复类似iPhone 4时候的直角边框,搭载120Hz动

  昨天,小米官方通过多个微博账号宣布会在今天早上10点发布新品类,网友纷纷将其和不久前曝光的小米Play联系起来。不过从当前的时间节点来看,似乎可能性不大。随后,我们在网络上再次发现了一则关于小米Play的消息,该机很有一定的概率会在12月24号发布。 网传小米Play海报(图源网) 昨天晚上,有网友晒出一张疑似小米Play发布会的预热海报。如图显示,小米Play将在12月24日正式对外发布,具体地点未知,官方称该机为“新品类手机”、“好手机自带流量”。海报上方的Play字母采用多种颜色,或暗示小米Play主打多彩机身设计。 小米Pocophone F1 综合各家媒体的报道,小米Play被普遍认为是

  根据以往三星的产品发布节奏,下半年将会发布三星Galaxy Note 8,现在关于这款机型的消息不断被曝光,根据最新的消息称,三星Note 8将采用6.3英寸大屏幕,显示屏延续与Galaxy S8和S8+相似的全视曲面屏设计,屏幕比例为18.5:9,将在9月1日开幕的德国柏林IFA 2017展会上推出。 三星Note 8渲染图 根据曝出的渲染图来看,三星Note 8将延续全视曲面屏设计,后置双摄像头,三扬声器,中框设计有五颗物理按键,分别是音量加减、Bixby、电源和S Pen解锁键。搭载6.3英寸2K super AMOLED显示屏,屏下隐藏式正面光学指纹按钮,配备4096级压感笔,预装Android 7.1.1系统。

  虽然 三星 GALAXY S5的亮相并没有给人类带来太多的惊喜,但它还是凭借着 三星 的金子招牌笼络来不少消费者。几天前,美国运营商T-Mobile首席市场官Mike Sievert也发推文表示,在公司正式开启S5的预售登记以来,已超越有10万人的注册。 虽然只是开展了S5的预售,但相信我们大家对它的最终售价很关注。之前有报道称,GALAXY S5此次将会走更加亲民的价格路线始发价格低,同时也会比竞争对手索尼Xperia Z2等便宜。不过,这口头上的“承诺”似乎没有多大的信服力。 而现在,英国的一家运营商放出了GALAXY 16G版的售价,从网站截图来看,它的售价为458.33英

  华为将在本月26号,也就是这周五举行新品发布会,发布会的主角已经确定,那就是nova 2系列。目前,华为官方已经对该机展开预热宣传,包括外观和卖点也都一一浮现。 华为nova 2曜石黑 外观上,华为nova 2依然采用全金属机身,标志性的撞色天窗没有正真获得保留,但加入了两条常见的U形天线,此外指纹键依然后置。配置上,nova 2和nova 2 Plus分别配备5.1英寸和5.5英寸1080P屏,搭载1200万像素+800万像素后置双摄像头组合,前置镜头则达到2000万像素,拍照实力大增。 华为nova 2配置 除此之外,nova 2系列的核心配置也在网络上流出。根据GFXBench的跑分截图,华为nova 2系列将使

  日前,@科技新一在微博上曝光称,魅族即将成为新年后第一个开发布会的公司,并曝光了两张魅蓝5S的效果图。 从曝光的效果图来看,该机正面配有一枚实体Home键,新机则与时下大热的后置双摄像头设置无缘,主摄像头下方则是闪光灯。 魅蓝5S效果图曝光 本月就将正式登台亮相 此外,也有网友曝光了魅族新机发布计划图,计划图显示,魅族将会在本月推出一款型号为MT6753的手机,而这款手机便是魅蓝5S。 魅蓝5S效果图曝光 本月就将正式登台亮相 此前有消息称,魅蓝5S采用有一块720p的5.2吋显示屏,搭载MediaTek八核芯片,拥有2/3/4GB RAM+16/32/64GB ROM的储存组合。该机前置有500万像素的摄像头,其

  6月6日消息,据外电报道,“百元笔记本”项目发起人尼古拉斯-尼葛洛庞帝日前对这批超低价笔记本电脑进行了详细介绍,如软硬件配置,价格,发行日期、数量和国家等。 据英国新闻媒体报道,据尼古拉斯-尼葛洛庞帝透露,首批产品将于明年年中上市。在发行价格这一块,首发价格预计为135美元左右;2008年可降至100美元,而2010年可降到50美元。 发行数量:2007年预计发行700-1000万台,到2008年有望增至1亿台。 发行国家:到目前为止,巴西、泰国、阿根廷、尼日利亚四国已经与麻省理工学院达成一致,明年准备各自购买100万部。而中国、印度和埃及尚未确定定购数量。但尼葛洛庞帝称,谈判已接近尾声。 软件方面:已确定安

  21天学通HTML+CSS+JavaScript Web开发-第7版(带目录)

  中的图像传感器和信号处理

  电源小课堂 从12V电池及供电网络优化的角度分析电动汽车E/E架构的趋势

  有奖直播 是德科技 InfiniiMax4.0系列高带宽示波器探头新品发布

  MPS电机研究院 让电机更听话的秘密! 第一站:电机应用知识大考!跟帖赢好礼~

  这意味着,脑机接口行业终于迎来重大转折,这门生意,成了,人类发展也可能要迈入新纪元了。...

  中国上海2024年1月29日莱迪思半导体,低功耗可编程器件的领先供应商,今日宣布在由全球600多家供应商与合作伙伴参加的汇川技术年度 ...

  英特尔 CEO 基辛格:预计 P 核至强处理器在未来一两年仍将主导企业市场

  1 月 29 日消息,在公布 2023 年第四季度财务报表后,英特尔近日举办了季度电话财报会议。在该会议上,英特尔 CEO 帕特・基辛格(Pat G ...

  随着软件日益复杂,并且车载系统和传感器数量稳步增加,车内系统的通讯成几何增长,必须加强密码保护。这种保护能够最终靠经典的实时汽车开放 ...

  1、大模型技术的盛行对智能驾驶域控器领域的技术方面的要求与挑战?大模型技术确实给智能驾驶域控器领域带来了新的要求和挑战。例如Tesla的感知算 ...

  三星电子第四季度销售额 67.78 万亿韩元同比下降 3.81%,盈利同比下降 34.4%

  直播已结束|如何通过【TI MSPM0 固件示例】及【常用电机驱动器方案和拓扑】,在10分钟内旋转电机

  TI低功耗蓝牙技术与阿里云IoT智能生活开放平台iLOP的完美结合!预报名+看直播均可赢好礼!

  新年测评活动!ST NUCLEO-H743ZI“佩奇”待测,快来申请年后第一波测评!

  站点相关:嵌入式处理器嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科