智能座舱,顾名思义,就是在传统汽车驾驶舱的基础上增加了智能化属性,通过感知(语音、视觉)、决策和服务,让汽车主动服务于驾驶员和乘客,使得开车和乘车的体验更安全、更便捷,也更有趣。
想象一下,有一天你的汽车能让你变身“钢铁侠”。它能判断你是否疲劳打盹,进行及时提醒,并调整车内温度、安全带、座椅姿势让你更加清醒;它可以识别副驾驶座位上坐着你的朋友,于是打开氛围灯,让朋友感觉到被款待的温馨;路况不好,它会主动帮你绕开障碍……
智能座舱架构师、苏州大学未来科学与工程学院副教授杨聪近期出版《智能座舱开发与实践》。长江日报《读+》记者与他对谈智能座舱的未来体验,他表示,智能汽车将成为最了解我们的“机器人朋友”。
杨聪在德国锡根大学读完博士,又奔赴法国国家信息与自动化研究所做博士后。回国后,他没有直接接受高校任教的邀请,而是选择先去企业做研发。他很清楚,假如没有实战经验,容易陷入“纸上谈兵”。
在国外求学时,他经常与各国学者探讨,大家都认为中国制造业发展得又快又好,从工程师的职业发展角度来说,这是绝佳的平台。
刚毕业那会儿,正逢国内“万众创新”浪潮如火如荼。有一次,杨聪到北京出差,在中关村一家咖啡馆里坐着,有人过来问他要不要投资。“我当时啥也没有。”他笑称,但这种势头让他有一种迫不及待回国做点什么的冲动。
杨聪投身企业,担任地平线智能座舱总架构师及算法团队总负责人,带领团队在国产征程二代芯片上完成落地,并在长安UNI-T车型上实现量产,成为首款搭载国产人工智能芯片的智能汽车。
在研发过程中,杨聪和他的团队做了很多从0到1的尝试。他们发现,年轻人对智能座舱及其先进功能的接受度明显高于中老年人。他们创新设计出很多新功能,例如,Face ID功能——驾驶员进入车内后通过人脸识别,直接登录车机账号,无需任何操作瞬时同步个性化设置;再如,在座舱里加入视频会议功能,成为高效率快节奏的另一个融合场景;工作之余露营郊游,他们设计的汽车座舱就能在草坪打出炫酷的照明……他坦言,“人们始终在追求个性,追求与众不同”。
走出企业后,杨聪回归学术界,担任苏州大学副教授、苏州大学—地平线智能驾驶生态创新中心主任。多年的一线研发、落地及量产经验给了他许多思考、动力与支持,“收获比我预想的还要多”。
他在企业工作期间收集了很多课题,带回到高校持续深入研究。同时,企业的一些资源也被他带到了高校。到苏州大学任教的第一年,他带领团队和地平线成立了智能驾驶生态创新中心,很多地平线及其合作伙伴的优秀工程师被聘为企业导师,持续开展科研合作及人才教育培训。他们与机械工业出版社合作,围绕智能驾驶规划了四本教材:《智能驾驶与人机交互》《智能驾驶与机器视觉》《智能驾驶与三维重建》《智能驾驶与计算架构》,杨聪担任主编,将于今年陆续出版,旨在打通智能驾驶知识闭环。编写教材的人员有30多位,大部分是奋战在研发与量产一线的智能驾驶工程师。“产业界的知识与需求反哺学术界与教育界,是新工科的另一个特色。”杨聪说。
为智能座舱熬过无数个夜的杨聪,一直在寻觅未来的车内会出现什么样的杀手级应用。“杀手级应用(Killer APP)就是当你面对一个问题时,只有一种产品能解决,如果缺少它,这样的一个问题就没有办法解决。”
杨聪认为,真正的杀手级应用是建立在真正的智能座舱基础上的,而真正意义上的智能座舱就是整体的舱——作为一个车内所有人都会参与进去的实体,这个实体的出现还需要一段时间,但目前的大模型让我们正真看到了希望。
一旦真正意义上的智能座舱出现的时候,将会有一些杀手级应用,标志就是用户发现在车上的这项应用比在其他任何场景都要好。杨聪相信,汽车不应该只是手机的延伸,也不应该只是移动网络生态的延伸。或许到那时候,我们会发现,真正的杀手级应用就是真正意义上的无人驾驶本身。
杨聪连续多年刻苦钻研智能座舱,承受的压力不言而喻。最好的减压方式却不是在座舱里。
他喜欢徒步、骑行、爬山,曾经一个人背着帐篷、干粮徒步1000公里,横穿了整个西班牙。他还沿着318公路骑行2000多公里,征服了川藏线。
也许在野风吹过脸庞,朝阳晒暖全身的时候,才能放空一切,格式化掉所有——再回到始终如一的追求,以更饱满的激情投入未来的图景中。
读+:根据第十一届轩辕奖智能座舱测评总结的趋势,测评团队预判,大模型在汽车领域的运用会成为2024年的一个新趋势。您怎么样看待这个趋势?
杨聪:大模型是一种利用海量数据来进行训练的深度神经网络模型,其特点是拥有庞大的参数规模和复杂的计算结构。通过在大规模数据集上进行训练,大模型能够学习到丰富的模式和特征,从而具备强大的泛化能力,可以对未知数据做出准确的预测。泛化能力,指的是通过某一学习方法训练所得模型,对未知数据的预测能力。
比如说,你对其训练了“认识狗”这个内容,那么它几乎能认识所有种类的狗,还可以在不同的天气、不同的背景、不同的场景下认识不一样的狗。当大模型具有了泛化能力以后,就可以对未知数据做出非常准确的预测。
大模型在汽车设计与研发领域、生产流程的优化、汽车销售与市场等方面,都有着或即将发挥及其重要的作用。例如辅助设计师生成创意、进行设计验证与仿真,从而加速车辆开发周期;进行车辆动力学仿真、碰撞测试、燃料效率优化等工作,帮助工程师提高设计开发效率和质量。
其实,目前已经有很多公司在布局具身智能(Embodied AI),我们大家都认为最大的杀手级应用就是类似于“具身智能”的座舱内人机交互。
具身智能,是指一种具备自主决策和行动能力的机器智能,它可以像人类一样感知和理解环境,通过自主学习和适应性行为来完成任务。
目前虽尚未见到大模型在智能座舱的大规模应用,但相关研究其实一两年前就已开始,并有部分座舱开始尝试,例如蔚来的NOMI GPT。
例如将语言大模型(Large Language Model,LLM)、视觉语言问答(Visual Question Answering,VQA)与舱内感知结合,实现Traffic VQA(交通视觉问答)。在国内,很多汽车Tier1(一级供应商)、Tier2(二级供应商)及OEM(代工生产)已在进行有关专利布局及内部研发。
简单来说,就是让一个机器有类似于人类的大脑,它和人的交流会非常的丝滑和顺畅。我们当下的人机对话均需要指令触发,比如“小度小度,请帮我……”“小爱同学,打开……”畅想一下,未来,我们不需要这么生硬的对话了。智能座舱就像一个朋友,它能主动关注你的所感所求,也许就像你我对话一样从容自然。
总的来说,大模型的应用将使座舱智能化水平得到非常明显提升,为用户所带来更方便快捷、舒适的出行体验,大多数表现在四个方面:第一,提升使用者真实的体验:提供更人性化的人车交互。例如,用户都能够通过语音指令控制车辆的各种功能,如导航、音乐播放、空调调节等,减少驾驶员的操作负担,提高行车安全。第二,打造智能生态差异化。由于大模型的算法不同,每个车企可以根据自身的品牌定位和用户需求,定制出具有独特特色的语音助手,从而摆脱座舱功能的同质化问题。第三,丰富座舱功能:大模型可以支持更多的应用场景,如驾驶出行、导航、娱乐,甚至车上社交、办公等,几乎涵盖了日常出行的所有场景,让智能座舱成为真正的“第三生活空间”。第四,推动座舱人机主动式交互时代的到来:大模型的落地,将加速赋能座舱语音助手向“AI智能管家”升级,有望推动座舱人机主动式交互时代的到来。
读+:随着人工智能、传感器、芯片以及云计算等技术的不断发展,更多智能化与个性化的功能被开发出来,使得座舱可以更加主动去感知人的行为、表情及操作,进而实现多种场景。在您看来,配备智能座舱的汽车是否将成为最了解我们的“机器人朋友”?
杨聪:我相信这一天会到来。事实上,2019—2020年我们团队在开发第一代智能座舱产品时,就在讨论这个问题。我们的产品经理孙浚凯还找到一个非常贴切的例子——想象一下我们都看过的电影《钢铁侠》中的贾维斯,在钢铁侠的行动安全上,贾维斯像一位贴心的朋友一样,做得十分精妙。
贾维斯可以检测钢铁侠的血液毒性和指定对象的生命体征,在钢铁侠飞行过程中,贾维斯可以实时监控测试飞行套件的最新状况,并识别周边环境中潜在的危险因素(例如结冰、飞行高度等);而在钢铁侠遭遇危险时,贾维斯还可以调用其他的智能战甲,甚至让战甲的部分位置脱离,执行救援行动。作为人工智能的代表之一,它具备独立思考交互的能力,在必要的时候还会表达自己的情感,甚至还可以安慰情绪低落时的钢铁侠;同时它又始终秉持着便利人类、保护人类这一人工智能的核心宗旨。
我们想将智能座舱打造成的终极形态就是贾维斯。座舱里有各种各样的传感器、摄像头、麦克风、舱内雷达等,它会感受我们的心跳,了解我们是否佩戴了安全带,甚至我们坐在座椅上的压力,它甚至能够最终靠方向盘感知到我们的体液,来判断我们的健康和心理状况。由此,它会给我们播放舒缓的音乐、给出温馨提示等,我们会感觉到它就是一个让你在驾驶路上充满安全感、带来情绪价值的好朋友。
你会发现这样的朋友不只出现在座舱。未来,通过车云协同,它会以智能体的形态出现在课堂、厨房、工作室……这个智能体就是最了解我们的贾维斯。我常常开玩笑说,或许未来会出现电子墓碑,里面嵌入了我们的智能体,后代可以通过这个智能体与“我们”对话。
读+:有用户表示,开车与玩手机不是一码事,汽车越是智能,越要靠人来监督。在您看来,汽车越来越智能这件事会给我们造成依赖吗?
杨聪:我相信会造成依赖,现实的例子就有。比如当下很多新车都配备了智能车灯,夜间驾驶或进入隧道后,车灯自动亮起来。正因如此,我们在开老式汽车时会忘记在夜间打开车灯。这就是对智能车灯形成了依赖。
再比如,倒车的时候,很多朋友已经习惯于倒车雷达、倒车影像以及方向盘转向指示。当这些设备消失的时候,我们很可能不能如往常一样自如地倒车入库。
在快速发展的智能化时代,社会的文化、法律甚至个体及社会心理建设是否已经准备好,这是一个哲学或社会学问题。我们在设计智能化产品的时候,总想以润物细无声的方式实现某项功能,但这无形中改变着人们的生活方式。
我个人觉得这两者并不是对立的关系,而是相互融合、共同发展的关系。但实话说,智能汽车发展的速度太快、功能太多,未必是一件好事——因为人们对产品智能化的接受度是逐步增加的,一次性增加太多反而成了负担。还有每个智驾功能都运行在芯片上,一旦芯片出了问题,难道我们就不能开车了?这也是我们在设计智能座舱的时候需要思考的一个问题。
读+:座舱最初的定位就是为驾驶员“坐”而准备。我们为什么需要智能座舱?这是一种过度的设计吗?
自1885年德国人卡尔·本茨(Carl Benz)研制成功世界上第一辆汽车,人们便在不断改善与丰富座舱:真皮座椅、电灯、遮雨棚,以及气囊式喇叭等。这些部件不断地被加入到座舱中,用于延伸人与车、人与环境以及人与人的交互,进而改善驾驶体验与安全。随着电子电气技术的发展及封闭式厢型轿车的热卖,人们开始追寻座舱与生活空间的结合:1924年世界上第一台车载广播(Car Radio)诞生;20世纪50年代相继诞生了第一台车载黑胶唱片播放器(Car Record Player)以及车载电话(Car Phone);人们将生活中的习惯与设备搬入座舱,让座舱逐步成为人的“第三生活空间”。
进入21世纪后,随着人工智能、传感器、芯片以及云计算等技术的持续不断的发展,更多智能化与个性化的功能被开发出来,使得座舱能更加主动去感知人的行为、表情及操作,进而实现更安全与更娱乐的场景。因此智能座舱(Intelligent Cockpit)这一概念迅速走红,频繁出现在各大车企及厂商的新车发布会及宣传活动中,作为提升舱内驾驶体验(In-Vehicle Experience)的一部分,成为打造差异化竞争的亮点之一。
现在就能更好回答您的问题了——对照历史,我们将日常生活中的监控、Pad、手机搬入座舱……这是不是就好理解多了。我相信汽车座舱随着智能驾驶程度的不断发展,在形态上还将产生更大变化。
例如,当下智能座舱设计中人机交互大部分停留在语音及手势,这是“被动式交互”,需要由人给座舱发号施令,座舱执行并输出结果反馈给人,最大特点是用户需要发起和推进每一个节点,这会导致视线需要频繁从路面上移开,不仅有安全隐患,整个过程也是非常低效的。究其原因,是因为目前智能驾驶水平还停留在L2+,司机是确保安全的主体,座舱还不能过多打扰司机,且要协助司机提升驾驶安全。但随着智能驾驶的水平不断提升,未来,“主动式交互”会越来越多,例如出地库的时候,座舱会主动刷脸付款——座舱可能就会变成贾维斯那种形态也说不定。
读+:设计者是如何考虑座舱更智能或者更复杂这样的一个问题的?设计是更简约,但智能又是复杂的,我们如何统一?
杨聪:这个问题事实上在不同的智驾阶段有不同的定义,它是变化的。座舱的首要目标是安全,其次是舒适,而智能座舱的应用事实上是为这两者或其中一者服务的。
智能与复杂的界定往往不是拍脑袋得出的,而是通过用户(或者出厂前测试)不断尝试得出的。这里我需要指出的是,无论多酷炫的智能座舱功能,都要建立在安全标准基础上。换句话说,国家强制执行的智能座舱国标是不容触碰的底线,如果这一条不能满足,智能与简约将永远无法统一。
杨聪:这就牵扯到智能座舱的另一个重要概念:人机共情。过去是机器人领域的概念,但智能汽车就是带着四个轮子的机器人,属于泛机器人领域。人机共情分为生理共情及心理共情。
先说生理共情。在过去的汽车电子架构下,我们主要通过座舱域内的摄像头来监控驾驶员的需求,例如检测驾驶员抽烟,智能座舱会主动问要不要打开窗户或空调;监测到驾驶员打电话,智能座舱会主动降低舱内音乐声音;监测到驾驶员感到疲劳,智能座舱会问要不要打开空调或播放音乐;监测到驾驶员用手势切歌、基于视线的走神提醒等。后来在舱驾一体架构下,智能座舱还会监控驾驶员的驾驶状态(学术上叫“驾纹”),例如监测方向盘转向、刹车或油门频率与强度、车道线保持状态,进而判断驾驶员是否疲劳或有危险驾驶的倾向,进而有针对性地进行处理。
再说心理共情,这是更高层次的共情,是通过驾驶员的用户画像、驾车习惯、家庭情况等,再加上语音交互,使得机器能够更加深层次地理解驾驶员的心情,也让驾驶员对座舱产生心理共振——它确实就像我们的朋友一样。
读+:智能座舱会更懂我们吗?孩子、老人、残障人士等不同的人群能找到与它合适的沟通方式吗?
杨聪:据我了解,目前座舱对孩子的保护更多一些。例如当婴儿遗留在车内,会有警示,还有智能婴儿锁等;对于老人,有一些科研人员在研究老人的晕车原理,并且通过座舱的多模态设计来缓解晕车。但对于残障人士,目前我看到的专门应用不多,或许是因为残障类型不同,导致很难形成有广泛市场应用的设计。不过随只能驾驶水平的提升,我相信也会是残障人士的福音:例如突发疾病,只需要语音控制,就可以将你送到最近的医院;盲人或残障人士上车,只需要通过简单触碰或语音交流,就会送到指定目的地,这都是即将甚至在一些地方发生的事情。
杨聪:软硬件的舱驾融合,就是我们常说的“舱驾一体”,事实上已经产生了。去年的上海车展中,我们已经看到了相关的方案及示范展示。
我认为,“舱驾一体”是一种创新集成式架构方案,它将成为汽车行业的发展趋势。往大了说,随着人工智能、大数据、云计算、5G等新兴技术的应用,汽车的电子电气架构正在从分布式向集中式转变,这是一个不可逆的趋势。在这个过程中,汽车的驾驶控制系统、信息娱乐系统、车身控制系统等多个子系统正在逐步整合到一个统一的计算平台上,形成一个高度集成的“舱驾一体”系统。这样的系统可以提高汽车的运行效率,降低系统的复杂性,同时也可以提供更好的用户体验。
未来,随着技术的进一步发展,我们可以预见“舱驾一体”将会更加深入,汽车的各个子系统将会更加紧密地集成在一起,形成一个高度智能化的汽车生态系统。
杨聪:针对这样的一个问题,我可能会给出一个比较文艺的回答——座舱只是给我们一个空间,我们终究还是要走出座舱,多看看外面的世界。
高科技的发展让很多智能化的产物越来越懂我们,这不仅局限于座舱本身,因为它毕竟只是一个驾驶的工具,它只是在创造着我们的“第三生活空间”,而世界终究是靠我们自己来体验的。
我们应该迎接美好——如果这真的给我们造成困局的话,应该不是座舱本身的原因。