2021年4月13日，由盖世汽车、慕尼黑上海电子展联合主办的“2021中国汽车人机交互HMI创新大会”隆重召开。本次大会旨在聚集汽车HMI领域的杰出人才、UX/UI设计师以及前瞻规划研究人员分享全方位汽车人机交互领域的创新理念、技术趋势、行业焦点、现实挑战及应用解决方案。会议期间，Epic Games中国技术客户经理纪大伟发表了“实时3D技术引领次世代HMI的发展与变革”的主题演讲。
以下为演讲实录：
大家好，我是来自Epic Games的纪大伟，很荣幸能够代表公司在这里跟大家分享虚幻引擎一整套实时工作流和我们落地的HMI案例。同时我还会给大家额外讲解一些以虚幻引擎为核心的整套实时技术和Epic打造的生态圈对未来智能座舱HMI的影响。
Epic Games成立到现在将近30年，一直致力于实时引擎的技术研发，总部在美国，目前在全球超过15个国家，建立了52个办公室，我们一直保持着稳步增长，全球员工3000人。虚幻引擎主打的是实时、高画质、可交互的3D技术，已经在世界上获得了众多国际奖项，其中包括了两次艾美奖。
全球现在有超过1450万虚幻引擎用户分布在所有行业，我们既做引擎的研发和推广，同时还用这些引擎研发自主游戏，我们研发了全球知名的游戏《堡垒之夜》。目前为止，虚幻引擎在全球范围内被各行各业获得认可，尤其在汽车行业，我们与全球前十大量产汽车制造商以及顶级的超跑制造商都有合作，比方说法拉利、兰博基尼、通用、宝马、奔驰都是我们的客户，接下来我们看一段视频。
通过刚刚视频可以了解到Unreal Engine实时技术可以在汽车行业很多细分领域得到充分的使用，比方说可以创建实时汽车设计评审和可视化项目；也可以创建一套非常高质量的实时汽车配置器把它部署到云端，让更多用户、买家了解你的产品；甚至可以用Unreal Engine打造一个全数字的虚拟工厂，验证你的生产线；还可以用虚幻引擎虚拟制片技术，足不出户便完成汽车广告商业大片。
今天我们就要介绍这其中最为重要的实时虚幻引擎技术打造的次世代HMI。我们经过调研发现，市场上80%的OS都是基于安卓的，两年前我们完成了安卓的移植，右图是安卓原生OS，左边是安卓原生UI。接下来由于我们与很多主机厂做了量产车的HMI项目，他们对安全性有非常高的要求，所以我们又进一步从安卓跨到QNX，以实现量产。
我们来看一个案例——悍马。通用旗下的GMC悍马EV是全球首个使用游戏引擎开发的HMI项目。悍马EV本身有很多的功能，我们用最前沿的3D技术给它进行诠释和表达，在接下来片子当中有很多基于Unreal Engine开发的HMI亮点。
这是非常炫酷的宣传片采用实拍加结合大量HMI交互功能的方式非常好的诠释了悍马EV的强大。接下来我们走进悍马EV的内饰看有哪些亮点，请看大屏幕。
这短视频也有很多亮点，首先组合仪表是12英寸，中控触屏是13.5英寸，这些背后都是由虚幻引擎的实时技术支撑。后面我们也会继续支持悍马EV这个项目。
接下来我们看一段悍马EV功能视频。首先第一个功能是Crab mode，就是四轮可以同时转向一个角度，在极端越野情况下可以帮助车主脱困。第二个功能叫做Watt to freedom它可以在驾驶员启动之后，降低悍马EV底盘，之后驾驶员可以跟随车机发出的指令先刹车再踩下油门，抬起刹车一刻就可以看到动能已经开始传输，车子由静止转向行驶状态。
接下来是组合仪表，它默认是2D的，里面展示常规的信息，车主可以第一时间使用实时技术切换成3D仪表，切换之后可以得到2D罗盘和3D轮索展示。
在中控屏里面集成了非常多常用的车机功能，比如说音乐播放、导航，除此之外，中控屏支持三种用户自定义布局编辑，这里展示所有3D和2D，用户可以根据自己的习惯定制；更加酷炫是有一个驾驶切换的功能，切换成越野模式时会有一个非常炫酷的实时渲染动画。悍马EV是一个越野车，越野车不可避免的需要在路面帮助驾驶员规避很多风险，所以这里我们提供了3D悍马模型，通过外部获取到的传感器数据直接接入到车机，可以实时动态显示当前整车姿态，在横纵两个轴向帮助驾驶员规避风险。当路面极其复杂或者极其颠簸的时候，3D的汽车模型会相应作出联动显示，帮助用户了解当前车子的状况。
大家可以看到，在短短HMI功能视频里可以看到非常多的亮点，里面已经打破了我们对传统车机的认知，甚至添加了一些科幻的元素，这背后都离不开虚幻引擎实时技术的支持。
在这个项目上由于得到比较好的效果，通用启动了第二个项目，就是凯迪拉克Lyriq。它同样采用虚幻引擎开发了整套HMI系统，不同的是它是偏向于主打科技感和豪华感，用的是曲面屏，多屏幕，并且通用旗下自动驾驶这套系统背后3D技术支持也是虚幻引擎，我们通过下面短片了解一下。
通过对两款量产车型的了解，大家可以看到，次世代3D HMI是不可逆的趋势，并且可以在这里透露，通用官方已经宣布，这两款车都采用高通高端芯片，并且这款车会在国内投产，在最近上海车展会进行展示。所以3D HMI车机其实离我们已经很近了。
接下来还有一段非常炫酷的HMI案例，是我们跟北美一家设计公司Siili Auto合作，它主打的是2D、扁平化、简洁的风格，大家可以一起来了解一下。值得注意的是，这套系统的开发没有写一行代码，而是使用虚幻引擎的蓝图和UMG系统完成的。
接下来今天的重点是整套技术解决方案。我们既是一家引擎开发的公司，同时也使用自己的引擎做出了优秀的实时交互产品。在这一过程中，我们看到HMI开发和游戏开发有非常多的交集。首先3D效果是一个非常硬核的需求；我们还提供了开源的C++代码供开发者们免费获取；另外我们有整套工具集帮助大家在开发过程中节省成本。对于来自主机厂开发部门的小伙伴来说，大家都会好奇一点，虚幻引擎这套工具很炫酷，如何才能将它最低成本地整合到现有车机系统里？这个问题完全没有必要担心，如果有充分的开发能力，可以用虚幻引擎开发一整套应用；如果出于成本考虑可以把虚幻引擎整套3D解决方案当成一个库，直接植入到你现有的车机系统。另外虚幻引擎实时渲染方面，每一个UE实例都可以针对屏幕里的3D视口做单独内容方面的渲染。如果芯片属于比较高端的可以支持多屏幕。我们专门开发了一整套管线工具，帮助用户把现有的DCC工具里产生的数据能够无缝导入到UE里面做HMI开发，并且DATASMITH帮助大家实现自动化数据转换。原本外部数据进入引擎编辑，如果没有专用工具辅助还是会有额外的成本，但是现在我们完全解决了这个问题。
同时我们官方在虚幻商城里发布了非常非常多的免费资源，比方说上个月就跟奥迪合作，直接把他们A5这辆车免费赠送给所有虚幻用户，大家可以在商城上直接体验和下载。前几周，我们与另外一家合作伙伴Vectorform合作，他们用虚幻引擎开发了一整套车机学习场景，大家可以免费下载并且学习、测试。我们还研发了一整套虚幻引擎专用的汽车材质库，有超过140多种PBR材质，任何时候都可以用在商城上下载使用，而且我们还提供了非常丰富的专门用来展示汽车的场景资源，一整套官方资源让大家在开发车机过程中能够最大程度地节约成本。
虚幻引擎整套HMI开发流程是设计驱动型的方案，在蓝图编辑器中可以做2D和3D的交互，在UMG编辑器中可以做UI动画和交互，Unreal Insights可以帮助大家做调试、性能优化和分析。作为一款实时引擎，在任何时候，我们不但关注效果，还关注性能，任何跟性能有关的细节，无论是效果、材质、纹理、模型、灯光，这一切都可以用这些工具做实时的剖析，以优化车机的性能。
我们自己研发的HMI系统Gazelle的芯片选型为高通8115，它能同时兼顾高画质和性能。我们把HMI启动时间缩短在1s以内，运行的帧率为60帧。启动之后可以看到完全3D实时交互的车型，整车面数超过50万。为了尽可能保持更多细节，我们没有对外饰做任何优化，保证车主通过屏幕缩放可以看到每一个细节。我们务求在车载移动芯片上也能呈现近似PC端的高水准。
接下来，让我们看一下虚幻引擎是如何实现这些非常炫酷的实时效果。为此，我们开发人员做了很多尝试和努力。我们可以从默认情况下和重写之后车漆的对比，手机上开启HDR高动态的效果，非常容易看到两者的差别。我们也尽可能把性能做到最优，通过简化材质效果，保证最终完美的运行。
接下来看一下音乐界面，所有UI界面的按钮、交互方式都是在UE中编写完成的。背后的音效也是引擎实时抓取音轨的动态波长演算并显示出来的。另外，电动车已经成为了目前的发展趋势，我们为此专门设计了能量页面，能够让车主非常直观地在3D透明材质下感受到电池的状态，右侧有一个图表可以让车主实时检测到它的电量信息以及续航里程信息。这个页面目前在市场上，在同类产品里应该是唯一的。
我们尝试性地加入了非常有意思的主题切换功能，可以把默认的轿车切换成一个《堡垒之夜》里的玩具车。切换完之后所有页面都会跟着一起变成新的主题，不管是导航、音乐播放、能量页面。这样一个主题切换无形之中开启了一种新的基于车联网的订阅付费模式。
对于OEM来说，将来车机有很大一部分功能是需要展示车型相关的内容和信息，让车主在第一时间通过实时渲染的方式，尽可能多的了解与你的车型、车本身相关的信息。加入了这些主题切换的元素，特别是游戏内容，能够极大程度上丰富HMI的用户体验。我们甚至与OEM做过车机联动，比如说福特150这款车通过设计师重新设计，与《Rocket League》游戏做了直接联动。
这种跨界联动方式在北美已经非常流行，《火箭联盟》基本上在每个月都会跟全球大的IP做类似的联动。我们的《堡垒之夜》在全球有上亿的用户，我们和合作伙伴，各大IP尝试过各种不同的联动。所有《堡垒之夜》里的这些效果都是基于虚幻引擎实时技术，实时渲染出来的，里面囊括了非常多大家耳熟能详的IP。
这里展示的就是全部使用虚幻引擎技术开发出来的游戏《堡垒之夜》，从画面上就能很容易感受到虚幻引擎技术和其他同类产品的差别。而汽车和游戏的应用差距已经越来越拉近了。我们通过特斯拉官方公布的一些消息，了解到特斯拉内部已经植入了AMD新款芯片，相当于放置了一款精简的PS5的主机。所以《堡垒之夜》同样在全球范围内跟很多大IP做很多联动，未来我们会不断地尝试也有可能在国内做类似的活动。
接下来我们放眼未来，未来车机在强大实时引擎技术基础下会有对我们未来智能座舱和HMI有哪些指导性的引领呢？
我们之前尝试在《堡垒之夜》举办了虚拟演唱会，当时有超过1400万人同时在线做这个体验，与Travis Scott这个虚拟3D形象做了互动。
未来有了强大的芯片，高解析度的屏幕，我们还有什么东西可以往前再迈进一步的呢？我们认为虚幻引擎很有可能在未来把电影级别的车主虚拟形象植入车机。而事实上我们已经开始做这方面的尝试，我们近期会发布一款由虚幻引擎技术支持开发出来的编辑器——metaHuman Creator。
这套制作数字人类的编辑器背后运算全部放在云端，通过像素流的方式推送到每个终端的移动设备、手机上。未来很有可能可以通过实时捕捉用户自己的面部肖像或提供一些照片生成，来完善我们的编辑库，可以第一时间创作出车主自己的虚拟3D形象。未来可以根据虚拟形象做很多尝试，比如说可以在虚拟世界里与他人交互。
除此之外，我们还有非常前沿的技术就是Unreal Engine 5，有了强大的UE5的技术支持，相信前面展现的这些内容在不远的将来都能得以实现。
除了3D这个趋势外，从引擎的角度分析，未来车机会有以下三大趋势：云端计算与互联，人工智能和自动化，丰富交互和沉浸式体验。希望未来，我们能不断地改进引擎技术，在国内与更多OEM有机会合作开发出优秀的HMI产品，谢谢大家。