2020年10月20日-22日，由国家市场监督管理总局缺陷产品管理中心、浙江清华长三角研究院、中国汽车工程研究院股份有限公司、重庆市合川区人民政府联合主办的第三届中国汽车安全与召回技术论坛在重庆隆重召开。本届论坛以“智能新能源汽车全产业链安全与技术创新”为主题，汇聚120家政府机构、事业单位、科研院所以及整车和零部件企业等行业翘楚权威论道。其中，在10月21日举办的“智能汽车产业链安全与技术创新”专题论坛上，百度自动驾驶测试负责人、高级技术经理刘盛翔发表了核心为《百度Apollo自动驾驶测试技术与实践》的精彩演讲。以下内容为现场演讲实录：
百度自动驾驶测试负责人、高级技术经理 刘盛翔
各位嘉宾，各位专家，大家下午好！汽车的安全是汽车企业高质量发展的根本，而测试与验证是保证汽车安全的重要手段和关键技术之一。接下来由我分享百度Apollo自动驾驶测试体系和关键测试技术以及百度测试体系是怎么去测试和验证的。
我从四个方面跟大家分享，首先我给大家介绍百度在这几年自动驾驶发展的整体情况。
百度自动驾驶始于2013年，2015年底我们开始进行大规模研发，经过几年的发展，目前成为国内规模最大的自动驾驶企业，我们投入了2000多人，专利数3千多项，同时我们测试里程也是规模最大的，600多万的里程，同时我们在国内拿到150张测试牌照，占全国50%以上。百度实现了从车、路、云、图的技术闭环。
随着自动驾驶技术发展，自动驾驶的车辆必定要由后装转向前装生产，百度也是国内首个实现深度定制，前装生产L4级别的Robotaxi的企业，我们目前生产的Robotaxi已经在全国多地使用，包括重庆永川也有我们的Robotaxi在落地，在测试。同时百度经过几年的发展和思考，在整个自动驾驶产业发展和商业化道路上也有比较深度的思考，认为自动驾驶沿着六个阶段持续的攀峰，最终可达到理想的目标。目前百度自动驾驶在技术上正处于实现完全真正无人驾驶的技术打磨阶段，我们在9月份的世界大会，大家也看到了，实现了真正的无人驾驶，我们正在进行技术的进步打磨，在整个产品上面正在处于小规模的试运营阶段，预计在2024年实现一定规模应用。
经过几年发展，百度Apollo的各项数据显示，保持着国内领跑，包括测试的车辆数量，测试的里程和牌照照片。同时我们也持续推进国内法律法规的健全和发展，美国DMV数据显示百度Apoll的MPI的成绩进步非常明显，自动驾驶的综合排名持续提升，到2019年进入了整个业界领先者的一个象限。目前百度Apoll正在引领行业的创新和进步，那么百度Apollo的快速发展也是得益于整个上下游产业链合作伙伴的大力支持，百度Apollo目前覆盖了210多家上下游产业链的合作伙伴，我们正在与合作伙伴一起共建智能交通的新生态。
以上是百度这几年的发展的成果。百度Apollo自动驾驶快速发展同时也离不开整个自动驾驶测试和验证体系保驾护航。接下来我重点讲百度自动驾驶是怎么测试的，它有哪些关键的测试技术。
首先摆在大家面前是一个大问题，自动驾驶到底要测试多少里程才能够证明它是安全的，2018年一篇报告显示答案是百亿公里，要在不同时间，不同的场景，无限的年限，7乘24小时，365天不同地点我们要达到10的6次方，貌似非常难，貌似不可能，那怎么办？整个自动驾驶行业需要发展，我们得有办法。所以我们通过实践，我们认为通过仿真测试加上封闭测试场的测试，加上开放道路的验证能够实现最终无人驾驶的商用，因为仿真测试使得大规模的里程变得可能了，也就是说难得的一个报告当中百亿公里在仿真测试中是肯定可能实现的，我们通过封闭测场去验证风险比较大的层级，然后再进行大量的实际道路的测试验证，从而能够保证无人驾驶最终的落地。
我们再来看自动驾驶测试来讲，你要测试它，它有什么特点？首先智能驾驶车辆是多门学科产物，整个系统架构复杂性非常高，它涉及到车、硬件、软件、计算平台、云端等等，同时它对系统的实时性要求非常高，比如说我们能看到一个前方有一个障碍物，人的平均响应时间是多少，800到1000毫秒。自动驾驶比人更安全的话，应该做到多少才能更安全？业内的专家也经过了很多讨论，大家大部分认为200毫秒，就是说能看到前面紧急情况的时候200毫秒能做出紧急制动，所以说自动驾驶会比人更安全，而且它不知疲惫。同时对于自动驾驶来讲它还面临着使用环境的多变，因此我们该怎么测它？百度提出了一套分层，首先对每一个部分测试进行分层，保证每一个组件的可靠、安全、高质量。同时我需要大规模的测试数据去验证和测试，我需要庞大的仿真能力和测试系统，同时我经过了仿真之后我再在封闭测试场进行虚实结合场面验证，再到开放道路进行大量的验证，从而能够保证自动驾驶的质量。
所以百度Apollo自动驾驶测试体系是一个纵向分层、横向分阶段的测试体系，它包含了模型在环、软件在环、硬件在环和车辆在环和道路在环境测试体系。这里是整体测试体系架构，最底层次我们看到了非常重要自动驾驶测试场景库，场景库上面会有很多大量数据进行支撑场景，同时在应用到各个阶段的测试当中，从而通过纵向分层横向分阶段的测试体系，我们能够评价出来一辆自动驾驶车辆到底有多智能，它是不是足够安全、舒适和可靠。
同时百度Robotaxi做到每一个版本都经过实体各环节进行测试验证，并且每一个环节都出最终测试的报告，去分析它到底是不是有问题，它到底是不是安全的，这样才能进入到下一个环节。百度每一个OTA版本都是经过充分验证，充分的测试才能到车上，从它写的第一行代码到最终OTA版本切换经过了十几个环节测试验证。可能大家认为十几个环节是不是周期非常长，我可以告诉大家，百度整个测试链条实现完全自动化，我们从第一行代码开始写，到一个版本最终的切换，只需要一到两周就可以了，我们只需要按周发版本的迭代模式，从而能够更好的去推进自动驾驶技术的快速迭代和发展。
接下来我给大家介绍我们整体测试体系当中关键的一些测试技术。首先不得不介绍场景库，场景库是测试的重中之重，而且监管单位也是非常重要的第三方测试场景库，但是场景库该怎么建立有很多探索。百度的自动测试驾驶场景库是由场景加上数据组成的，在场景方面我们进行分能力、分场景、分用例，我们通过正向数据和反向数据的驱动实现从场景上面的一个高覆盖度，同时我们把每一个场景跟真实道路数据进行匹配，通过人工智能手段，通过机器学习手段，我们把上百辆车在路上所有数据实现跟场景自动的匹配，从而能够用大规模数据去证明场景的覆盖度。所以我们的场景库是从一个能力，就是自动驾驶有什么样的能力？它有什么样的场景？它要应对哪些场景？它要应对哪些具体的Case，这些Case在路上真实的数据是怎么样的，我们实现了完全自动化的连接。
目前百度的测试场景库已经达到了1千万，同时我们利用场景库每天一个版本去辨别、测试、验证这1千万的场景。目前在哪些场景下的自动驾驶能力是有欠缺的，哪些场景是表现比较好的，能够更好的去评价自动驾驶的每一项能力。有了场景库以后对于我们测试环节来讲，首先做的是模型在环数据测试，我们要保证定位模型，我们感知模型，我们决策规划的模型是智能的，我们需要大量的数据去验证它是智能的，它的功能是完备的，它支持所路上的场景，从而我们基于数据的闭环。同时我们在数据的标注上面也实现自动化的标注，这样能够评估出来说每一个模型它的优劣程度，从而能够促使每一个算法，每一个模型都在不断进步，不能出现退步的情况。
每一个模型进行测试以后，我们要把整个软件放在一起进行相应的测试，这就需要软件在环的大规模仿真平台。我们每一个版本每天都需要在仿真里面去运行上百万公里，这是安全上路的最基本测试条件，同时基于仿真实现了对自动驾驶到底在哪些场景下，在哪些能力上面你足够智能，足够安全，你是足够舒适的。在哪些场景下面你是不够的，我们能够很好的去验证自动驾驶水平，同时也是保证上路的最基本条件。
经过了软件在环的测试以后，要把硬件，把传感器放在一起，去做硬件在环的测试技术。我们目前是基于全套真实和虚拟相结合的测试技术，从真实的传感器和虚拟的传感器放在一起，然后通过模拟传感器的实时数据，到最终的控制闭环，这样能够很好的去实现硬件闭环的大规模测试。
有了硬件在环的测试以后，我们需要把车加进来进行测试，这叫做车辆在环测试，会依赖封闭测场。从封闭测场来讲，场景构建有限，特别像百度，我们虽然有自己的小测试场，但是我们不可能去建立一个非常庞大的测场。这种情况怎么办？我们要通过虚实结合的车辆在环测试技术，让车辆在封闭测场里能模拟出路上任何一个场景。比如说我们在自己的小封闭测试场里面，就能模拟出自动车辆跑在长安街上是什么样的，这样可以更真实的验证自动驾驶的能力，同时也保证了过程的安全性。事实上，封闭测场时候往往还要模拟非常极端的情况，在非常极端碰撞风险的场景里，如果用真实场景构建是有一定危险性的，但是利用我们虚实结合的车辆在环技术，就能很好地验证在该场景下它的能力是怎么样的，同时数据还非常准确，因为它是虚实结合的。在封闭测场构建场景时，你每次构建的参数都有可能不一样，而我们的障碍摆放位置就有可能会影响到自动驾驶的行为。所以我们可模拟、可自动化能够保证安全性、全面性、一致性和准确性。
最后，我们把车辆放进来了，测试了，接下来，就需要把真实的道路放进来进行测试。这就是我们要给予实际道路在环的测试。百度在实际道路在环测试当中，我们会基于几个环节，首先，在新版本车辆上到开放道路之前，我们会先做开环，所谓开环，就是说我不去自动驾驶，我只是在部署这些版本去看各个子系统，整体车辆系统的行为是不是正常的，通过了我们一系列的评估指标之后，我们才能够切换到自动驾驶模式。这样能够很好的保证我们测试的安全性，也就是说，为什么我们测试600万多公里目前依然是零事故，部分企业有可能几辆车刚上路就撞了，包括特斯拉，美国OTA版本一出来有可能就会有一堆问题。最大的问题在哪里？在于没有经过严谨测试就匆忙上线。
百度在今年实现了在封闭测场技术上比较大的突破，我们领先于业界首次实现了全无人化的封闭测场的测试技术。这个设想在2018年的时候我们内部进行了讨论，假想有一天如果自动驾驶变成无人驾驶，我们在封闭测场里面该怎么测试它？难道还需要我们自己去摆场景吗？难道还需要我们在车上安排专门的安全员吗？明显是有问题的！所以我们今年联合长沙测场打造了一个全无人化的封闭测场的技术，实现车里是无人驾驶，同时测试也是无人的，不允许有任何人进行相应的参与。我们可以看一下。
（短片播放）
测试版本有可能有问题，我们怎么保证测试过程安全？需要有一系列防护措施。目前我们全无人化的封闭测试技术在长沙测场的一期已经投入使用了，我们正准备扩大到二期，更大面积场景的使用。
最后我分析一下自动驾驶车辆质量管理挑战与思考、建议。对于自动驾驶车辆来讲，我认为质量管理和监管的重点应该从三个方面来看。第一，信息安全，当整个智能网联汽车依赖云端越来越多的时候，攻击点也会变得越来越多；第二，安全，安全不仅是功能安全还有预期功能安全，我们怎么保证；第三就是OTA在线升级，我们应对的措施是什么，对于信息安全，我们要建立公共的信息安全防控库，同时每一个车联的汽车都应该有第三方的测评和认证。对于安全而言，我们在功能安全上面应该有非常好的质量管理体系和论证，同时在研发过程当中，我们需要有充分的功能安全和预期功能安全的分设。同时，第三方管理机构要去建立公共测试场景库，对车辆进行验证和论证。在OTA在线升级上，管理机构应该对OTA升级进行分级，细化到每一个分级要求是什么，因为一个简单的修复和大的修复乃至功能升级，这里面的质量风险是不太一样的。对于企业而言，每一个OTA版本你要说清楚，你的测试和验证体系是什么样的，以及各个环节测试验证，每一个报告，第三方监管机构要不要去看，升级方案和回稳措施是什么样的。比如说你的OTA准备升级，目前市场上有100万辆，你的第一次升级是百分之多少，当百分之多少验证没有问题才要扩展到百分之多少，你的方案是什么以及一旦出问题，你的回稳措施在哪里……这些都是保证OTA在线升级以及一旦出问题时，我们需要的建议和措施。
最后，百度期望与业界共同构建智能交通的新生态。谢谢大家！
（注：本文根据现场速记整理，未经演讲嘉宾审阅，请勿转载）