8 月 25 日,由盖世汽车主办、中国智能网联汽车产业创新联盟自动驾驶地图与定位工作组协办的“2020 第二届自动驾驶地图与定位大会”隆重召开。本次会议主要聚焦高精地图、高精度定位等自动驾驶关键技术,共探产业未来发展之路。下面是宽凳科技AI首席科学家袁弘渊在本次论坛上的发言。
宽凳科技AI首席科学家 袁弘渊
今天我分享的主题是关于高精度定位的发展和落地的思考。首先我想跟大家从新数据的产生,驱动和创造新产业角度,来谈谈我对于高精度地图和定位的一点理解。
我们看到,过去20多年每次新的大量数据的出现都会伴随着一个新产业的诞生,一个很好的例子就是互联网,70年代的时候PC就已经有了,但是直到90年代互联网技术的成熟,才诞生了大批线上数据,才有了之后互联网的诞生和繁荣。
另外一个例子就是移动互联网,手机80年代就已经有了,但是直到07年第一代iPhone的出现才第一次产生了很多新的移动端数据,才有了之后移动互联网的热潮。
数据的产生驱动产业的诞生和发展。我相信大家这几年也在思考下一个大的浪潮会在哪里?我相信在座的各位都跟我一样,都非常希望也相信是在车端的爆发。车在19世纪之前就已经有了,而且智能汽车这个概念也在这几年得到了提出和发展,但是目前车端新增的数据我觉得还存在特征少、噪音大、信号弱的问题,比如定位的精度不够高、不稳定,所以它还不足以驱动一个很大产业的发展,像是车联网。高精度定位和高精度地图的核心就是把车自身的信息变得更准,把车环境的精度数据更加丰富,是直接给车端提供新的高质量的数据源。所以,如果我们能够把高精度地图和定位好,不仅仅是对于自动驾驶,对于其他的产业级车端应用的落地和发展都有帮助。
宽凳科技是17年创立,致力于提供高精度地理信息和位置服务,累积融资数亿人民币。我们希望通过做好高精度地图和高精度定位,为不只是车端,比如自动驾驶智能汽车,也为路端,比如新基建,最终为车路协同提供优质服务。作为全中国最年轻拿到甲级导航资质的公司,我们目前完成了30多万公里高速和3百多个城市快速的测绘建图。
今天我更多是在高精度定位如何落地这件事情跟大家来探讨,首先我们会聊一聊精度,是不是精度够了就可以了?如果不够怎么办?然后是高精度地图与定位的关系,最后是关于商业落地的思考。
我们知道高精度定位非常重要,如果高精度定位非常差,那高精度地图的价值就会大打折扣,如何把车辆实时准确在高精度地图这么一个数字卵生的环境里面定位,非常具有挑战。我认为挑战分为4层,我称之为定位挑战金字塔:
第一层是可量产化的硬件,不可能是特别贵的一套东西。第二个它是实时定位,既然是实时,在有限资源的情况下模型就会有挑战。在前两者的限制下,需要尽可能提高定位的性能,比如说精度,第四个是最终达到高鲁棒的表现。
左边是waymo近期的车辆,上面有4个非常高端的雷达,无数个摄像头等等,之前跟一个朋友聊天,他说高精度定位问题已经解决了。对于这么一套硬件,我觉得他说的是对的。但是今天我们聊的是量产和落地,首先要考虑的就是成本,如传感器自身的成本已经是车端的几十倍,这肯定不行。除此以外我们还有很多具体的问题,比如功能安全,精度、频率,对于车辆电子架构的要求,比如说是分布式计算还是集中式的平台,对于车辆物理架构要求,比如说天线加一根还是3根,当然产能也是一个问题。
这是目前跟定位相关的比较常见的传感器。 GNSS它是目前来看唯一一个对绝对精度的直接观测,它的优点很明显,当它的误差如果能够消除状态好的时候,它的精度非常高,它的缺点也很明显就是容易受到周围环境的影响,这里想提一下RTK,我个人认为RTK是目前性价比最高的定位服务,因为目前的价格量产已经到了百元级,不管千寻还是六分都在这个里面做了非常好的工作,我们在越来越多的市场已经看到了它们的存在,所以RTK我个人是非常看好的。
另外是IMU,它其实是最不受环境影响的一个传感器了,缺点也同样明显就是它有一个累计误差的问题,如果不能做好动态的标定,那它的价值会大打折扣。现在的趋势是把这两个做一个紧融合,取长补短,提高彼此最精的精度,这也是我们推荐的方案。
在感知层面,智能相机现在已经比较成熟了,就不用多说。毫米波雷达可以通过观测路边的信息来辅助定位,目前基于它的价格和性能,我们看它更多还是作为感知防撞的功能,没有用到定位里面。最后是激光雷达,大家知道精度非常高,但是目前的缺点就是没有到量产区间,当然我们看到的是一个动态的市场,现在也有一些新的产品才几万块钱,所以我们也非常期待这么一个市场和趋势最终硬件的价格会越来越低,定位越来越高,给硬件所选的方案会越来越多。
所以小结一下,宽凳目前会推这样的一套传感器。计算平台方面,目前我们听到的需求还是以分布式为主,但是我相信随着自动驾驶的发展,集中式会越来越多在量产车上可以看到,比如说特斯拉已经看到了。
这是我们非常优秀的硬件供应商和合作方,我们深知硬件非常重要,因为没有硬件就没有软件,所以我们希望跟更多优秀的硬件设备方供应商来适配,在里面选择我们觉得优秀的会打包推荐给主机厂,最终形成三赢的局面。
说完了硬件来说说软件,首先就是精度如何去评估,右上角是我们经常在主机厂听到的需求,其实我们知道sigma是一个统计分布的概念,如果不把样本说清楚了,可能这个sigma的意义不是特别大的,这里的关键是一个标准。比如我们需要明确使用场景,到底是匝道还是隧道还是都不要,直接只做直线的高速就可以,这是非常不一样的。其次是公里数,当我们谈统计分布,一定要知道样本大小,不然这个精度本身就是随机变量,所以我们希望在更大的公里数下面来谈论sigma的概念。第三就是对于任何统计量都有自己的优势,比如说sigma是可以反映这个分布到底多宽,但是我们还会推荐更鲁邦的percentile一点。
举个例子,这是我们实际遇到的情况,这个样本的平均误差有4.21米,样本标准差也有0.88米,但仔细看这个分布的话,会发现99%的点,定位结果还是非常好的,只有1%的点非常差的,有一部分因为修路没有办法往上走,这是属于我们不知道的情况所以如果用sigma衡量就是非常差的表现,但如果用percentile会看到更多的信息。
有了这个标准我们还要有一个评估它的方案,目前我们是高端惯导加上一个自研的解算运算,用一个千元级的硬件和软件跟百万量级的硬件去做对比,看看到底之间有多大的差距。为了加快迭代和更精确地评估精度,我们搭建了一个闭环平台,每次的采集和每一帧的原始传感器我们都会收集起来,现在我们已经采集到了全国上万公里定位采集,这样才能做到只增不减。
讲了硬件,讲了精度评估,然后我们也提到了需要在一个统计意义下去描述这个精度,我们来看最后这个挑战金字塔的最后一层,鲁棒性。这个白点是真值,蓝色是定位,这是我们跟一个主机厂在雨天测试的时候录下来的视频,雨水肯定会受到很大的视觉影响,拥堵也是同样的道路,匝道也一样的,我们应不只是在直线高速公路上开开就完了,而是真的在接近实际环境下去进行我们的定位。
这是最近在北京一辆定位车一个月积累的测试结果,左边是横向的统计分布图,右边是一样的,这个地方左上角有6个连续的隧道是最长的,5.8公里左右,所以这是一个非常长的隧道场景,我们在这条路一共开了大概有四百多公里,占整个公里数的20~30%
我们来看看精度。横向是厘米级,纵向是分米级,95% percentile的横向70多厘米,纵向2米多。这是在2千多公里,包括20%多连续隧道场景,以及匝道等比较综合的环境下的精度报告。经常听到友商说自己的定位精度可以达到多少多少,但是从来没有看到过一个具体的长公里全场景的精度报告,所以我们也算是抛砖引玉,促进交流。
定位的精度永远可以提高,我们来谈谈提高会遇到哪些难点,第一个是传感器状态判断,因为拿不到传感器的原始数据不能观测到所有的变量,就不能通过数学去决定性知道当前的数据好坏。如果把错误的传感器结果传入了之后的融合,就会产生很大的误差。比如GNSS,我们经常说它有一个醉酒效应,它说自己是好的,其实已经漂到好几米以外了,就像喝醉了酒一样。比较常见的这类情况是在进入隧道的一两秒。如果以车平均是30米每秒的速度来算,1~2秒已经走了很远了,进入隧道之后会造成非常严重的后果。
那如何去做这件事情呢?如果积累了大量过去的数据,一方面,有每一帧传感器的观测数据,另一方面可以通过GNSS输出的位置和真值的区别获得GNSS状态的好坏。这样通过机器学习模型,就可以获得两者之间的关系。除了GNSS,其他传感器包括定位也可以有类似的思路和方案。
第二点,如何尽可能优化子定位方案也是非常重要和困难的事情,因为每个传感器都有自身的误差和特点,综合在一起,该怎么去做,这是一个开放问题。
第三点多传感器的融合,因为不可能照搬已有的模型就行,要根据实际的场景、场合和要求去做一些实际的优化在里面,最终达到希望的效果是能够通过多层级的融合结合动态标定,尽量把这个单一的传感器误差降到最低,增加准确性、精确性和鲁棒性。这三个大方向是算法层面的。
算法解决不了所有问题。最难的就是当所有的传感器都失准的时候,那就得从硬件方面去想解决思路。第一可以考虑提升传感器的精度,第二可以考虑增加传感器的数量,这不仅仅是功能冗余的要求,而是可以通过更多的测量去提高精度。此外,高精度地图是非常重要的领域,如果要素少了,精度差了会对定位造成很多的困难,但是如果这些好了会得到很多的帮助。这里没有提到V2X,因为我们觉得尚在早期,还没有到量产的阶段。
我们小结一下,高精度地图的金字塔从4层来看都有不同的挑战,非常困难,而且我们也知道永远不可能达到百分之百的准确,那问题来了,到底多精才能落地呢?毕竟我们不是做调研,而是希望能落地。既然精无止境,但我们也有一些客观现实,传感器的精度是有限的,而且实时定位一步错就可能步步错,总会有想不到的corner case。
那如何落地呢?首先是横向如何能不错车道,纵向的话视场景而定的,还有就是定位状态判定。还有一点就是ODD预判,ODD大家都知道,但是预判这件事情好像还没有听到大家讨论,因为在落地过程当中L3有一个提前预警,虽然我们说离手不离心,但是不能说出了错了或者有什么不好的事情发生了才跟他说我现在也要接管了,必须要有一些预警。可以通过地图给预警。举个例子,我现在往前开,我看不到前面会发生什么,但是有可能半分钟之后它的车道线上面全裂缝,那我识别可能就看不清了,我既然知道前面很快会看不清,我就知道这辆车再开30秒就会驶离ODD,那就可以提醒司机进行接管。
比静态更难的是动态ODD的预判,从各个传感器去判断是不是出问题了,这个怎么去想?因为我们知道地位不是一个独立的事件,而是连续的时间函数,换句话说每一帧的定位都会依赖过去某段时间的结果,如果开了10万公里或者1百万公里,这是车厂在做的事情,知道在过去那么多的公里数下面,出问题的两三秒前他们的传感器都在做什么,其实就可以用来作为辅助预判,当然这个预判的结果到底以什么样的形式去进行人机交互,也是需要大家去思考的事情。
最后一个就是及时的修正反应速度,我们不可能完全定位不出错,所以如果错了什么时候能发现,什么时候能纠正,就很关键。如果0.001秒就可以纠正,那么决策层可能就不在意,因为频率比它还快,但如果过了10秒才知道错了,那决策层可能就知道对它没有用了,所以这里不是说如何能不错,而是说如果错了如何才能更快的发现并且解决。
当然这些只是抛砖引玉,我们讲了除了精度以外还有很多值得大家去思考的地方,去考虑定位的研发。
我们再讲讲高精度地图和高精度定位的关系,首先定位是非常重要的传感器,因为它可以跟感知系统配合,能够让看到的和已经知道的去做匹配,另外就是超距的感知,地图可以告诉不只是道路级的还有车道的一些东西,因为在宽凳定位和地图是一个团队,所以地图会很快帮我们生成一些东西去做比如ODD预测,进一步辅助定位。这些跟定位状态预测相关的地图内容,跟早上江教授提的地图里面的决策或者在自动驾驶层面的概念比较像,在做定位的时候就可以有这些信息在里面,每次我都可以把这些放在里面。
第三个高精度地图的精度如果不够高,定位的精度也一定高不了。我们做项目的时候遇到过一个客户,给我们一个ADAS甚至标清地图,问我们能提供高精度定位吗?我们也非常苦恼,因为肯定不行。因为如果地图都是差的,如何把高精度的定位反馈到地图上面?所以我们觉得地图的精度一定要高,这样才能做好和用好高精度定位。
同样的,如果定位的精度差了,那高精度地图也不能发挥作用。所以它一定是需要非常准的定位的,定位的精度越差,那高精度地图的价值越低。最终的核心是在于如何把定位和地图合在一起变成一个产品去支撑上游的应用,提供丰富的局域地图信息,这个里面的问题是在于该提供多大范围的局域地图信息。
一个比较简单的思路也是目前看到的一些需求,是给一个点,在高精度地图里面给我一个范围,比如说3*3公里,每公里或者每过10秒钟发送一次局部地图的全量地图。但是我认为这样效果不是最好的,原因就是在于车端资源有限,没必要发送不相关的地图,其实这是一种浪费。比如说在高速上开压根儿不关心对象车道,那么就不应该因为对象车道在3*3范围内就发送。另外就是它的扩展性比较差,因为它没有一个相对距离的关系,因为没有一个path的概念,前方什么我都不知道。
我们推荐的一个选项是电子地平线。我只发前向多少公里关心的,后向多少公里关心的地图,保证我发的地图的每一个数据都是可能关心的,不管是主路还是一级辅路、二级辅路,所以它的数据价值是非常高的,因为每帧都关心,有了path这些东西就可以判断说前面有什么东西我要小心一点,所以这是在使用定位+地图的过程当中需要考虑的一些东西。
这是我们跟海外一家主机厂联合做的项目通过ADASIS V3的传输去把它做成一个产品,左上角是EHR展示我在刚才提到的电子地平线的概念,左下角是NDS的可视化,通过对比大家可以看到至少有一半是浪费掉了,是自动驾驶开不上去的地方。中间我们跟需求方在一起共同开发的,如果之后某一家主机厂想跟我们合作可以告诉我们需要在上面接哪些接口,我们可以做。
这是高精度定位和高精度地图合在一起,我们希望能够提供更好的效果。下面来谈谈商业落地,不管多久、多痛苦也是车厂愿意等待和不愿放弃的,在今年其实是一个不太运气好的一年,疫情环境下很多车厂也都受到不少影响,我们也与全球某知名汽车达成了独家合作,在定位和地图方面能够进行共同的探讨,所以我们还是有信心和实力把高精定位结合地图一点一点往自动驾驶的方向去落地。
另一方面就是说高精度的定位落地并不需要等待自动驾驶,因为它完全可以给人使用,精细化功能车辆管理,比如城市的清理车,以这个为例,如果我们在清理车上面有一个后装的设备它能够实时知道在那一条车道清扫,是不是有扫过每一条车道,它是不是有不该占的车道等等,这样可以提高效率,降低成本,有很多的应用在里面,做高精度的监管。
不管是刚才提到的自动驾驶前装还是后装的精细化管理,一旦上了量,众包这件事情就真正变成了可能,因为更新是一个技术,众包其实是一个需求,所以时间关系我就不说技术细节了,但是宽凳在这个里面有自己的技术储备。
最后一个是车道级导航和指引,左边这个今天早上也提到了,但是这个里面车道级的定位和规划不仅可以服务于自动驾驶也可以服务于人类司机,这也大大加快了它的落地可能性。
最后总结一下,今天聊了这么多,定位金字塔就是告诉我们定位这件事情是有很多的挑战,精无止境,从落地角度来讲有很多的KPI,这个里面我们可能需要有大数据平台在里面,更统计意义上去描述到底精度怎么样。
另一方面,我们想到了高精定位和高精地图相辅相成合在一起才能助力自动驾驶。这边的这个就是自动驾驶不仅仅是只有自动驾驶而已,在自动驾驶之前就可以有探讨的方向。
最后打一个广告,如果有一起合作的机会,或者觉得我们做的有意思有意义,希望加入我们,这是我的邮箱,希望之后跟大家有一些深入的交流和探讨,谢谢大家!