据外媒报道，Waymo研发的自动驾驶汽车利用计算机视觉技术和人工智能识别周围环境，并对车辆应该如何反应和移动做出实时决策。当车内摄像头和传感器感知到物体时，此类物体会与Alphabet编制的大型数据库中的物体进行匹配，以便进行识别。
（图片来源：Waymo）
大量的数据集对于自动驾驶汽车的训练至关重要，因为数据集可以让车内的AI变得更好，并提升性能。不过，工程师们需要一些方法，有效地将数据集中的物体与查询的物体匹配起来，从而可以研究AI是如何处理特定类型的图像。据外媒报道，为了解决该问题，Waymo最近研究了一个名为“内容搜索”（Content Search）的工具，其功能与谷歌图像搜索（Google Image Search）和谷歌照片（Google Photos）的操作类似。此类系统可以将查询内容与图像中的语义内容进行匹配，以表示物体，让基于自然语言查询的图像检索变得更加简单。
在“内容搜索”工具出现之前，如果Waymo的研究人员想要从日志中检索特定样本，需要利用启发法描述该物体。必须利用规则搜索物体的命令搜索Waymo的日志，意味着需要以 “X高度以下”或“以每小时y英里的速度移动”的命令搜索物体。此类基于规则进行搜索的结果通常非常广泛，研究人员需要手动进行梳理，以得到结果。
通过创建数据目录，对不同目录进行相似度搜索以便在呈现对象时找到最相似的类别，“内容搜索”工具成功解决了上述问题。如果显示给“内容搜索”工具的是一辆卡车或一棵树，该工具返回的结果就是Waymo自动驾驶汽车遇到的其他卡车或树。因为自动驾驶汽车在行驶时会记录下周围物体的图像，然后将此类物体以嵌入式或数学形式进行存储，意味着该工具可以对对象类别进行比较，并根据存储的对象图像与提供的对象的相似程度对响应进行排序，与谷歌的嵌入相似度匹配服务的工作方式类似。
Waymo汽车遇到的物体虽然具备各种形状、各种大小，但是都需要经过提炼，变成基本组件，并进行分类，以便“内容搜索”工具能够进行工作。为了实现该目标，Waymo使用了多个AI模型，而且此类模型都在各种各样的物体上进行了训练。不同的模型会学习识别不同的物体，而且由“内容搜索”工具提供支持，从而可以让模型理解是否能够在给定图像中找到属于特定类别的物体。除了主模型之外，Waymo还额外使用了一个光学字符识别模型，可以让Waymo的车辆根据图像中的文本，向图像中的物体添加额外的识别信息。例如，配备了标识的卡车在“内容搜索”描述中会具有包含标识的文本。
由于上述模型协同工作，Waymo的研究人员和工程师们能够为特定种类的树木和特定品牌的汽车等特定物体，搜索图像数据日志。
此次并不是Waymo首次利用多种机器学习模型以提高车辆可靠性和准确性。过去，Waymo曾与Alphabet/谷歌合作，帮助DeepMind一起研发AI技术。该AI系统从进化生物学中获得灵感，首先，创建了各种各样的机器学习模型，在经过训练之后，表现不佳的模型会被踢出，并被后代模型所取代。据报道，此种技术成功地减少了误报数量，同时也减少了所需的计算资源和训练时间。