据外媒报道,现在有一种全新的成像方法可以利用人工智能(AI)将时间转换为3D空间视觉,以帮助汽车、移动设备和健康检测器研发360度感知能力。照片和视频通常都通过利用数字传感器捕捉光子(光的组成部分)制作而成,例如,数码相机由数百万个像素组成,通过探测空间中每一个点的光的强度和颜色来形成图像。然后,通过在被拍摄的对象周围放置两个或多个相机,对其进行多角度拍摄,或者利用光子流扫描场景并在3D空间中进行重建,就可以生成3D图像。无论采用上述何种方式,就是通过收集场景中的空间信息来构建图像。
(图片来源:格拉斯哥大学)
据外媒报道,最近,英国格拉斯哥大学(University of Glasgow)与意大利米兰理工大学(Polytechnic University of Milan)和荷兰代尔夫特理工大学(Delft University of Technology)的研究人员描述了一种制作3D动画的全新方法,即通过捕获光子的时间信息,而不是空间坐标来进行制作。
首先,研究人员们采用一种简单、廉价的单点探测器,将其调整为光子的秒表。与测量空间中光的颜色和强度分布的相机不同,该探测器只记录由瞬间激光脉冲产生的光子从既定场景中的每个物体上反射到传感器所需的时间。物体越远,每个光子反射到传感器所需的时间就越长。每个光子在场景中反射的时间信息称为时间数据,被研究人员收集在一个非常简单的图表中。
然后,在复杂神经网络算法的帮助下,此类图表被转换成3D图像。研究人员对该算法进行了训练,向其展示了数千张普遍照片(包含团队在实验室周围移动和搬运物体的内容)以及由单点探测器同时捕获的时间数据。
最终,该神经网络充分了解到时间数据如何与照片相对应,从而能够仅利用时间数据创建高度精确的图像。在原理验证实验中,尽管硬件和算法可能每秒会产生成千上万张图像,该团队还是成功以大约每秒10帧的速度利用时间数据构造出动态图像。
目前,该神经网络创建图像的能力受限于所经受的训练,此类训练让其可以从研究人员所创建的场景的时间数据中进行挑选。不过,通过进一步训练,甚至采用更高级的算法,该神经网络可以学会将各种各样的场景进行可视化,并扩大应用于现实环境中。
研究人员表示:“收集时间数据的单点探测器体积小、重量轻、价格便宜,因而很容易被加入到自动驾驶汽车摄像头等现有系统中,以提高汽车寻路的准确性和速度。此外,还可以增强谷歌Pixel 4等移动设备上现有的传感器,因为Pixel 4已经配备了一个基于雷达技术的简单手势识别系统。此外,我们的新技术甚至可用于监测医院病人胸部的升降情况,以提醒医护人员观察病人的呼吸变化,或者跟踪病人的行动,确保其安全。我们的下一步是研发一种独立的便携式盒装系统,并希望能够与商业伙伴一起研究。”