“当前局势期间开发自动驾驶汽车的挑战”

冠状病毒在全球范围内发出当地避难订单后的几个月里，企业整体、领域和经济阻滞都在减少。 有望摆脱这种冲击的市场之一是自动驾驶车，特别是哪些企业的汽车可以用于向保健工作者输送物资的企业。 但他们似乎也活不下来。

3月，uber、cruise、aurora、argo ai、lyft等多家知名初创企业和衍生企业出于安全考虑，希望限制司机与骑手的接触，中止了自动驾驶队的实际测试。 waymo宣布更进一步，将停止亚利桑那州凤凰城的商业waymo one的运营。 这包括完全无人驾驶的汽车，在另行通知之前无需人工操作。

中断带来了巨大的工程难题:团队在停止飞行数月以上的情况下，如何复制现实世界中汽车收集的数据？ 这个问题一次也没处理过，有点专家认为这个不能处理。 甚至waymo的首席执行官约翰·俱乐部奇克( john krafcik )也表示自己有开发无人驾驶汽车不可缺少的现实经验。

但是，无论如何，包括waymo在内的一点点领域中最大的参加者都在尝试。

数据是新的油

大部分自动驾驶汽车开发流水线在很大程度上依赖于设置在汽车外部的传感器日志，如激光雷达传感器、相机、雷达、惯性测量单元( imu )、里程表传感器、gps等。 该数据用于训练一系列支持自动驾驶车感知、预测和运动规划功能的机器学习模型。 这些系统了解世界及其内部的物体，决定车辆最终要走的道路。

例如，特斯拉编纂了数以万计的隐藏停车标记，并教授了识别野外相似标记的模型。 训练了巡航是将合成和现实世界的音响和视频数据结合起来检测警车、消防车、救护车和其他应急车辆的系统。

现实世界的数据收集也需要地图制作。 在自动驾驶车的上下文中，地图绘制是指绘制世界道路、建筑物、植被和其他静止物体的3d、高分辨率和厘米级别的地图。 在新的地方进行测试之前，waymo和cruise等企业将引入带有传感器的手动驾驶车，制定无人驾驶车可能走的路线。 这些地图有助于车辆在全球范围内定位自己，还提供了速度限制、行车道和人行横道位置等有价值的上下文新闻。

代替这一切，自动驾驶车企业必须依赖他们迄今为止收集到的数据(以及对该数据的干扰或修订)进行系统开发和判断。 幸运的是，这些企业大多已经投资于模拟以扩大测试规模，超出了现实世界中可能的范围。

模拟试验

waymo

waymo先生说，每天在那个carcraft模拟平台上行驶000万英里，相当于在公共道路上行驶了100多年的现实世界。 另外，据该公司称，自动驾驶车软件套件waymo driver迄今为止累计了150亿次以上的模拟自动驾驶距离。 截至2019年7月，这是100亿的模拟自动驾驶距离。

waymo的模拟自动化产品负责人乔纳森·卡梅尔( jonathan karmel )对venturebeat说，“[carcraft]”上有很多新闻。 所以，我们采用了一系列工具来提取内部最重要的信号，最感兴趣的英里和有效的信息。

waymo工程师采用基于web的界面与carcraft模拟进行对话，利用现实世界的数据准备边缘状况，探索创意，选择waymo在25个城市2000多万英里的自动驾驶里程中遭遇的事情。 随着软件和场景的迅速发展，可以通过将waymo driver周围的环境保持在最新状态来保持真实感。 这需要对智能体的动作进行建模，采用响应虚拟车新位置的响应性智能体(其他汽车、骑自行车的人、行人等)。

waymo表示，还可以在更新的环境中将真实的传感器数据集成到汽车和模型的场景中。 如果虚拟车在同一场景中驾驶waymo车辆在现实世界中遇到的场景，工程师会改变场景，判断可能性。 他们还通过在情况中虚拟添加新的代理人(例如骑自行车的人)，或调整对面来的交通速度，判断waymo司机的反应方式，操作着这些场景。

随着时间的推移，模拟场景会在许多变化中放大，以确定waymo driver的预期行为。 这个消息是用来改善安全性和性能的。 卡梅尔说:“我认为传感器模拟的工作可以[增加]我们现实的行驶距离。 随着事件的一些变化，我们逐渐拥有了解现实世界的能力，同时随着我们不断改善[我们的系统]性能的状态，我们将继续[创造]模拟方面的新挑战。

waymo除了构建从现实驾驶数据提供新闻的方案外，还将引入从私人测试轨道捕获的未经测试的综合方案。 这家企业表示，可以继续扩大可模拟的行驶距离。 据karmel称，大部分学习和开发都是通过模拟进行的。 在新版本的waymo driver出现之前。

在这些学习和快速发展的过程中经常被忽视的一面是舒适。 waymo表示，将判断多项舒适性指标，包括人们对车辆各种驾驶行为的反应方式。 该道路测试反馈用于训练ai模型，通过模拟运行它们，验证不同情况如何影响驾驶员的舒适性，从找到理想的制动速度到确保汽车的平稳行驶。

karmel解释说:“我们开始更好地理解使乘坐舒适的组件。” 一个重要因素是加速和减速等。 我们希望通过模拟收到这些消息来预测现实世界中司机和司机的反应 有预测在“[carcraft]”中反应的机器学习模型。

除了carcraft之外，waymo的工程师还采用了复制搜索、基于人口的渐进式扩展( ppba )和基于人口的培训( pbt )等工具，支持各种开发、测试和验证工作 复制搜索类似于谷歌相册和支持谷歌图像搜索的技术，数据科学家可以在waymo的驾驶历史和记录中找到对象。 与alphabet的deepmind合作设计的pbt，起源于许多机器学习模式，通过用后代代替表现不佳的成员，将行人、骑车人和电动自行车司机识别任务中的误报率减少到了24%。 PBA可以降低价值成本，加快训练过程，强化目标识别器。 这是因为只有带注释的激光雷达数据需要进行训练。

巡航

cruise还运行大量模拟，每天在谷歌云平台上执行约200，000个小时的计算任务。 其一是cruise员工称为矩阵的端到端三维幻想引擎环境。 这样，工程师就可以建立自己能够幻想的所有情况，合成相机镜头、激光雷达、自动驾驶虚拟汽车的雷达馈电等传感器输入。

解决长尾问题是自动驾驶车在地球上最困难、最令人兴奋的ai问题之一，是人们期待自动驾驶车及其基础模型具有极高的性能水平的事实。 ai侯赛因·梅汉娜( hussein mehanna )告诉venturebeat。 从训练数据来看，有成千上万的激光雷达扫描点、高分辨率图像、雷达数据和其他传感器的新闻。 所有这一切都需要大量的基础设施。

cruise每天用300，000个解决方案核心和5，000个显卡旋转30，000个实例，每个实例循环一个驱动器的各种情况，得出300 tb的结果。 (这基本上就像30，000辆虚拟汽车。 在其他测试方法中，该公司使用了再生功能。 其中包括提取现实世界的传感器数据，将数据播放到汽车软件，人为比较性能-标记的地面真实数据。 另外，利用计划模拟，通过调整驶来的车的速度以及其间的空之间等变量，cruise最多可以制定数十万种方案。

巡航模拟副社长汤姆·博伊德( tom boyd )表示，工程师可以选择建模的场景要素和建模的粒度。 例如，比起模拟汽车挡风玻璃和后视镜或雷达多路径回波的激光雷达的反射，他们更需要模拟轮胎打滑(这取决于汽车的行驶距离、道路状况，甚至车轴采用的金属)

cruise管理模拟权衡的另一种方法是使用框架满足不同级别的准确性测试要求。 在商用硬件上，哪些软件不需要3d图形，实时性能提高100倍？ 没有能够完全准确实现的车辆动力学软件模型。 boyd先生说。 它们可能多而杂，为了应对模拟和[自动驾驶车]在道路上的微小差异，我们很容易消耗几个月的开发商。

cruise工程套件中的工具包括基于web的webviz。 它起源于黑客马拉松项目，目前约有1000名每月在职人员在招聘。 在最新的生产版本中，工程师可以保留配置，共享各种参数，并在远程服务器上运行时观看车辆模拟。 还有世界视图。 这是一种轻量级、可扩展的2d / 3d场景渲染器，允许工程师快速构建自定义可视化效果。

极光市

由前waymo工程师chris urmson创立的自动驾驶汽车企业aurora表示，虚拟测试套件平台的虚拟汽车每天平均完成100万次以上的测试。 该平台和其他工具使企业工程师能够快速识别、显示和分类大部分事情和感兴趣的道路场景，将其转换为虚拟测试，并执行数千次测试以确定对主代码库的单个更改。

虚拟测试套件包括代码库测试、感知测试、手动驾驶判断和仿真。 工程师制作单元测试。 例如，检查计算速度的方法是否给出了正确的答案。 另外，制作集成测试。 例如，检查同一方法在系统的其他部分是否正常。 新业务在与大代码集成之前必须通过所有相关测试，以便工程师能够发现和处理问题。

根据实际日志数据编制了一系列特殊的仿真感知测试。 aurora先生说，为了能够与罕见的高风险情况进行比较，生成测试，开发了非常逼真的传感器模拟。 他们在虚拟测试套件中定期运行的其他实验判断了auroradriver(aurora全栈无人驾驶平台)在一系列驾驶基准中是如何工作的。

无论测试的性质如何，自定义设计的工具都会自动从aurora的日志数据中提取新闻(例如行人走得有多快)，插入到各种模拟模型中，从而节省工程师的时间。

该企业表示，在aurora停止所有实际测试后，几个月来，该车辆操作员与其分类和标签团队合作，为道路事故挖掘手动和自动驾驶数据，这些数据可以转换为模拟虚拟测试。 aurora还表示，正在构建新工具(如旨在帮助工程师更轻松地模拟模拟的web应用程序)，并加强现有管道以支持新测试方案的创建。

一位发言人告诉venturebeat，在其他地方，aurora工程师正在建立和完善企业车辆地图-aurora atlas-aurora driver重新开始道路测试后执行的地区。 他们正在给cloud atlas添加新地图。 cloud atlas是专门为保存atlas数据而设计的版本化数据库，可以利用机器学习模型自动生成信号机等注释。

由于人工智能和机器学习的进步，在模拟中驾驶汽车代理的教育变得容易了。 在最近的技术论文中，麻省理工学院的计算机科学和人工智能实验室的研究人员解释了与aurora类似的方法，包括虚拟图像合成和自主转换( vista )。 这是一个只使用现实世界的语料库合成潜在视点的具有真实感的模拟器。 车辆轨迹。 vista可以训练模型，使模型可以在以前看不见的街道上行驶，即使它模仿汽车位置接近裂缝的位置。

我们预计covid-19不会长时间延缓我们的进展。 这多亏了我们在虚拟测试方面的投资。 但是，这表明了自动驾驶运输的紧迫性。 这个自动驾驶不需要乌尔姆森在声明中说，可以安全迅速地运送人和行李。 所以，我们比以往任何时候都更加致力于我们的使命，继续雇佣所有学科的专家，付钱给企业的每个人，找到办法推进aurora driver的开发。 我们领域的融合、独创性、奉献周到的领导才能让我们度过这些充满挑战的时代。

乌弗

uber高级技术小组( atg )是uber自动驾驶项目的负责人，存储了一个团队，该团队根据测试轨道和道路行为数据，通过uber的模拟器扩展测试集。 负责atg系统工程和测试的adrian thompson告诉venturebeat，每当对自动驾驶系统的软件进行任何调整时，整个模拟测试都会自动重新运行。

atg工程师采用了dataviz等工具。 这是atg与uber的数据可视化团队合作开发的基于web的接口，用于确认模拟中的汽车如何解释和感知虚拟世界。 dataviz真实地表示汽车、地面图像、车道标记、标志等元素。 对算法生成的新闻的抽象表示(颜色和几何代码) (如对象分类、预测、计划和前瞻)执行类似的操作。 这样，员工可以检查和调试从离线测试和在线测试中收集的新闻，也可以在编写新程序的过程中搜索新闻。

汤普森表示，在过去的两年里，uber的决策加快了建模和仿真工具的开发，并取得了丰厚的利润。 他说，在某些情况下，该公司目前采用了超过200万英里的传感器日志，并加强了模拟以完成大部分的ai培训和验证。

汤普森表示，由于没有道路运营，我们的ai模型开发轨迹几乎没有中断。 我们的测试跟踪测试旨在验证我们的模型。 因为在这期间，我们可以维持和加速我们的开发速度。

汤普森还表示，uber模拟环境中的虚拟汽车比大流行前的行驶距离可能有所增加，这也不足为奇。 他说，虽然不是健康危机本身引起的，但covid-19提供了继续扩展模拟的机会。

我们为了进一步扩大模拟行驶距离，制定了完整的战术计划。 我们基于模型的开发方法在这样的大流行中使我们的运营越来越强大。 这在某种意义上具有偶然性。 他补充说。 在可以预见的未来，将继续快速扩展模拟能力。 即使在大流行过后，也没有计划减少模拟行驶距离。

lyft

当lyft不得不停止所有实际测试时，lyft正在开发新的车辆平台。 尽管如此，lyft 5级自动驾驶部门的工程总监约翰尼代尔( jonny dyer )表示，该公司在实际世界中利用无人车行驶和校准约100，000英里的数据进行了两倍的模拟 在验证之前。

具体来说，lyft改进了模拟中采用的技术，以指导代理人(例如虚拟行人)对车辆的实际反应。 部分利用了ai和机器学习模式。 此外，还建立了基准框架等工具。 这样，工程师可以比较和改善行为检测器的性能，也可以动态更新视觉效果，创建有助于创建各种模拟副本的控制板。

戴尔表示，lyft不侧重于模拟相机、激光雷达和雷达传感器的数据等挑战，而是着眼于以前流传的基于物理的机制和有助于识别和模拟正确参数集的方法 他说:“这不是使用模拟模型的规模游戏，实际上模拟忠实度、准确英里的拷贝在增加。” 我们专注于忠实性方面，告诉我们在现实驾驶中执行模拟的操作类型。 这不仅模拟大量英里，还模拟正确的英里。

dyer认为，lyft还重新设计了验证策略，以便根据流行情况在结构和动态模拟等方面做出越来越多的判断。 该公司计划在执行这些步骤之前进行实际测试，但保持了一定的容量。 但是，由于关闭，硬件工程师必须将工程学转移到模拟中。

例如，高级计算机工程师在卧室中安装了运行lyft自动驾驶车技术堆栈的高性能服务器。 该服务器包括8个显卡和1个功能强大的x86解决方案，在上面吹了4个台式机风扇，让您感到凉快。 另一位工程师在车库里用raspberry pi和ebay购买的基板制造电解腐蚀装置。 另一位工程师将他家后院的板球间隔转换为激光雷达传感器的范围，采用全尺寸标志校准了lyft计划整合的新传感器。

领域的挑战

尽管以covid-19为基础的无人汽车企业做出了巨大的努力，但在这个大爆发上恶化磨损的人似乎还是少数。 一位专家断言，模拟无法代替在实际道路上进行测试。

在与实际数据相关的模拟中，存在着即使原始传感器有可能没有记录，各个场景也必须响应自动驾驶车的运动的长课题。 即使照片和视频没有捕捉到任何立场和视点，也需要使用预测模型进行渲染和模拟。 因此，历史上模拟一直依赖于计算机生成的图形和基于物理的渲染。 这些渲染在某种程度上大致代表了世界。 (值得一提的是，即使是总部设在英国的初创企业wayve，也只通过仿真训练了自动驾驶模型，必须依靠安全驾驶员的反馈对这些模型进行微调。 ）

研究人员在卡内基出版的报纸概述了阻碍现实世界硬件开发的模拟的其他课题:

现实的差距:模拟环境不一定完全代表物理现实。 例如，没有准确的轮胎模型的模拟可能无法说明高速转弯时汽车的实际行为。

资源价格:模拟计算开销需要专用硬件(如显卡)，从而增加云计算的价格。 根据synced最近的报告，如果训练华盛顿大学的grover等最先进的机器学习模式，生成并检测虚假信息，两周内可能会超过$ 25，000。

再现性:即使是最好的模拟器，也可能含有不明确的要素，不能进行再现测试。

事实上，yandex表示，他将继续在莫斯科等许可地点的公共道路上运营自动驾驶车，模拟有助于自动驾驶车的开发，但公共测试仍然很重要。 据该企业称，一旦转入没有道路测试的完美模拟程序，自动驾驶车的开发将在短期内变慢。 因为要开发具有100%正确性和多种多样性的模拟，可能需要和开发问题和资源运转技术本身一样多的处理。

发言人yandex对venturebeat表示，[如果没有实际测试，]自动驾驶企业无法收集重要的实际驾驶数据。 [另外]车辆在驾驶模拟和测试轨道上的运行有助于说明车辆满足实验室环境中的特定要求。 在公共道路上行驶时，自动驾驶平台需要面对更多复杂的现实世界动态，包括各种气象条件、行人和驾驶员的行为等。

ars technica的timothy b. lee指出，除了将自动驾驶系统暴露于这些众多复杂的动力学特征之外，通过测试还可以保证传感器和其他硬件的故障率较低。 这些汽车将采用安全的乘客落点，此外，团队的职业生涯将得到良好的训练，可以应对任何突发事件。 企业还可以确定可能出现的问题，例如高峰服务是否有足够的车辆。

戴尔完全不同意这些意见，但他一般对模拟的前景更为乐观。 他说，仿真非常适合测试轨道数据的结构化和功能性测试，这构成了lyft自动驾驶汽车路线图的一大部分。

现实中，所有的模拟都受到了一定程度的限制。 这是因为需要进行校准，并与现实进行比较验证。 这不能马上代替道路行驶，因为[因为]模拟什么也做不了。 但是，我认为我们在模拟环境中取得了很大的进步。 他说。 在这方面，大爆发完全没有受挫。 这些大型工程项目制作了几个基本副本，包括技术债务和要修复的基础设施，但在运营过程中修复并不容易。 如果我们回来了，我想投资这些会有很大的成果。

诸如波士顿咨询集团高级合伙人兼董事总经理布莱恩·科里等怀疑论者预计，大爆发将导致无人驾驶汽车技术商业化至少推迟三年。 仿佛含蓄，福特今天宣布，将推出自动驾驶汽车服务的计划推迟到2022年。 这家汽车制造商与argo ai合作，通过试点计划postmates、沃尔玛、多米诺( domino s )和当地合作伙伴测试进入市场的战术。

卡梅尔( karmel )承认道路可能有颠簸，特别是在waymo的测试暂停时，他自信地表示，这种传染病没有对计划的推出产生实质性的影响。

卡梅尔说。 “如果只关注合成行驶距离，没有开始导入现实驾驶中的一些现实感，那么实际上就不容易知道你在现实感曲线上的位置。 也就是说，我们试图学习尽可能多的东西。 在这期间，我们还获得了几千年的经验。

本文：《“当前局势期间开发自动驾驶汽车的挑战”》