天道酬勤,学无止境

美团无人车引擎在仿真中的实践

 

本文首先会介绍无人车引擎的概念,并以仿真环境面临的挑战为线索介绍美团无人车引擎的核心设计。

 

01 引言

过去几年,自动驾驶技术有了飞速发展。国内也出现了许多自动驾驶创业企业,这些公司以百度开源项目Apollo为起点,大都可以直接进行公开道路测试,公开道路测试也成为促进技术进步的主要方法。基础问题得以解决之后,行业面临的更多是长尾问题,依靠路测驱动自动驾驶能力建设的方式变得不再高效,离线仿真的地位日益凸显。行业头部企业在仿真的投入十分巨大,Waymo公司2019年公布的仿真里程是100亿英里,是路测里程的1000倍。

相应地,美团无人车团队在仿真上的投入也在逐渐增大。在仿真平台的建设中,团队发现公开道路测试和仿真测试看似相似,实际上差异巨大:在车载环境下,为了确保系统的稳定运行,通常要保证一定资源处于空闲状态;仿真环境则不同,如何高效利用资源,如何实现压榨资源的同时确保仿真结果与路测结果一致成为了关键目标。在应对这些挑战的过程中,美团提出了无人车引擎的概念,将车载与离线环境的差异隔离起来:功能模块无需任何更改便可以满足两种场景的需要。


02 无人车引擎

概念

无人车引擎是自动驾驶的基础设施,在机制、工具和计算模型上对功能模块提供支持,隔离自动驾驶所处环境,使各功能模块专注于自身功能。

在机制层,他为各功能模块提供通信、调度、数据、配置、异常监控等支持;

在应用层,引擎为各功能模块提供调试、可视化、性能调优、效果评估等工具支持;

在模块层,引擎为各功能模块提供统一的计算模型和运行环境,确保他们在车上环境、分布式环境、调试环境下的行为一致。

美团无人车引擎的架构图如下:

图1 无人车引擎布局

如图1所示,作为引擎支撑的主要部分,Perception、Localization、Planning等是自动驾驶系统中重要的功能模块,它们实现了无人车系统的核心功能。引擎则在机制和工具,上下两个方向上支撑他们:各功能模块按照引擎的规范开发,直接或者间接地使用引擎机制层提供的功能并自然而然地获得工具的支持。比如,功能模块只要使用引擎的通信工具,就能直接获得数据落盘、性能报表调试信息可视化的支持,同时基于这些路测数据,在仿真环境下,功能模块会自动获得单步调试、效果评估等功能支持。

自动驾驶引擎面临的挑战

图1中所列举的功能是引擎的基础组成部分,引擎所提供的远不止于此,对于多种环境的支持才是美团无人车团队引入引擎概念的真正原因。前面提到,无人车首先运行在车载系统中,随着技术和环境的变化,更多地运行于仿真环境下,二者截然不同。车载环境下,无人车系统的运行环境较好,为了保障各功能模块能够正常运行,CPU、GPU、内存等资源要提供一定程度的冗余。

而仿真环境的要求完全不同:从用户的角度看,仿真的用户是工程师,他们期望仿真任务能够在确定时间内完成尽量多的任务;从集群的角度看,他们希望仿真能够尽量提升资源利用率。接下来的部分将介绍无人车系统在这两类环境下会面临哪些挑战,以及美团无人车团队如何通过引擎应对这些挑战。

03 行为一致性的挑战

早期,美团无人车团队依赖于ROS搭建无人车系统,在车载环境下,ROS的表现合格。然而在开始仿真建设后,团队遇到很多问题,其中最突出的是“行为一致性问题”,这个问题具体是指:无人车系统在运行过程中,当出现系统资源的变化,行为也随之发生变化。比如,当仿真任务在一台机器上运行时,系统产生的结果和这台机器的状态有关,这台机器被独占地使用或是和其它任务同时运行,结果会有差异。而且,即使不考虑资源利用率,让仿真任务独占机器资源,同一个任务运行两次,结果也会有微弱的扰动。

更严重情况发生在离线环境,此情境追求资源利用率的最大化,意味着计算资源的十分紧张,扰动将变得不再轻微,结果将变得更不可靠,仿真的结果也就失去了价值。

因此,如何在车上和离线两套截然不同的环境下确保结果的一致性,是仿真引擎必须解决的问题。此问题由以下两个原因造成:一是功能模块时序的不一致;二是功能模块内部执行的不一致。

时序一致性

为了介绍什么是时序一致性,首先要介绍一下无人车系统中时序的概念。

无人车系统由多个功能模块组成,功能模块之间有数据依赖关系,比如 Perception 依赖于Lidar、Camera的数据,Prediction依赖于Prediction的输出。不同模块的触发条件不同,比如Planning是依据时钟触发的而Prediction是依赖于Perception的数据触发的。由数据关系和触发条件形成的功能模块的执行顺序就是自动驾驶系统的时序。在理想情况下,每个模块都能在满足触发条件时立刻执行并在预期的时间内完成任务,也就是说,只要保留各模块的输出就可以完全复现线上的问题,离线仿真出现的问题在路测时也必然出现。

图2 无人车系统理想时序

然而现实情况远比这复杂,举例来说,当无人车经过拥堵路段时,Perception需要处理的数据会显著增多,Planning也可能因为交通参与者过多导致耗时增长,时序必然与理想情况不符合。如下图3所示,在车载环境下这种行为方式是没问题的,然而在仿真环境时却会导致严重后果:每一次计算环境的些许变化都有可能导致时序的变化,进而导致系统行为的差异。

图3 无人车系统实际时序

这就是时序一致性问题。为了解决这种问题,美团无人车引入了调度器,时序的一致性由调度器保证。此外,引擎按照不同的应用场景,进一步细化了调度器的种类。其中最简单的调度器是“在线调度器”,它的目标只有一个:在功能模块处于Ready状态时执行它,车载系统中就是使用的这种调度器,它的行为方式也与 ROS 类似,不过他会记录下调度时序以备使用。除此之外,引擎还提供一组离线调度器,以应对不同的使用场景。这里在线和离线的差异根据数据来源判断,如果数据来自传感器那么就是在线调度器;如果数据来自路测记录那就是离线调度器,具体分类如下图4所示:

图4 调度器分类

以下是美团无人车引擎提供的调度器种类及他们的使用场景:

  • 在线调度器:在满足触发条件时立即触发功能模块,通常在车载环境下会使用。

  • 复现调度器:按照调度器保存的调度信息复现调度时序,在调试时或复现路测场景时使用。

  • 理想调度器:按照理想时序调度资源,通常在仿真时使用。

  • 条件驱动调度器:在条件满足时调度功能模块运行。在这种调度方式下,功能模块的调度密度介于理想调度器和复现调度器之间,他的实现也相对简单,是应用最广泛的调度器。

在他们的帮助下,功能模块执行的时序就能得到保障:只要调度器和输入数据不变,那么无论计算环境如何变化,各功能模块的执行时序总能保持一致。

功能模块的计算模型

时序一致性除了需要调度保证之外,功能模块的内部计算必须是受到调度器调度的。功能模块必须在调度器允许时才能开始执行,在结束时调度器能得到通知。如果存在脱离调度器之外的计算线程,那么系统的一致性必然无法保证。为此,引擎引入了标准计算模型,任何一个功能模块都有应该遵守这个计算模型,从而获得引擎包括一致性保障、单步调试支持、信息可视化等功能的支持。

标准计算模型如下:每一个功能模块都有且仅有一个计算过程并以迭代为单位,每一次调度完成一帧的计算。当然引擎并不控制帧计算内部的细节,帧计算内部的优化由功能模块负责。

图5 功能模块的标准模型

标准模型的定义并不一定符合每一个功能模块的实际情况:比如Localization,它订阅多类频率不同的传感器数据并以不同的频率输出。在实践中,引擎通过对Localization功能的重新拆分实现了标准化。此外,对于像Perception这类计算量很大、同时兼具异构计算的功能模块来说,多线程,异步I/O的机制必须引入,引擎同时提供了相应的支持确保符合标准模型。

在实践过程中,美团无人车团队花费了相当时间来完成这些改造。改造完成后仿真结果的权威性得到了加强,更重要的是:系统的行为不再受外部资源(GPU、CPU、内存等)的影响,这也为离线环境提升资源利用率扫清了障碍。接下来介绍无人车引擎如何在功能模块完全无感的情况下提升资源利用率。

04 资源利用率问题

前面提到过,车载系统和仿真系统环境差异很大:车载系统为了追求系统的平稳运行会保证关键资源有一定程度的富裕;对于仿真系统,保留idle就是对资源的浪费。在系统的一致性得到保障之后,资源利用率才能成为引擎的优化目标。优化资源利用率包含了很多方面,比如数据调度等,由于篇幅所限,这里只介绍与引擎相关的优化工作。接下来的部分,将根据无人车系统在仿真环境运行时的特点进行优化,他们分别是资源需求不均、功能模块的重复计算、GPU/CPU计算不平衡。

数据需求不均匀

从数据的输入规模上讲,各功能模块是极不均衡的:Perception和Localization依赖于 Lidar和Camera数据,数据使用量占到系统的 85% 以上(按照数据存储的规模计算,忽略中间数据,具体比例与开启的Camera相关,此处给出概数)。从资源消耗上讲,Perception和Prediction消耗较多的GPU计算资源。为了提升云计算资源的效率,无人车引擎必须支持分布式部署:即一套自动驾驶系统分别部署与多台机器甚至是跨机房的机器之上的。

图6 分布式部署

为了实现分布式部署,引擎参考了计算图模型的概念,采用了类似于Tensorflow的设计:将功能模块分成了Node和Module两个部分。其中Node负责定义依赖关系,而Module负责完成计算。对于远程部署的Module来说,引擎提供了ADVContext和 Node Stub的概念用于协助Module完成运算,对于Module而言,它对于自身处于环境(远程或者本地)一无所知。

图7 Stub Nude

基于图7的设计,自动驾驶系统有了分布式部署的能力:一套自动驾驶系统可以运行于一组机器之上。提升离线效率的努力不再局限于单台机器,无人车系统的离线优化获得了更多的手段和更广的空间。

重复计算

仿真任务分成多种类型,即有运行单个模块的任务,也有同时执行Perception、Prediction、Planning的任务。对于同时运行多个Module的任务,放在集群的角度看,很多计算都是重复的。试想一个场景:Planning引入新方法,工程师希望能够在最新 Perception版本上的获得新方法的效果评估结果。对于仿真而言,这是一个经典场景,常用的方法是离线执行Perception、Prediction和Planning三个模块并执行Evaluation产生报表、评估结果。

图8 分模块Evaluation

一般而言,Perception的结果受到数据和本身算法迭代的影响,当Planning的迭代时,Perception的结果不会受到影响,它的输出完全可以复用。得益于Node和Module概念的分离,Perception Node所绑定的Module完全可以是一个非计算单元,而是一个数据服务 Module。

在美团无人车数据平台和无人车引擎共同努力下,通过Data Service Module, 这个常见的仿真任务的流程在工程师感知不到的情况下变成了图9这样。不同版本的 Perception的输出结果被保存下来,Prediction和Planning只要使用之前的结果,避免了 Perception的反复计算。

图9 数据复用

GPU计算分流

无人车系统是一个同时具备重度CPU计算和重度GPU计算系统,两部分的计算是不平衡的。引擎为了提升GPU资源的利用效率,在内部集成了模型管理的功能同时提供了本地和远程两种Prediction的机制。再结合分布式部署方式,系统可以完全部署于 CPU集群之上,模型相关的计算可以通过RPC请求在Model Serving上完成。通过GPU和CPU计算的隔离,引擎帮助提升了GPU和CPU计算资源的利用率。

05 结论

在持续的实践中,美团无人配送团队抽离出一套自动驾驶引擎,为功能模块提供机制和工具的同时,它还提供了对车载(低时延)和仿真(高吞吐)两套环境的适配。此外,配合美团的大数据基础设施以及在此基础之上专为无人车建立的数据平台,美团无人车逐步建立了完善的自动驾驶基础设施。未来,希望在引擎的帮助下能够隔离功能模块、计算平台、运行环境,使得自动驾驶能力迭代与自动驾驶落地应用两个方向上的工作能够独立开展,齐头并进,加快美团无人车的落地步伐。

关于美团无人配送

美团无人车配送中心成立于2016年,由美团首席科学家夏华夏博士领导。美团无人车配送围绕美团外卖、美团跑腿等核心业务,通过与现有复杂配送流程的结合,形成了无人配送整体解决方案,满足在楼宇、园区、公开道路等不同场景下最后三公里的外卖即时配送需求,提升配送效率和用户体验,最终实现“用无人配送让服务触达世界每个角落”的愿景。

受限制的 HTML

  • 允许的HTML标签:<a href hreflang> <em> <strong> <cite> <blockquote cite> <code> <ul type> <ol start type> <li> <dl> <dt> <dd> <h2 id> <h3 id> <h4 id> <h5 id> <h6 id>
  • 自动断行和分段。
  • 网页和电子邮件地址自动转换为链接。

相关推荐
  • CVPR 2021预讲:前沿视觉技术如何在实践中落地(内含视频&PPT)
    CVPR是世界顶级的计算机视觉会议。CVPR 2021大会将于6月19日至25日在线上举行。美团共有5篇论文被本届CVPR大会收录,内容覆盖实例分割、表情识别、快速图像分割、特征选择和对齐等多个技术领域。近日,美团与智源社区联合主办了CVPR 2021预讲 · 美团专场论文分享活动。本文系本次分享活动的视频和内容整理。 关注「美团技术团队」,在对话框回复「CVPR2021」,即可获取本次活动的演讲稿合集。开场致辞美团视觉智能中心负责人魏晓林为本次活动做了开场致辞。他表示,美团是一家科技驱动型公司,现在研发团队已经远超1万人。其中人工智能是美团最重要的技术方向之一,在人才和科研合作上都有持续的投入。美团视觉智能中心负责人 魏晓林目前,美团与国内外超过20所知名高校及科研机构建立了交流和合作机制,围绕人工智能、无人驾驶、运筹优化、大数据、信息基础设施等研究领域开展了多项课题合作。在人才培养方面,特别是高层次人才,我们建立了美团博士后工作站;面向在校大学生,我们有「北斗」高精尖校招计划,每年会有大量的校招实习生加入美团,他们会在真实的业务场景中开展学术研究,且取得了很多落地的科研成果。丰富多样的应用场景魏晓林说,很多同学加入美团之后,都会感受到很大的幸福感,而这种幸福感主要来自于两个方面:一方面是感觉上的「反差」,美团是一家比较低调的公司,但是大家加入美团之后
  • 自动驾驶思考:基础架构篇
    图片来自网络周末参加了小马智行的线下分享,获益良多。很羡慕北京的环境,大部分的线下都是在北京,难得有在深圳的。深圳虽然被誉为最有创新价值的城市,但关于技术方面的交流简直少的令人发指。下面根据这次分享的内容,依次介绍下我的一些思考。首先分享的是无人驾驶的基础架构。如果说之前自动驾驶秀肌肉,都是通过 demo 演示下雨天真实路况穿越隧道。那么之后会逐步转变为秀基础架构。我觉得现在如果哪个无人驾驶公司对基础架构还不够重视,基本上就已经掉出第一梯队了。那么我们需要哪些基础架构呢?下面根据各个模块的内容,逐个分析下有哪些应用场景,为什么我们需要这些系统。▌存储首先我们看下存储,在自动驾驶中如何应用,有哪些应用场景?文件系统数据库数据 meta自动驾驶每天会产生大量的数据,之所以有这么多数据是因为无人车配置了多种传感器,这些传感器包括摄像头,激光雷达,GPS 等。每秒钟会生产大量的数据,30分钟的数据量就有几百 G,如果是一天的时间一辆车可能就产生几T的数据。由于数据量太大,我们有3种处理方式,第一种,缓存最近2分钟的数据,其他的数据处理完之后丢弃,这也是无人车正常情况下的做法,但是这种场景只适合正常运行的无人车,如果我的需求是采集地图,或者收集训练数据,那么就不太合适了。为了解决上述问题,后面的2种方法就是考虑如何把数据保存下来。第二种,保存到硬盘,之后再回传到数据中心
  • 【人物志】美团首席科学家夏华夏:不断突破边界的程序人生
    “成长没有什么秘笈,就是坚持不断地一点点突破自己的边界就好。”这是美团首席科学家、无人配送部总经理夏华夏在刚刚过去的“1024 程序员节”时送给技术同行的一句话。这也是夏华夏自己的人生写照:从没摸过计算机的山东高考状元到清华计算机系的学霸,从美国名校深造、Google修炼6年到选择回国,从加入当时还很小的美团到负责公司最大业务的总体架构,从架构师转为无人配送这个前沿业务部门的管理者,夏华夏就是在不断突破自己的边界,做出人生的重要抉择,脚踏实地,一步步成长为业界知名的技术领军人物。本文由美团技术学院基于夏华夏的访谈记录整理而成。1998年,夏华夏从清华大学远赴美国留学,先后在谷歌、百度担任架构师。2013年受美团创始人王兴和穆荣均的邀请,选择加入当时还很“弱小”的美团,夏华夏回忆,是王兴的一番话让他备受触动。当时,望着五道口下面熙熙攘攘的人流,王兴说:“其实很多做互联网创业的人,很少考虑怎么去帮助这些人,这些普罗大众,这么多的小商家。其实,他们都在努力改变自己的命运,我们美团就要帮助他们,帮助这些普普通通的老百姓。这也是属于我们的机会。”夏华夏加入美团已有5年的时间,也是一名地地道道的美团“老人”了。他当时并没有料到,如今这家小小的创业公司,已经成功在香港上市,成为市值仅次于BAT的第四大互联网企业;他当时也没有想到,这个曾经很小的技术团队已经迅速成长为一个拥有万人规模的一流研发组织
  • 无人驾驶系统技术岗位分析(感知算法)
    一、环境感知 通过融合激光雷达(Lidar)、相机(camera)、毫米波雷达(millimeter wave Radar)等多种传感器的数据获取周围环境的大量信息(包括:障碍物的位置、速度及可能的行为,可行驶的区域,交通规则等) 对图像、点云数据场景中要素的检测和追踪; 1、激光雷达(Lidar)产生点云数据,点云数据构建点云图 激光点云数据的处理通常分两类操作:分割和分类。分割是为了将点云图中离散的点聚类成若干个整体,而分类则是区分出这些整体属于哪一个类别(比如说行人,车辆以及障碍物)。 2、分割算法可以被分类如下几类: 基于边的方法,例如梯度过滤等 基于区域的方法,这类方法使用区域特征对邻近点进行聚类,聚类的依据是使用一些指定的标准(如欧几里得距离,表面法线等),这类方法通常是现在点云中选取若干种子点(seed points),然后使用指定的标准从这些种子点出发对邻近点进行聚类。 参数方法,这类方法使用预先定义的模型去拟合点云,常见的方法包括随机样本一致性方法(Random Sample Consensus,RANSAC )和霍夫变换(Hough Transform,HT). 基于属性的方法,首先计算每个点的属性,然后对属性相关联的点进行聚类的方法; 基于图的方法 基于机器学习的方法 3、分类算法 在完成了点云的目标分割以后,分割出来的目标需要被正确的分类,在这个环节
  • 百度Apollo自动驾驶学习笔记
    Apollo学习笔记 作者:邹镇洪(清华大学车辆学院,个人主页 转到Github项目主页查看持续更新 转到Github项目主页查看持续更新 转到Github项目主页查看持续更新 本文是对百度Apollo自动驾驶的学习笔记。 最后更新:2021年4月6日 最后更新内容:Apollo进阶课程 ⑦ | 高精地图的采集与生产 目录 文章目录 Apollo学习笔记概览拓展阅读:无人驾驶行业及Apollo 的Overview拓展阅读:拓展阅读:Apollo 开发说明 高精地图定位感知**参考链接** 预测规划地图路径规划路径-速度解耦规划Lattice 规划 控制PID控制线性二次调节器模型预测控制(MPC) 整车系统架构硬件系统 标准功能安全**安全开发流程** 预期功能安全隐私 自动驾驶事故分析2018-Uber 公开课技术文档 概览 Apollo 技术框架由四个层面组成,参考车辆平台(线控车)、参考硬件平台、开源软件平台、云服务平台,其中主要模块包括高精度地图、定位、感知、预测、规划、控制等模块,而高精地图几乎支持着软件栈的所有其他模块,尤其是定位、感知、规划和决策。 无人驾驶车包括五个核心部件,计算机视觉、传感器融合、定位、路径规划、控制。 Apollo 开放式软件层分为三个子层,实时操作系统(RTOS)、运行时框架、应用程序模块层。Apollo RTOS是Ubuntu Linux
  • “老司机”成长之路:自动驾驶车辆调试实践
    随着自动驾驶技术的发展,一辆新车从被改装到上路需要经过的调试流程也有了许多提升。今天,我希望结合自己之前的调车经验来跟大家分享一下我们是如何将系统的各个模块逐步上车、调试、集成,进而将一辆“新手”车培养成“老司机”的。▌自动驾驶简介这是一段来自维基百科的关于自动驾驶的定义:自动驾驶汽车,又称无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,为一种运输动力的无人地面载具。作为自动化载具,自动驾驶汽车不需要人类操作即能感测其环境及导航。随着自动驾驶技术的发展,行业内涌现出了许多为了应对不同需求不同场景量身定制的自动驾驶汽车,这其中就包括中小型载人汽车,大型载人大巴以及大货车等等。那么怎么衡量一辆汽车的自动驾驶能力如何呢?有这样一张表:这张表是由 SAE(国际自动机工程师学会,是横跨航空航天、汽车、商用车工程行业领域的顶级标准制定者,起着监督确保产品及服务安全、质量及有效的角色。)提出的。SAE 自动驾驶分级标准第一版J3016于2014年1月发布,最新的一次修订版发布于2018年10月,标准中 SAE 将自动驾驶技术分为 L0-L5 共六个等级:L0 代表没有自动驾驶加入的传统人类驾驶,而 L1-L5 则随自动驾驶的技术配置进行了分级:分别为辅助驾驶、部分自动驾驶、条件自动驾驶、高度自动驾驶、完全自动驾驶。今天主要讲的是如何把一辆 L0 的汽车,通过我们的改装,让它具有 L4 和 L5
  • 人工智能与大数据时代-2020
    ​20200524 2020 新基建、新动能5G车路协同白皮书 2020 能源石化交易行业区块链应用白皮书 2020中国智慧文旅5G应用白皮书 自动驾驶仿真技术研究报告 中国独角兽企业发展白皮书 “新基建”专题研究报告 数字体验经济发展白皮书 中国联通 5G 通用模组白皮书 20200523 华为影业:如果世界没有路? 2020中国生活服务业数字化发展报告 B站2020年营销通案 毕马威:2020二季度中国经济观察 2020年Q1新势力TOP10-KOL报告 报告:营销从战术职能到增长引擎的进化 《中国工业互联网投融资报告》 普华永道:智慧城市中的数字孪生 20200522 2020年 人工智能领域九大投资热点报告 5G总体白皮书 2019移动互联网行业报告:精耕分众 价值探索-TalkingData 2020年到家经济发展研究报告-QuestMobile 代码安全的源头治理-系统开发标准化管理 | 安全+ 沙龙21期 阿里牵头全球首个安全多方计算国际标准 Gartner&奇安信联合白皮书: 《零信任架构及解决方案》 一图读懂《中华人民共和国密码法》 20200521 中国电信:智慧路灯大数据平台实施方案 V2X标准分析及测试方法探讨 新一代国家交通控制网及智慧公路的展望 适用于Autosar和自适应Autosat平台的虚拟化解决方案介绍
  • 打破工业桎梏,细数服贸会的机器人黑科技
    随着机器人智能化水平的不断提高,机器人正在不断从工业场景走入消费行业。近日,2020年中国国际服务贸易交易会(以下简称“服贸会“)在北京盛大开幕。 其中,服务机器人展区集中展示了机器人、人工智能、智能制造领域领先企业的最新技术成果,高工机器人将其分为机械臂类,主要分为智慧生活、智慧医疗;移动机器人类,主要分为配送机器人、巡检机器人。 智慧生活近年来,协作机器人的不断发展为机械臂进入消费领域提供了无限可能,它的显著特点是安全性更高,不用像负载重、速度快的传统工业机器人那样被“铁笼”束缚,可以和人亲密合作,共同完成任务,被普遍认为是新一代自动化的重要方向。▐ ABBABB此次展示的是其垃圾分拣系统,这是集机器人自动化、人工智能与云计算等软硬件技术为一体的解决方案,可实现云、边、端协同的完整闭环,通过深度学习分类算法以及ABB独有的PickMaster系统实现了对输送链的无缝精准跟踪,并由协作机器人YuMi完成分拣。 ABB为此开发了深度神经网络模型,集成了合作伙伴华为的AI芯片模组,并运用了华为云服务,实现整个垃圾识别和分拣过程的自动化和自主化。▐ 优必选优必选此次展示的是家庭服务机器人Walker,它包含了一系列人工智能和机器人核心技术。在浇花的过程中,Walker运用视觉伺服技术智能识别喷壶的位置、大小及形状,然后规划行动路径走到喷壶面前,用7个自由度的手臂调整姿势抓握喷壶
  • Apollo无人驾驶课程笔记 第七课-控制
    1. 控制简介 如何使用控制来运行轨迹呢?控制是驱使车辆前行的策略,对于汽车而言,最基本的控制输入为转向、加速、制动。 通常控制器使用一系列路径点来接收轨迹,控制器的任务是使用控制输入让车辆通过这些路径点。 首先控制器必须准确,意味着应避免偏离目标轨迹,这对于安全性来说也尤为重要,即使路面潮湿或者道路比较陡峭,控制器仍需要较为精确的执行轨迹: 其次控制策略对汽车具备可行性,例如,如果汽车正在向北行驶,而你希望汽车立即向东转,你可以在游戏中做到这一点,但在现实生活中却是不可能的任务: 最后考虑的是平稳度(平顺性),舒适的驾驶非常重要,如果车辆行驶得不规律,会降低舒适感,那么乘客下次很可能就不会再乘坐它了。要使控制顺利进行,驱动必须是连续的,这意味着应避免突然转向、加速或制动: 总之目标是使用可行的控制输入,最大限度地降低与目标轨迹的偏差,最大限度地提高乘客的舒适度。 可用于实现这些目标的三种控制策略比例积分微分控制(PID)、线性二次调节器(LQR)、模型预测控制( MPC)。 2. Sebastian 介绍控制 什么是控制?控制就是指对方向盘、制动踏板、油门踏板的精细控制。控制是一门让汽车在既定轨迹上平稳运行的学问,首先从PID控制开始,PID控制是一个非常合适的控制机制,在这里了解基础知识,其次要了解的是线性二次调节器控制,最后是模型预测控制。 3. 控制流程_a
  • 《美团机器学习实践》出版了
    千呼万唤始出来!由美团算法团队20余位一线工程师联手,耗时一年多时间,业界第一本全面讲述互联网公司机器学习实践的图书《美团机器学习实践》终于上市发售啦。目前这本书已经在各大书店热销,特别感谢大家对美团算法团队的支持和认可。这里要帮美团算法团队打个广告:美团点评算法团队是整个美团点评技术团队的“大脑”,涵盖搜索、推荐、广告、智能调度、自然语言处理、计算机视觉、机器人以及无人驾驶等多个技术领域。帮助美团点评数亿活跃用户改善了用户体验,也帮助餐饮、酒店、结婚、丽人、亲子等200多个品类的数百万商户提升了运营效率。目前,美团点评算法团队在人工智能领域进行积极的探索和研究,不断创新与实践,致力于应用最前沿的技术,给广告大消费者带来更好的生活服务体验。市面上很多机器学习的图书往往更加偏重理论,而这本书侧重于机器学习算法如何在真实业务场景的落地,而且所使用的都是美团公司内部的真实案例,适合有一定机器学习基础的工程技术人员,也适合在校学生和研究者了解机器学习的理论以及算法如何在美团这样的大型互联网公司落地。废话不多说了,我们直接看目录吧!技术专家推荐机器学习技术发展迅猛,不再是书本上陌生的概念,已经在方方面面影响着人们的生活。美团是全球领先的互联网+生活服务平台,技术正在这里帮助人们吃得更好、活得更好。本书全面、真实地向读者展示了机器学习在生活服务多种场景中的成功实践。——刘彭程
  • 智慧教育的管理模式
    无人机大时代已经来临,无人机教育几乎涵盖了学校教育中的所有理科知识,包括机械动力学、机械结构、航空动力学、软件编程和硬件开发等学科。格物斯坦表示:而无人机研发则需要产品经理、硬软件工程师、飞行平台设计师以及工业设计师等多类专业人士的参与。现在从事无人机行业的,很多是跨界人才。从小学到高校,还缺少专业的培养。 通过比赛可以提高孩子的表达能力,想让队友更好地了解你的意图,你就必须要有良好的语言表达能力。同时在彼此想法出现差错时,彼此的沟通又是很重要的,大家必须一起协商、或者综合两人的想法。这无论是现在或将来对孩子都很重要,学会与人沟通,团队合作。有趣的无人机创客教育课程,能轻松激发学生自主学习的动力,培养学生的创新精神和探索精神,从而实现教育质的提升。在此分享四大无人机课程设计心得,希望能给无人机创客教育的老师一点启发。 基于室内光学定位系统的室内多旋翼控制平台,可以快速实现多旋翼无人机的多项自主控制任务,譬如悬停、轨迹跟踪等,为控制类教学演示及二次开发实验提供核心设备支撑,同时还能帮助用户进行系统性教学研究,专业高效、便携易用,将大大促进控制类教学服务升级。能够提供无人机与基于模型设计的全套课程与全套提供无人机模型 建立、无人机控制算法设计、软件在环仿真、硬件在环仿真等全套无人机系统设计开发环境. 教学设计是为了达到预期的教学目标,运用系统观点和方法,遵循教学过程的基本规律
  • 自动驾驶思考:硬件篇
    本中所有图片仅用作交流学习我们接着上一篇的自动驾驶基础架构,再聊一下无人车的硬件。▌什么是硬件?请允许我拿西部世界[1]的片头来举例,我们造好人的骨骼,肌肉以及神经,最后再给他注入思想,他就变成了一个完整的人。硬件可以理解为人的骨骼,肌肉以及更复杂的器官。我们需要赋予硬件复杂多样的功能以及无与伦比的适应性。那么我们需要无人车具备哪些功能并且适应复杂多变的环境呢?▌颜值分享老师首先强调的第一点就是颜值,颜值即正义。曾经有段时间我的 ID 就是颜值即正义,特别是前2年韩剧流行时这句话特别火,直白点说就是长得好看的做啥都对,即使做错了,那也是你的错。我们先看下 waymo 的无人车。一开始我也很排斥无人车上面加装的钢骨架和传感器,也许是接触无人车久了,现在回过头来再看 waymo 无人车的颜值一点也不低,我甚至觉得非常酷。也许还有漫长的路要走,使人们能接受这种审美。同时我们也需要不断改善无人车的外观,人们不会为丑的东西买单,可以看到 waymo 无人车的外观也在不断改善。我们再回过头去看下初代的无人车,下图是 DARPA 挑战赛上夺冠的无人车 "Stanley",真是充满了前苏联式的暴力美学,酷似高达。但是有什么车不那么在乎颜值呢?就是卡车,因为不是自己所有,主要是考虑功能,谁也不会在乎厨师的颜值高低,只是在乎菜做的好不好吃。所以卡车可以相对任意的架设设备,而可以较少的考虑颜值
  • 自动驾驶背后的助力者:专访腾讯高精地图总监谷小丰
    什么是“高精地图”?“虽然大家都管它叫‘高精地图’,但实际上这种称呼并不严谨。”这是谷小丰对高精地图的评价。按照传统地图的命名规则,大部分地图都是以专题(或功能)来命名的,比如政区地图、旅游地图、地形图等等,而高精地图则是以精度来命名的,这也算是它的特点之一。不过问题也由此产生了,到底多高的精度算是“高精”?通常,测绘行业会用“相对精度”和“绝对精度”来对地图的精度进行描述,但自动驾驶的高精地图又该以什么标准来判断呢?虽然行业内有不少公司都声称自己的地图技术达到了“厘米级”,甚至“毫米级”,但谷小丰表示,无论是多高的精度,在应用和需求上都应该能证明。他说:“精度的实质是一个质量指标,达到就合格了,并不是精度越高越好,超过一定限度的精度可能对自动驾驶产品是无感的。更不用说在规模化生产的角度看可能是不现实的。”于是,谷小丰又进一步表示:“严格来讲,它应该算是‘自动驾驶地图’。”当然这个地图也同时可能被高等级的 ADAS 功能、V2X 等更广泛的业务中。对自动驾驶领域来说,高精地图是该领域走向落地的基础之一。高精度地图和定位是自动驾驶系统的核心技术,定位是自动驾驶的前提条件。高精地图作为先验信息,除了用于定位之外,还可以弥补传感器的不足,提供超视距的感知能力,为车辆决策控制提供依据。谷小丰介绍到,对于自动驾驶来说,高精地图的首个任务就是提供定位;其次是往哪开,车速应该控制在多少
  • 2020-2021「AI中国」机器之心人工智能年度奖项揭榜:大浪淘沙,数智突围
    自 2017 年设立以来,机器之心「Synced Machine Intelligence Awards」年度奖项评选活动自已连续举办至第四届,是目前国内人工智能界规模最大、评选最权威的年度奖项,已成为我国人工智能产业的风向标。在 21 世纪的时间轴上,2020 必将是载入史册的一年。在这风云变幻的这一年, AI 与各行各业深度融合,在实体世界中体现出巨大价值,为科技强国战略注入了更大的发展动能。本届「AI 中国」机器之心 2020 年度评选,为顺应产业变化,体现产业趋势,在传统的六大榜单之外,新增设「新基建领军企业」、「产业数智化领军企业」、「最强技术生态」及「智能国民应用」四大分榜,共计形成十大榜单 200 个奖项。经过市场环境的大浪淘沙,更多优秀的企业和项目成为了成就时代的智能势力,「智在实业 慧及平常」是机器之心对 2020 年我国人工智能产业发展的总结。与往届评选一样,今年的评选我们收到了数百家企业的踊跃申报。为保证奖项评选的公正性,机器之心研究团队基于「机器之心 Pro」上百万条机构、解决方案、智能应用、案例及事件数据,设计超过 40 个评估维度,近 200 个专业指标,并邀请科创领域顶级投资人、人工智能技术领袖、数字化转型与智能化升级专家担任评委参与评审。基于 35 位专家评委的意见,结合定量、定性数据分析及一手市场调研信息,评选出了 90 个企业榜奖项、90
  • 自动驾驶硬件研发的挑战与展望
    分享嘉宾:李林涛 Pony.ai编辑整理:Hoh Xil内容来源:Pony.ai自动驾驶沙龙出品平台:DataFun注:欢迎转载,转载请在留言区留言。导读:本次分享的主题为自动驾驶硬件研发的挑战与展望。主要内容包括:Pony.ai 硬件发展简介Pony.ai 硬件团队简介Pony Alpha2 系统介绍自动驾驶硬件研发挑战1. Pony.ai 硬件发展简介Pony.ai成立于16年12月,公司第一辆车是在2017年Q2,拿到了美国加州的自动驾驶测试牌照,开始正式测试。可以看到我们当时用的还是64线激光雷达。2018年Q1,拿到了北京测试牌照,可以看到我们的雷达已经换成了32c+多camera组合。2018年Q4,我们在上海WAIC世界人工智能大会上发布了公司第一个硬件release版本Pony Alpha,可以看到整车的集成度和外观都进行了非常有针对性的设计。2019年Q2,与丰田合作改装LEXUS RX450h。最后,是在2019年Q4发布的Pony Alpha2硬件系统,稍后将详细介绍。2. Pony.ai 硬件团队介绍Pony.ai在北京、硅谷、广州都有研发中心,并且有车队,所以相应的在三地都有硬件团队提供本地化支持。三地之间的硬件团队经常会做技术共享,由于硬件研发本身有一定的本地化属性,所以我们是通过项目来分工合作的,同时,我们每周三地的工程师会进行充分的技术交流。Pony
  • 初始无人驾驶—控制
    课程简介: 本次课程我们讲解常用的控制算法——PID控制器。我们的课程在本章节就算完成了,不过这只是入门级别的课程,如果想理解更多的课程,可以关注无人驾驶,让我们一些快乐的学习无人驾驶的知识吧。本次课程可能有些知识点比较困难,所以你需要多加思考和记忆,那就让我们开始吧。对了这次课程算法较多,大家一定不要中途放弃,最后一堂课了,要加油哦! 一、简介 控制是驱动车辆前行的策略。对于汽车而言,最基本的控制输入为转向、加速度和制动。通常,控制器使用一系列路径点来接收轨迹。控制器的任务是使用控制输入让车辆通过这些路径点的,所以他很重要。 首先,控制器必须准确,这意味着它应避免偏离目标轨迹。这对于安全来说,尤为重要。即使路面潮湿或者道路比较陡峭,控制器任需要准确地执行轨迹。 其次,控制策略对汽车应该具备可行性。例如,如果你的汽车向北行驶,而你希望它立即向东转。你可以在游戏中做到这一点,但在现实中无法实现。 最后,需要考虑的是平稳度。舒适的驾驶非常重要。如果车辆行驶得不规律,那乘客永远不会想再次乘坐它了。要使控制顺利进行,驱动必须是连续的。这意味着你应避免突然转向、加速或制动。 总之,我们的目标是使用可行的控制输入,最大限度地降低与目标轨迹的偏差、最大限度地提供乘客的舒适度。有三种可用于实现这些目标的控制策略:比例积分微分控制(或PID)、线性二次调节器(或LQR)、模型预测控制(或MPC)。
  • self_drive car_学习笔记--第9课:预测系统
    前言:这节课主要是介绍无人车里面的预测系统。水平有限,有些理解错误地方,还望大大们不吝赐教。觉得写得还行,麻烦赏个赞哈。好了,不废话,开始主题。 概要: 1 PNC OVERVIEW 2 PREDICTION TASK 3 VEHICLE PREDICT 4 PEDESTRIAN PREDICT 补充,PNC【planning and control】(预测系统是其组成之一)、感知是L4级别的两大重点模块 1 PNC OVERVIEW 1.1自动驾驶软件框架 Prediction属于planing的组成部分,其负责将感知传过来的信息,对这些信息进行加工处理,让感知对这些信息的变化产生更加敏感反应;对于理解障碍物的意图,是非常重要的。如果只是对静态物体进行规划,是很难达到一个可行的方案。 1.2 PNC 1)PNC:Planning and Control 2)Prediction->Routing->planning(decision、path、speed)->Control 【预测,选择,规划(决策,(横向)轨迹,(纵向)速度),控制】 3)淡绿色框是PNC所涵盖的内容 Canbus车辆底盘开发总线【控制与开发总线进行交互,从而实现无人驾驶】 4)平均跑多远需要一次人工接管(业界称为MPI=行驶总里程/人工干预次数) 【该指标可以一定程度上体现自动驾驶的能力大小,但不是绝对的。】
  • 【揭秘】美团外卖日单量破1600万背后的“超级大脑”之订单分配
    点击上方“蓝字”可以订阅哦编者按美团点评日前完成最新一轮融资,估值达到300亿美元。此轮融资后将会在人工智能、无人配送等前沿技术研发上加大投入。但我们并不是为技术而技术,事实上,人工智能技术已经在支撑着我们众多业务场景。以日订单量刚刚突破1600万的外卖业务为例,智能调度系统就是整个平台的“超级大脑”,发挥了至关重要的作用。我们将通过一系列的文章来为大家揭开这背后的技术秘密。今天是系列的第一篇,讲解外卖调度中关键难点之一——订单分配。序言最近两年,外卖的市场规模持续以超常速度发展。近期美团外卖订单量峰值达到1600万,是全球规模最大的外卖平台。目前各外卖平台正在优质供给、配送体验、软件体验等各维度展开全方位的竞争,其中,配送时效、准时率作为履约环节的重要指标,是外卖平台的核心竞争力之一。要提升用户的配送时效和准时率,最直接的方法是配备较多的配送员,扩大运力规模,然而这也意味着配送成本会很高。所以,外卖平台一方面要追求好的配送体验,另一方面又被配送的人力成本掣肘。怎么在配送体验和配送成本之间取得最佳的平衡,是即时配送平台生存的根基和关键所在。随着互联网时代的上半场结束,用户增长红利驱动的粗放式发展模式已经难以适应下半场的角逐。如何通过技术手段,让美团外卖平台超过40万的骑手高效工作,在用户满意度持续提升的同时,降低配送成本、提高骑手满意度、驱动配送系统的自动化和智能化
  • 自动驾驶轨迹预测算法:NeurIPS挑战赛冠军方案
    近日,美团无人车配送中心团队获得NeurIPS 2020 INTERPRET轨迹预测挑战赛Generalizability赛道冠军、Regular赛道亚军。本文主要是算法层面的介绍,希望能给从事相关工作的同学有所帮助或者启发。01 背景NeurIPS (Conference on Neural Information Processing Systems) 是机器学习和计算神经科学相关的学术会议,也是人工智能方向的顶级会议。INTERPRET轨迹预测挑战赛(INTERACTION-Dataset-based PREdicTion Challenge)隶属于NeurIPS 2020 Workshop: Competition Track Saturday。该竞赛由UC Berkeley MSC Lab主办,旨在建立一个公共数据集来评估自动驾驶领域各类轨迹预测算法的性能。02 赛题简介INTERPRET竞赛共包含两条赛道:Generalizability Track和Regular Track。Generalizability赛道中,测试集轨迹与训练集差异较大(采自不同的场景),且不带有高精地图;而Regular赛道中测试集轨迹分布与训练集相同(采自相同的场景),同时带有高精地图。数据集采自于美国、中国、德国等多个国家,包含并线/变道的高速与城市道路、带停车/让车标志的环形路
  • 搜索,推荐,广告系统架构及算法技术资料大合集吐血整理——2020年终分享
    算法学习资料: AI_Tutorial 架构、搜索、推荐、广告系统优质资源 你还在为学习算法摸不着头脑么?你还在为技术调研各种Google么?AI的牛b吹不上去?盯紧了,这里就是你的2020女朋友~。本项目会持续关注AI落地的一些优质技术资料。大家也可以去网站投稿。 算法学习资料: AI_Tutorial 记得Star哦~! 后端架构、AI架构、搜索系统、推荐系统、广告系统技术资料整理。这篇文章意图是收集市面上质量不错的后端架构、AI架构、搜索、 推荐、 广告引擎技术资料,内容来源包括开源项目官网(Lucene、Solr、Elastic)、综合技术网站(AIQ 、infoQ、Stackoverflow、github 等、国内外知名互联网公司技术博客(阿里中间件团队博客、美团技术博客等)、知名技术牛人公众号博客等。 以下整理的内容大致根据来源进行分类。@AIQ-人工智能 github地址:https://github.com/cbamls/full_stack_coder 个人视角有限,谢谢。 开源相关 Lucene Lucene 官网 Lucene 7.6.0源码 Lucene Wiki 索引结构 -Lucene6.6.0 Solr Solr 官网 Solr Wiki Elastic Elastic 官网 Elastic Blog Elastic Formus