如何建设中国特色城市NOA共商新举措

2022年11月8日至10日，由中国汽车工业协会主办的第十二届中国汽车论坛在上海嘉定举行作为党的二十大后汽车行业的首次盛会，本届论坛以凝心聚力，蓄势待发为主题，设置了一场闭门峰会+一场会议论坛+16场主题论坛以汽车产业高质量发展为主线，与行业精英一起落实新精神，研判新形势，共商新举措其中，轻舟智航联合创始人兼CTO侯聪在11月10日下午举行的主题论坛12:跨界融合，使能自动驾驶落地上发表了精彩演讲

以下为现场演讲实录:

很高兴今天有机会和很多汽车行业和自动驾驶行业的同行交流同时也很荣幸能和大家分享今天轻舟智航对行业的认识和最新进展

我今天演讲的题目是:如何建设中国特色城市NOA。

轻舟智航现在不止是一家L4自动驾驶公司，今年上半年发布了新的双引擎战略双引擎是指动力引擎和创新引擎其中动力引擎指的是我们的自动驾驶技术能力和R&D系统在这个引擎中，要不断巩固技术深度，支撑长远发展创新引擎基于自动驾驶能力进行商业化，不断拓宽场景宽度，反哺技术发展

其中最重要的应用是预装量产的高级辅助驾驶中国要实现终极无人驾驶，双擎的方式是通过渐进式的高级辅助驾驶来反哺自动驾驶的最务实的方式

今天我要分享的是创新引擎中前置量产的重点，也就是高级驾驶辅助城市NOA的应用，看看如何将城市NOA带入现实。

首先来分享一下我们的驾驶辅助产品知识我们认为产品在不同的阶段可以分为三个不同的阶段:能用，好用，爱用

可以用什么最基本的L2函数，可以在高速和高架平台上使用，可以实现我们想要的辅助函数的定义但与此同时，我们也会看到，往往会有一些场景需要接手比如公交车堵车的时候，不够安全有时候，当我们靠近手推车时，会让人感到不安我们需要接手吗只是处于工作状态

有什么好用的伴随着硬件的升级和方案的迭代，处理场景的能力会不断增强包括堵车，并线大车等长尾的场景都可以处理的很好，基本上可以在高速上实现点对点的驾驶辅助

毕竟人开高速的机会不多大多数时候，他们在城市里开车所以如果看下一步，你必须覆盖大部分驾驶场景，才能让用户喜欢一定要覆盖城市的场景当我们覆盖了90%以上的城市场景，让产品更有保障，更有保障，用户继续依赖，那就是爱的阶段

为了爱它，城市必须覆盖几乎所有的场景，无论是高架，还是城市中的路口和停车功能目标是在场景中实现城市NOA的驾驶能力

你为什么非常重视NOA城市的发展因为我们认为它是驾驶辅助中的天花板，是技术含量最高的功能canoe的使命是将无人驾驶带入现实，希望不断打磨城市的NOA功能，不断反哺L4技术，最终实现无人驾驶，所以也是无人驾驶的门槛

城市NOA功能的市场趋势是什么到2025年，中国智能驾驶市场渗透率65%以上，L2及以上功能渗透率40%以上右边可以看到，用户在购买车辆时，对辅助驾驶的关注度越来越高，尤其是高级辅助驾驶带来的疲劳环节，包括解放双手的功能，会对其购买车辆的意愿形成有力的参考

趋势非常明显在自然的时间节点上，我们认为独木舟已经具备了三个重要因素:天时，地利，人和

计时是大的行业趋势，做出来的产品会越来越被用户接受和欢迎。

地利就是与广大上下游合作伙伴实现深度合作，无论是软件，硬件还是OEM特别要提的一点是与地平线的深度合作双方达成深度生态和战略合作目前，canoe正在Journey 5平台上专注于城市中的NOA开发

人和来自轻舟多年积累的L4经验，人才和R&D体系。

有了这三个因素，轻舟非常有信心能在NOA干好。

现阶段，如何在城市中更快地做好NOA工作。可以看一下目前辅助驾驶的主要配置方案，大致可以分为三类:

1.低配，主要在5000人民币以内的成本单用途方案用于解决高速场景下的车道保持和自适应巡航，这个领域已经比较成熟

2.中型的，成本会高一点，到近万的成本，专注于多视高速解决NOA的功能。

3.增加至少一个激光雷达来解决城市中的NOA场景将花费更多。

我们认为，目前，在城市中实现NOA的最快方法是高调方案，这至少需要一个激光雷达。

为什么需要激光雷达众所周知，配套方案可以实现国外城市的良好功能但国内场景差异很大，无论是道路设计，交通拥堵，人车混行，施工，还是道路使用者的标准化，场景本身都比国外复杂很多

同时可以看到场景中的很多情况，对于纯视觉来说是很有挑战性的比如有的人可能扛着一根杆子，他们的视觉可以探测到人，但是杆子看不到还有未知的障碍物经常掉在地上，对视力也是很有挑战的其实这些场景用一个激光雷达就能很好的解决

测试过程中，路边突然放了一些建筑材料，这在开车时很少遇到如果使用纯视觉，会带来很大的风险，但是激光雷达可以轻松绕过障碍物

当然，要用发展的眼光看待自动驾驶技术的发展我们相信伴随着技术的不断迭代和大量数据的恢复，大量的长尾问题被恢复我相信纯视觉在未来的某个时刻可以更好的解决城市场景但目前由于用户对城市场景产品的需求特别迫切，而且是新事物，新产品，希望在用户使用时，以更安全的方式交付因此，建议使用带有激光雷达的方案来提供功能

通过大量的经验积累，也注意到最需要解决的传感方向主要在前方和前侧在车顶放置一个雷达的方案可以较好的解决这个问题，这也是性价比最高的方式当然，考虑到很多汽车厂商出于车型设计的考虑，可能会把雷达放在以下一些位置这种情况下至少需要2—3片，我们也可以改编这个方案

NOA城市计划刚刚公布了它的名字，叫做在风中划船接下来我想介绍一下技术的优势，从感知到规划到数据驱动

它被称为超融合方案，将多传感器的不同信息进行整合，实现互穿融合说到融合，大家对融合前，融合中，融合后都比较了解前者融合主要指数据层面，后者融合主要指特征层面，后者融合指目标层面不仅前中后全部放入系统，还加入了时序融合

以中文融合为例，他将来自激光雷达和相机的数据特征在BEV空间进行特征级融合，将影像特征映射到BEV框架，可以与点云特征自然融合坐标是全局坐标，可以实现时间序列的整合它不仅可以提高感知的整体性能，还可以实现对周围物体的方向和速度的预测输出

我很高兴地宣布，我们已经在量产方案中部署了国内首款超融合模型，已经在征途5的芯片上实现。

说到大模特，这几年大模特的趋势非常明显这里先介绍一下我们的大感知模型叫做OmniNet，意思是全能我们通过预融合从各种传感器的输入中提取特征，在BEV下进行特征匹配和融合，然后在BEV下输出检测，分割等多任务感知结果同时，2D检测，分割等结果将在图像空间中输出，一个模型可以实现所有任务的输出

OmniNet模型有三个优点:

更准确的感知

左边是BEV下的感知结果，右边是图像空间中的输出，如2D监测，分割和深度估计我们可以进一步结合2D检测结果形成3D重建结果，这对解决未知障碍物非常有帮助

同时，如果去掉激光雷达，纯视觉也能获得很好的BEV结果在左侧，只有6个摄像头可以达到良好的检测效果当然如果有雷达的话，在做的时候融合的效果会更好BEV确实能带来很大的优势，它能很自然的融合十字摄像头的特点，这样就能解决大型车辆单摄像头看不完全，会出现极端闲置的问题通过交叉摄像头的融合，可以更好的识别大型物体同时可以实现点云和图像融合，时间序列融合

车更合适。

过去传统的模型模式存在计算能力的浪费在将多个模型组合成一个模型后，多个任务将共享一个主干网络，这是主干特征提取的一部分，它将计算能力降低了不到60%，并且易于部署在计算能力有限的车辆上

同时，传感器的配置非常灵活无论是一个，两个还是三个激光雷达，甚至是纯视觉，都可以使用这个框架进行开发和部署

迭代效率更高。

大模型自然非常适合数据驱动我们已经开发了大量的自监督，半监督和弱监督框架从而充分挖掘数据中的价值，无需人工标注即可学习到数据中可学习的部分同时，数据合成也存在很多长尾问题

我刚才介绍的是感知在城市NOA情景下，决策和规划能力较高

引入一个亮点，在进行决策规划时，我们使用了时空联合规划算法有什么优势举个例子

左边是超车的场景传统上，时空分离用于规划优化首先在空间中搜索一条路径，然后在路径上找到速度搜索的结果这种拆分优化的解空间很小，很多时候找不到最优解往往需要大量的规则和hack来摆脱场景，扩展性差

独木舟采用时空联合规划的方法同时搜索空间和时间的结果，解的空间会大很多在复杂的动态场景中，往往能找到最优解，甚至在某些场景中，比人类的行为更好，更舒适，更安全

当然，好的决策规划离不开好的预测预测也是非常高级的模型，可以输出周围物体10s的预测轨迹，同时支持上百个物体的预测征途5做了很多适配优化，运行预测只需要20毫秒

在过去的两年里，这位模特参加了一些比赛，例如CVPR的Argoverse，这是世界上最顶级的比赛它去年拿了冠军，今年拿了亚军，证明了模特的能力

最后，分享一下关于数据驱动的优势和思考众所周知，城市场景很复杂，不是靠规则就能解决的必须是数据驱动才能让能力越来越强

作为一家L4公司，轻舟积累了数百万公里的测试数据，基于这些数据收集了大量的长尾数据同时，在此之后，我们将与汽车制造商达成深度合作，通过量产车的数据恢复来恢复更多的海量数据

但是数据恢复是一部分，需要一个好的工具链来利用好数据经过近四年的发展，canoe已经把数据供应链做得很完善了目标是挖掘出数据中的黄金，这需要一套完整的数据链通过数据链，伴随着数据的恢复，形成自动的数据闭环这样无论是做新模型还是新场景，都变成了自驱动的方式，大大降低了开发成本

比如数据挖掘就是从数据中淘金，有时候要处理长尾问题长尾之所以罕见，是因为需要从海量数据中找出来有的人打开车门就会从车里出来这个例子对于门的检测和人的行为的预测是有挑战性的发现是长期问题后，我们会通过挖掘工具从数据库中挖掘出相似的场景，然后发给模型进行训练，解决问题然后通过仿真工具验证，这个问题得到了很好的解决，形成了一个闭环

这里是城市中使用的单个激光雷达的功能演示，包括白天的架空和晚上的架空下，包括与大车的博弈，包括拥堵路段，包括停车场的场景。

最后，我很高兴地宣布，canoe将率先推出基于Horizon Journey 5的NOA城市解决方案。敬请期待！

先说价值主张，以数据为基础，成为感知，用强有力的决策规划，引领城市的NOA达到新的高度同时，携手生态伙伴，打造应用最广泛的自动驾驶解决方案

下面分享一下关于智能驾驶的世界观，提出一个新概念，叫做小四化大家都很熟悉新四化，电气化，智能化，共享化，网络化

首先是规范入职体验也就是说，最成熟的基础驾驶功能不断模块化，车企不需要花费额外的适配成本，就能快速上车，成为每辆车的标配

二是规范终端体验这是一个正在进行的阶段，包括NOA函数的标准定义不同的车辆，不同的车型在NOA的实现上会有差异，使得用户对车辆行为的预测不是很标准，不同车辆的驾驶体验也不是很一致，所以匹配体验要标准化

三是普及高端体验目前高端体验只部署在高端机型上伴随着硬件解决方案的迭代，成本降低伴随着技术方案的迭代，我们相信高端方案会越来越普及，组装率应该会越来越高，应该会下沉到终端机型甚至低端机型这也是一个大趋势

四是让极致体验有创新性相信未来L3和L4都会实现，L3会解锁新的场景和体验比如在一些特定的场景下，真的可以解放双手和眼睛，实现旅行的真正创新