2019年，狂人马斯克一句“Lidar is a fool’s errand”，直接让自动驾驶蹊径一分为二，特斯拉如独行侠一样平常，坚持探索起自己的纯视觉蹊径，其余绝大部门玩家则朝着激光雷达的偏向一起前行。尤其是在发现高精舆图可为自动驾驶提供超视距信息后，“激光雷达等多传感器融合 高精舆图”的手艺蹊径更是成为大部门企业的普遍选择，以追求兼顾成本和平安的*解。

凭证中金在《人工智能十年展望（三）：AI 视角下的自动驾驶行业全剖析》中的界说，视觉主导与激光雷达手艺路径之争，从手艺角度看，本质上是AI算法 硬件迫近人脑能力的速率，与激光雷达等可选硬件对数据量、算法填补水平及其降价速率之间的竞争。

早期，人人在各自蹊径上都有希望。不外，随着自动驾驶企业们从高速NOA（自动辅助导航驾驶）走向都会NOA，曾经被视为“香饽饽”的高精舆图最先日渐失宠，反而是特斯拉以摄像头与种种传感器作为硬件，背后重算法的蹊径逐步受到重视。

一些企业也早年两年和特斯拉的蹊径较量，纷纷转到了“重感知，轻舆图”的模式。与此同时，一种全新的感知范式——BEV Transformer，已经从特斯拉迅速扩延到更多自动驾驶企业的蓝图计划中。 

而随着ChatGPT的蓦地爆火，天生式AI大模子正在给自动驾驶领域带来一些新的变量和启示。

1、自动驾驶圈“去高精舆图化”

2021年年中，正在冲刺港股双重上市的小鹏汽车，斥资2.5亿元收购了一家进入歇业程序的舆图公司智途科技。这家公司2019年的营收只有738万元，能得“金主”小鹏看中的缘故原由在于，其拥有堪称“有数”的导航电子舆图制作*测绘资质。这是入局高精舆图的门槛所在，已往二三十年间，海内也不外30多家企业获得过这一资质。

高精舆图和激光雷达一直被喻为“自动驾驶的两根手杖”——前者卖力开路，提高计划能力；后者卖力避障，用来增强感知能力。为此，高精舆图一直被视作自动驾驶汽车基础设施的一部门，是“兵家必争之地”。

此前，小鹏虽与高德相助，可接纳后者提供的高精舆图，但舆图的更新要依赖高德的节奏。自己拥有一家高精舆图公司就纷歧样了。

这是那时绝大多数车企的配合想法。祥瑞旗下的亿咖通、上汽控股的中海庭都曾拿到*测绘资质，长城汽车、蔚来汽车、小米汽车等，也都试图追求过相关资质的收购。但“牌照” 这器械终归僧多肉少，因此也有大量自动驾驶企业通过与图商相助，将高精舆图装上了车，一如理想2021年与高德舆图的相助，又如蔚来2022年与腾讯在高精舆图领域的相助。

不管是通过哪种方式，高精舆图简直在高速公路、园区等相对封锁的场景中普遍应用起来。其效果也十分显著，绝大多数车企都实现了与特斯拉导航辅助驾驶类似的功效。例如小鹏用于高速公路的智能导航辅助驾驶NGP、蔚来的NOP、理想的NOA、长城的NOH，以及广汽埃安的NDA等。

佐思汽研公布的《2022年高精度舆图行业研究讲述》显示，2022年上半年，中国乘用车前装高精舆图装配量超10万辆，高精舆图已从选配走向标配，如理想L9、蔚来ET7、高合HiPhi等。

高精舆图在高速公路等封锁场景推进迅速，但当它来到都会，情形泛起了180度大转弯。从2022年下半年最先，随着对都会自动辅助驾驶的探索延续深入，自动驾驶圈去高精舆图化的动作愈发现显。

2022年4月，长城旗下毫末智行提出要做“重感知、轻舆图”的都会智能驾驶，最先降低方案中高精舆图的权重，甚至做到无需高精舆图；同年下半年，华为余承东示意：“自动驾驶未来不应太过依赖于高精舆图、车路协同。”只管华为自己正是具备*测绘资质的企业。

等到2023年上半年，“去高精舆图”运动加倍热闹。华为4月上市的问界M5和问界M5 EV，新增的高阶智能驾驶版本不依赖高精舆图，主要通过车端融合感知来举行环境识别。根据计划，至2023年三季度，问界 M5 智驾版 HUAWEI ADS 2.0 将在 15 城实现不依赖高精舆图落地，至四序度，这一数字还将进一步扩展至45城。

何小鹏在1月的小鹏汽车全员会上提出，小鹏2023年的X-NGP辅助驾驶要抛掉高精舆图。李想在内部亮相，理想汽车不依赖高精舆图的端到端训练都会NOA导航辅助驾驶，将会在2023年底最先落地。而元戎启行、智行者、地平线等多家自动驾驶公司也都顺势公布了不依赖高精舆图的自动驾驶方案和产物。

至于百度，虽没有完全放弃高精舆图，但也在实验削减对高精舆图的依赖，于近期推出了都会域领航辅助驾驶Apollo City Driving Max，搭载“轻量级高精舆图”，据称比起行业通用的传统高精舆图要“轻”近80%。“我们判断，完全不依赖高精舆图的蹊径可以走通，但走通的时间*不是今年或者明年。” 百度团体副总裁、智能汽车事业部总司理储瑞松示意。

高精舆图蹊径由热转冷背后，是高级别辅助驾驶从高速场景驶入都会后，晦气因素被进一步放大。

差异于通俗导航舆图，高精舆图是给机械看的，定位精度可到达厘米级，且蕴含信息厚实，除了会纪录蹊径形状、坡度、曲率、偏向等蹊径数据，还能提供车道线类型、车道宽度等车道级其余导航信息，以及诸如交通标志、高架物体、防护栏等车道周边的3D轮廓信息，从而更好地辅助车辆完成行进计划。但这恰恰也意味着高精度舆图自己更新周期漫长、成本高昂。

凭证《智能网联汽车高精舆图白皮书》，接纳传统测绘车方式，分米级舆图的测绘效率约为天天每车500公里蹊径，成本为每公里10元左右，而厘米级舆图的测绘效率约为天天每车100公里蹊径，成本可能达每公里千元，一天就是十万元级其余用度。

这放在之前，人人主攻的是中国城际高速公路和都会快速路，总的里程数加起来也就30万公里，尚且可以起劲一下，但天下的都会蹊径却有近1000万公里，再加上都会蹊径更新转变又快，升级刷新频仍，舆图的鲜度和成本，都是伟大挑战。

更况且，*测绘牌照还存在有用期，到期后需要复审，而国家对于舆图测绘资质的羁系却在收紧。2022年，也即小鹏曲线救国拿下“牌照”的第二年，智途科技没能通过*测绘资质复审，相当于“买了个寥寂”，也一定水平上拖累了小鹏汽车都会 NGP的落地节奏。

同样未能通过资质复审的，尚有上汽旗下的中海庭、东风投资的立得空间等。有数据统计，2019年相关部门将获得资质的图商队伍扩容到了31家，但到2022年，只有19家单元通过复审，近三分之一被镌汰。

即即是选择与图商相助，由于高精舆图审图异常慢，企业受到的掣肘也多，比云云前华为、小鹏的都会辅助驾驶之以是仅在广州、深圳和上海开放，缘故原由之一就在于只有这几个都会的舆图通过了审核。

不外，要想在不依赖高精舆图的情形下，实现都会自动辅助导航驾驶也并不是一件容易事儿。为此，不少自动驾驶企业最先向特斯拉“取经”，纷纷转向一种全新的感知范式——基于Transformer的BEV智驾大模子。

2、特斯拉的一次量子式跃升

2016年5月，一辆开启了自动驾驶模式行驶的Model S在美国佛罗里达州的高速上行驶，却在岔路口与一辆垂直偏向开来的白色厢式货车相撞，40岁的司机Joshua Brown就地殒命。这是全球首例被曝光的自动驾驶事故，瞬间就将“当红炸子鸡”特斯拉推优势口浪尖，也直接加速了它与自动驾驶方案提供商Mobileye的分道扬镳。

特斯拉很早就有甩开Mobileye的想法，究竟，Mobileye的芯片和自动驾驶软硬件解决方案是业内公认的“黑盒子”，对整车厂来说并不够友好。例如理想，就一度为领会决黑盒子问题而自行在Mobileye 的前视摄像头旁增设一个摄像头，专门采集蹊径信息，用于辅助驾驶系统的算法训练和优化。

马斯克不喜欢Mobileye，但人在屋檐下不得不低头。直到2015年，英伟达入场自动驾驶，特斯拉才有了Mobileye之外的另一个选择。更主要的是，短暂牵手英伟达的同时，特斯拉的自研之路也在紧锣密鼓地举行，感知数据、算法、芯片、盘算平台等都是它在结构的。

这时代，大量的人才被挖进特斯拉，这家公司的自动驾驶团队Autopilot，在巅峰时一度拥有300多名工程师（不包罗1000多名数据标注员），其中200人专攻软件，100人专攻硬件和芯片。团队的卖力人们是天下*手艺大牛，包罗前AMD首席架构师Jim Keller，前苹果芯片团队焦点成员Pete Bannon，编程语言 Swift 主要开发者 Chris Lattner、OpenAI首席科学家Andrej Karpathy……

源源不停的顶配人才和大量真金白银的投入，让特斯拉以远超偕行的速率迅速完成了从相助到全栈自研的转变。

*亮相的是硬件。2019年4月的自动驾驶日上，特斯拉公布第三代自动驾驶硬件平台HW 3.0，搭载的正是其自研芯片，总算力达 144TOPS，是英伟达Drive Xavier理论性能值21TOPS的7倍。HW 3.0每秒可处置2300帧图像，较搭载英伟达芯片的 HW 2.5提升21倍，单体成本也较HW 2.5降低20%。

但特斯拉的FSD （Full Self-Driving，完全自动驾驶）功效真正迎来洗手不干的转变要到两三年后。2021年7月10日，特斯拉正式向约2000名美国用户推送“完全自动驾驶”FSD Beta V9.0版本。该版本的焦点转变在于，其摒弃了毫米波雷达、超声波雷达等传感器，接纳纯视觉的自动驾驶方案，仅用8个摄像头来实现都会级其余完全自动驾驶能力。

而杀青这一效果的基础来自于特斯拉此前一场阵容浩荡的算法重写，尤其是感知算法的重写。

2020年8月，马斯克在推特上首次提及，特斯拉正在重写FSD的基础架构，并称这将是一次“quantum leap”（量子式跃升）。一同被宣布的，尚有其正在开发中的全新用于神经网络训练的超级盘算机 Dojo。

重写的缘故原由在于，马斯克以为Autopilot已往被困在一个局部*值（Local Maximum）里，原有软件架构下，其处置的数据都是不含有时间坐标的 2D 图像数据。但行车是在三维空间中举行的，甚至更好的自动驾驶效果还需要对被遮挡的部门做一定展望，而这给特斯拉的自动驾驶系统提出了新的要求——需要能够处置3D甚至4D的数据，实现从图像级处置到视频级处置的跃迁，并最终倒逼其对基础代码及训练深度神经网络的基础设施举行重构。

西安，复兴的起点？

不外，从2020年10月特斯拉宣布开启FSD Beta内测，到真正向外公测，仍然尚有一场手艺转变需要完成。

2021年8月召开的特斯拉AI DAY上，特斯拉AI高级总监Andrej Karpathy 向外展示了一项全新手艺——基于Transformer的BEV感知方案。这是大模子手艺首次被应用到自动驾驶行业，也是特斯拉实现纯视觉的要害所在。

在此之前，特斯拉是通过每个摄像头单独举行感知，再将差异摄像头感知到的效果举行融合。但这种方式存在不少问题，好比差异摄像头之间的信息融合难题，难以展望被大面积遮挡的物体，以及因深度估量的误差导致最终输出效果相互冲突等。

为此，特斯拉最先实验用神经网络将图像空间映射到 BEV 空间。BEV 的全称是 Bird's Eye View，也就是鸟瞰图的意思，是一种用于形貌感知到的现实天下的视角或坐标系，相当于在车辆正上方10-20米的位置有一个直升机俯视车辆及周围环境的视角，也即所谓的“天主视角”。

但若何将摄像头采集的2D图像提取特征后，准确投射到向量空间中去，拼接转化成BEV空间中的3D立体图景，最后天生汽车周围蹊径环境的鸟瞰图，依然是一个庞大问题。

Transformer的泛起解决了这一难题。2017年，Transformer作为一种新型神经网络结构被谷歌所提出，并迅速演化出谷歌的BERT模子和OpenAI的GPT模子两条蹊径，厥后大火的ChatGPT中的“T”，正是指Transformer大模子。

2020年谷歌又提出ViT（ Vision Transformer），其也最先普遍应用于盘算机视觉领域。特斯拉也是在这个时刻，将Transformer引入自动驾驶领域。而主导这项事情的正是2017年被马斯克从OpenAI挖到特斯拉，又在2022年7月再次去职，于今年上半年重新回到OpenAI的Andrej Karpathy。

Transformer的交织注重力机制可以将一个序列中的差异位置联系起来，盘算出序列的示意形式。这意味着它可以直接举行差异序列（指2D特征图和3D的BEV视图）之间的转换，对于BEV空间转换义务适配性较高。

而乐成转换后的BEV空间内，由于坐标系相同，来自摄像头的种种图像数据，以及激光雷达、毫米波雷达等的感知数据将可以很利便地举行融合，同时还能引入已往时间片断中的数据，举行时序融合，形成 4D 空间，让感知效果更准确和稳固。

简朴来说，基于Transformer的BEV感知手艺，可以将车道线等蹊径几何信息以及人、车等动态目的全都统一到一个坐标系下，便于车辆加倍准确地对蹊径情形举行判断。且由于BEV空间下的感知效果与决议计划所在坐标系也是统一的，因此感知与后续模块通过BEV变换也可以慎密联系到一起。

这一手艺路径可以通过实时感知，将差异视角的摄像头采集到的图片统一转换到天主视角，相当于车辆实时天生“活舆图”，补足了自动驾驶后续决议所需要的蹊径拓扑信息，可以实现去高精舆图化。

这一感知方案的提出，确立了特斯拉FSD在视觉感知领域的*职位，并在厥后被无数偕行学习跟进。

而这种能力还在2022年底的AI DAY上进一步获得了强化，特斯拉将BEV升级到了占用网络（occupancy network），进一步提升了泛化能力。这一手艺虽也是BEV手艺的延伸，但*的区别就在于系统的感知从2D变为了3D，让车辆自身置身于一个3D天下中，并在 10 毫秒内向车载盘算机输出车辆周围每个 3D 位置的占用概率，并能够展望被瞬时遮挡的障碍物。

这意味着，特斯拉可以无需再纠结物体详细是什么，而只思量体素是否被占用，就可以判断到底要不要逃避，有助于更好化解一些辅助驾驶中的Corner case（极端事宜）。

3、AI大模子卷进自动驾驶

无论是BEV Transformer，照样占用网络，从某种意义上说，着实都是特斯拉为了能彻底甩掉激光雷达，让其不至于因不装激光雷达而导致无法准确还原车辆行驶周围 3D 场景所作的起劲。

不外，这样的手艺现在也最先越来越多被原本走“激光雷达等多传感器融合 高精舆图”蹊径的玩家所接纳。据不完全统计，现在包罗“蔚小理”在内的车企，以及百度 Apollo、华为、大疆、毫末智行、轻舟智航、小马智行、元戎启行、地平线等自动驾驶企业都在使用BEV手艺。

一位行业内人士透露，到今天，BEV蹊径已经不是说有几家代表性企业了，而是人人都在做，“已经是必备的了”。

尤其是在去高精舆图化需求显著的当下，基于Transformer的BEV感知模子更是被以为是解决都会辅助导航驾驶对高精舆图过分依赖的要害手艺和底气所在。

安信证券就曾在《AI大模子在自动驾驶中的应用》中判断，基于BEV手艺的生长，“轻舆图，重感知”将成为行业生长的主流偏向。且从特斯拉感知算法迭代历程来看，未来AI大模子对都会领航辅助驾驶的赋能偏向将分为三个阶段：*阶段，BEV transformer，实现“脱高精度舆图”；第二阶段，升级到占用网络，实现“脱激光雷达”；第三阶段，从感知到决议控制端到端的自动驾驶模子，有望成为未来生长偏向。

事实上，海内自动驾驶公司已经宣布的“脱图”设计，险些都与特斯拉这套BEV Transformer的手艺框架相关。

据报道，小鹏汽车正是在2021年看到特斯拉引入Transformer的BEV效果之后，才真正决议去掉高精度舆图，并搭建了基于Transformer的BEV视觉感知系统XNet。而在最近，小鹏P7i已经推出基于XBEV系统的高速NGP2.0，小鹏汽车自动驾驶副总裁吴新宙示意，这是基于BEV和Transformer架构落地的一个静态网络，从而实时发生高精舆图的能力。根据小鹏官方说法，它已成为海内*量产 BEV 感知方案的玩家，这将让它下半年能在数十个无图都会上线XNGP功效，险些较此前接纳高精舆图时的“进城速率”提升近10倍。

理想也在最近公布了最新都会NOA导航辅助驾驶AD Max 3.0，示意将于第二季度开启推送，并于年底前完成100个都会的落地。而这套都会NOA背后，使用了三种神经网络大模子算法：静态BEV网络算法，动态BEV网络算法以及Occupancy网络算法。

今年头的一场相同会上，理想汽车CEO李想更是直言，到2024年，中高端车会泛起真正基于大模子和BEV手艺实现的都会导航辅助驾驶，届时将会泛起真正属于智能电动车的转变时代。他判断，使用Orin 盘算平台的这些企业，基本上都市在今年四序度交付最早用于测试的基于大模子的都会NOA。

无独占偶，百度 Apollo、蔚来、华为、商汤等一众厂商，甚至像地平线这样的芯片公司，也都在 BEV Transformer上有所结构。例如华为的ADS 1.0据称已实现基于 Transformer 的 BEV 架构，而最新公布的ADS 2.0 进一步升级了GOD 网络，类似于特斯拉的占用网络算法。

百度Apollo 团队也在已往一年里，将视觉感知升级成了BEV感知，可以端到端检测障碍物、展望障碍物轨迹，以及感知蹊径结构，并纪录下时间，形成一个带时间序列的4D空间。而商汤基于自己的视觉大模子研发的，用于自动驾驶的环视感知算法BEVFormer ，还曾在2022年Waymo 挑战赛中获得冠军。

尚有一家公司毫末智行，着实早在特斯拉将Transformer引入自动驾驶的两三个月后，就已经宣布正在行使Transformer举行超大规模的感知训练，而且后期有可能将其引入到计划和控制中。

当ChatGPT的同源手艺在自动驾驶领域悄然潜行了一两年后，以ChatGPT为代表的天生式AI大模子，再次给了自动驾驶领域伟大打击。4月5日，Meta公布*用于处置机械视觉领域的图像支解的基础大模子SAM，也一度在自动驾驶领域引起较大回响。

“我以为GPT是一个划时代的产物。”此前，在被问及ChatGPT这样的天生式大模子可能对行业带来的影响时，何小鹏称。

他说，已往自己着实一直不以为高端的L4或L5能真正到来。由于告诉车一个简朴的规则后，它在碰着种种特殊情形下，做不到像一个真正的司机一样。“但GPT再往前走三年，跟车的融合会完全纷歧样。有了GPT之后，高阶的L4或者准L5可能在2027年到2030年之间人人就会看到。”

据悉，小鹏汽车将在今年下半年，把GPT的能力带到小鹏G6上面去。现在年4月，百度公布新一代自动驾驶云产物——Apollo Cloud 2.0，基于大模子实现了自动驾驶数据智能的搜索引擎。

商汤则宣布，他们已经在智能驾驶领域构建了感知决议一体化的自动驾驶多模态大模子，将带来更强的环境、行为、念头解码能力。同时，其视觉大模子还可以解决数据标注和Corner Case等问题。

自动驾驶公司毫末智行更是在今年4月，公布了业内*自动驾驶天生式大模子毫末DriveGPT 雪湖·海若，通过引入驾驶数据确立RLHF（人类反馈强化学习）手艺，对自动驾驶认知决议模子举行延续优化，现阶段主要用于解决自动驾驶的认知决议问题，*目的是实现端到端自动驾驶。

行业人士示意，ChatGPT爆火后，天生式大模子已经成为自动驾驶领域里一个对照热的话题，人人都在讨论若何去应用它，好比用在决议计划层面，又或是用在仿真领域，来解决一些极端天气或交通场景等Corner Case的数据采集问题。

但不能否认的是，人人现在都还处于一个对照早期的探索阶段，应用在车辆的哪些方面也都照样偏向性的，"相当于一个小树苗，还没有最先效果“。尤其差异于ChatGPT的是，大模子应用于自动驾驶领域一旦失足可能就是性命攸关，但人人的期待是由于“有大模子，未来自动驾驶可以像老司机那样丝滑”。

自动驾驶领域的从业者们期望大模子实现的更大意义在于，未来的自动驾驶能够成为一个端到端的模子，展望、计划、决议都在这个模子里。