智能驾驶的车祸,是偶发意外,还是系统无可避免的问题?

500

智能驾驶大跃进,很大一部分风险,需要让消费者来承担,让车企能做出更好的系统。

一个多月前,我差点遇到车祸。

我开车不算久。以前总觉得地铁和打车要方便得多,不用保养,不用费神停车,以我的生活习惯,也几乎不会去不能打车的地方。

直到两年前因为孩子要出生,才抓紧时间,学车,买车,买车时候两个考虑,一个是空间要大,再就是最好有智能驾驶,新手上路,需要拐棍。

不知不觉,也开了一万五千公里,拐棍很少用,不过有时候路况良好,自己又想稍微伸展下的时候,就会习惯拨两下操作杆,交给智能驾驶,自己歇口气。

结果这次差点出事。

出事时候我在高速路上,载着一家人从上海回青岛。工作日车流不大,高速路也不用做什么复杂决策,笔直往前开就行,所以时不时,我会拨两下操作杆,开启 NGP——这是小鹏汽车辅助驾驶的名字。

忽然,车开始变道了。

没有任何预警。没有提示音,没有仪表盘的闪烁,甚至没有任何前置的犹豫。方向盘以一种我从未体验过的、决绝的姿态,向右打了一下,车辆随之向右侧车道并去,动作流畅,行云流水。

我第一反应甚至没想着去阻止,因为它变道的姿态如此自信,我已经怀疑自己时不时开错了路,而伟大的人工智能正在纠正人类的愚蠢。

等我反应过来,它已经变到了最右侧岔路,向着匝道冲过去,没有减速,也没有迟疑,一百二十公里每小时,撞向了路旁的护栏,几乎同时,小鹏退出了 NGP,提示我来接管。

500

行车记录仪截图

《中国汽车报》曾援引美国国家公路安全管理局和德国全德汽车俱乐部发布的报告称,72% 的自动驾驶事故发生在系统提示后 2 秒内,而驾驶员平均需要 2.3 秒才能完成有效接管。在高速公路场景,这个数值会延长至 2.6 秒。

只能说,很感谢我是在最左侧车道,让自己有了足够的反应时间。而如今能写下这个经历,自然是我及时接管,踩刹车,调整方向,最终结果一切都好,只是多绕了几公里的路。

但很自然,我有三个问题:怎么回事?谁要负责?有没有赔偿?

我联系了小鹏客服,详细描述了我的经历,并上传了行车记录仪视频和车辆数据之后,以为自己会得到一个同样严肃和深入的对待。

回复很简单。

关于原因:初步判断由于导航路线模型轨迹规划异常导致。

关于后续:已经记录反馈产品部门,并将在后续的版本功能迭代过程中进一步优化。

其他建议:多注意观察路况及车辆行驶状态,在必要时接管车辆,安全通行。

至于补偿:当前公司未有相关流程,但客服可以给我一个小礼物。

最后,「非常抱歉给您带来了不好的用车体验,也感谢您的支持和理解」。

很难支持,也很不理解。

「导航路线模型轨迹规划异常」应该是系统失灵的结果,而不是原因,我想知道,究竟真正的原因是什么。

而且,倘若是车辆质量问题,那么自然应该车企承担责任。现在客服承认智能驾驶有问题,最终只是说「幸亏我及时接管」,而没有任何担责流程,这也没法理解。

而且,这也不是孤例。我搜索到了七八月份以来,几起类似的案例,都是在毫无必要的情况下,智能驾驶系统开始变道。多数事件里,车主平安无事,也有一些事故把车撞坏了——无一例外,小鹏都没有给任何补偿。

我想知道答案是什么,我想知道我还能不能信任这辆车,能不能信任自动驾驶。

500

我是个外行,问了 AI,查阅了一些论文和技术文档,也找在车企工作的朋友交流,试图自己找到原因。

我们可以简单地把智能驾驶简化为三个核心层级:输入层、决策层、执行层。

小鹏在变道时候,果断,流畅,非常明确将匝道作为自己的目标,所以不应该是执行层的问题,也不太可能是地图精度的问题,问题应该发生在决策层面。

车辆的辅助驾驶系统之上,还有一个更高层级的「导航大脑」。这个大脑给出的不是「保持车道居中」这种微观指令,而是「沿 G2 高速继续行驶 50 公里后,在 A 出口下」这种宏观任务。而小鹏当时的行为,极像是在执行一个错误的宏观任务。

这个错误怎么发生的?联系到客服所说的导航规划问题,我大致有一个推测。

可以想象,导航系统下发给辅助驾驶模块的是一个个数据包,里面包含了路径规划的关键节点(Waypoints)。在一种极端情况下,你车辆的系统可能接收到了一个被污染或错误的数据包,这个数据包里的「当前目标节点」被错误地设定在了那个匝道上。

简单来说,就像是我的 GPS 导航突然发疯,把目的地改成了路边的某个点。对于辅助驾驶系统来说,它的任务就是以最高效率执行指令,于是它计算出了一条从最左到最右的最快路径,并行云流水加以执行。

直到小鹏实际冲入匝道,开始接收匝道上的地图和定位信息时,它的「导航大脑」才猛然发现:当前位置与最终目标(比如几十公里外的某个城市)的全局路径完全对不上了。

这个巨大的逻辑矛盾,最终触发了系统的降级保护机制,从 NGP 降级到功能更简单的 LCC,并将控制权交还。

不过,这些推测终究只能是推测,因为即便小鹏的工程师,也很难完全定位问题的原因,因为现在的小鹏智能驾驶,已经开始使用「端到端模型」,这个模型更先进,但却是更难解释的黑箱。

如果说先前的智驾系统是让汽车去背一本厚厚的驾驶规则手册,那么端到端智能驾驶则是像教一个新手一样去教系统自己开车。

500

在端到端出现之前,智能驾驶系统依靠规则来驱动。首先,车辆通过高精地图,像一个带着精确导航地图的人,提前知晓道路的每一个细节,比如车道线的位置、红绿灯的精确坐标、甚至是路沿的高度。然后,工程师们会为车辆编写大量的驾驶规则,就像一个详尽的「如果……就……」(if-then)指令集。

这个方案在早期看起来非常可靠,因为它确定性强,车辆的每一个动作似乎都有据可寻。尤其在高速公路上,路况简单且标准,也没有行人和非机动车穿插。

不过,城市是动态变化的,今天修路,明天可能就会出现一个新的隔离桩。高精地图的制作成本高昂,更新却总是滞后于现实的变化。

规则的「穷举」也是一个不可能完成的任务,工程师永远无法预设所有可能的极端场景(corner case)。一个骑着电动车横穿马路的外卖员,一个突然从路边窜出的小球,这些场景都很难用简单的「if-then」规则来覆盖。

工程师们陷入了无尽的打补丁工作,每出现一个新的问题,就增加一条新的规则。这导致代码变得臃肿、复杂,规则之间甚至会产生冲突,最终使得系统难以维护,更难以泛化到新的城市和路况。

端到端的核心是「数据驱动」(Data-driven)。它不再依赖工程师编写规则,而是通过深度神经网络,去学习和模仿海量的人类优秀司机的驾驶数据。系统通过观看数百万个驾驶视频片段,自己领悟在何种场景下应该做出何种反应,最终实现从看到路况到直接操控车辆的能力。

由于是从真实世界的海量数据中学习,而非依赖有限的规则,它面对未知场景时能做出更合理、更拟人的决策,从而大幅提升了智能驾驶的能力上限,具备更好、更快的纠错能力。

而且,因为端到端摆脱了对高清地图的依赖,而是能实时处理周围信息,也让智能驾驶能够更快覆盖更多城市,而无需派出专业的采集车队,一米一米地扫描城市道路。

在高精地图阶段,小鹏成了智驾开城最多的车企,但正如何小鹏所说,先前的规则写得越好,公司包袱越重,转身越难。尽管何小鹏说,自己在 2023 年一季度就意识到需要调整技术路线,但在 2024 年,车企纷纷开始部署「端到端」的解决方案,小鹏反而落后一步。

他们需要快速跟上。

500

2024 年 5 月,小鹏发布 AI 天玑系统,意味着全面投入端到端技术;7 月底,小鹏宣布 AI 天玑系统 XOS 5.2.0 版本向全球推送,坚持「每 2 天一次版本迭代,每 2 周一次体验升级」。

不过,在人工智能领域,「快速迭代」带来的不一定是更好用的系统。

端到端神经网络模型有一个固有缺陷:「灾难性遗忘」(Catastrophic Forgetting),也就是说,这一模型在学习新东西时候,有可能忘掉先前学会的知识。

举个例子,比如我们发现,端到端模型在处理复杂的无保护左转场景时表现不佳,我们就会集中「喂」给它大量这类场景的数据进行专项训练,以求「补齐短板」。然而,神经网络在学习新知识时,调整内部参数的方式可能会覆盖或干扰它已经学到的旧知识。

马斯克此前就公开解释过 FSD V12.4.2 版本推迟的原因:正是因为给模型投喂了大量需要接管的复杂场景数据进行训练后,发现在简单场景下的驾驶平顺性反而倒退了。这就是一次典型的「灾难性遗忘」。

快速的迭代,意味着更频繁地用新数据去「冲击」现有模型,这无疑也增加了「灾难性遗忘」发生的概率。

而且,快速迭代也给验证和测试带来了巨大压力。传统的模块化系统,虽然笨重,但它的好处是可解释性强,便于独立测试。如果车辆变道有问题,工程师可以大概率定位到是规划模块的规则出了问题。

但端到端模型是一个黑箱。当车辆做出一个奇怪的决策时,工程师很难像过去一样精准定位到是哪一行「代码」或哪一条「规则」出了问题,因为决策是由数亿乃至数十亿个参数共同作用的结果。

这就意味着,每一次 OTA 更新前,车企都需要进行海量的仿真测试和道路测试,以确保新版本没有引入新的、未知的缺陷。迭代速度越快,留给测试和验证的时间就越短,这无疑会增加漏掉某些 corner case 的风险。

而且,快速迭代未必能让用户用得更舒服。

用户可能会发现,上一个版本中已经习惯的、平顺的驾驶风格,在某次「升级」后突然变得激进或保守。这种驾驶策略的不连贯、不统一,会严重影响用户的信任感。用户需要不断地重新适应车辆的「脾气」,这与智能驾驶追求舒适、可靠的初衷是相悖的。

500

但企业没有办法不去快速迭代。

端到端模型,将智驾行业带到了强者愈强的循环:

在这个循环中,任何暂时的落后都可能是致命的。一旦竞争对手通过快速迭代,率先实现了体验上的决定性突破,就会迅速侵蚀市场份额,截断后来者最宝贵的数据来源。

对于小鹏而言,它曾经的领先优势正在被理想、华为等对手迅速追平。如果它现在放慢迭代速度去追求所谓的「完美」,那么市场和数据都不会给它留下从容追赶的时间。

而且,如前所说,端到端模型的核心是「数据驱动」,而非「规则驱动」。这个「大脑」不是像真空中的球形鸡一样被设计出来的,而是在真实世界的道路上「喂」出来的。它的每一次进化,都依赖于从用户车辆上收集到的海量真实数据,尤其是那些系统处理不好的 corner case。

放慢迭代,就意味着放慢了学习和纠错的速度。和新手司机一样,一个 AI 司机,只有不断地去路上犯错(在安全可控的范围内)、不断地从错误中学习,才能最终成长为「老司机」。

在传统汽车行业,一款车几年才换代一次;但在智能汽车时代,算法可能几周甚至几天就要更新一次,因为模型「嗷嗷待哺」,等待着新的数据来解决旧的问题。

在线闭环测试难以获取长尾和异常驾驶场景的数据。因此,唯一的办法就是将「尚不完美」的系统推向市场,让千千万万的用户车辆在行驶中去遭遇问题、收集数据,然后回传给云端,用于下一轮的模型训练。这个「影子模式」 的背后,就是让用户在无形中参与了系统的测试与迭代。

而且,端到端模型存在「灾难性遗忘」和不可解释性。这意味着,即使工程师在发布前进行了严格的测试,也无法 100% 保证系统不会在某个用户、某条从未跑过的道路上,做出一个匪夷所思的危险决策,比如迅速变道,一头扎向匝道。

最终,智能驾驶大跃进,很大一部分风险,需要让消费者来承担,以让车企能做出更好的系统。用户每一次开启智驾,每一次选择信任这套系统,都是在用自己的安全为这项技术的成熟和进化投票。

技术的迭代速度以月甚至周为单位,而法律、法规、保险和社会共识的演进速度,则以年为单位。这种「剪刀差」,导致了权责的模糊地带。

车企也不能去承担责任,正如同客服给我的回应里,说他们「没有相关流程」。

因为一旦主动承认某一次事故的责任主体是「系统」而非「驾驶员」,就等于亲手打开了一个后果不堪设想的「潘多拉魔盒」。

目前全球的法律框架,都将 L2、L2 + 级别的智能驾驶定义为「辅助驾驶」,而非「自动驾驶」。这个「辅助」的定位,是车企至关重要的法律防火墙。它明确了无论系统能力多强,驾驶的最终监控和控制责任仍在人类驾驶员身上。车企在所有用户协议和宣传材料中,也都会反复强调这一点。

500

如果一家车企主动为某次事故承担了系统责任,就等于在事实上承认了,在某些时刻,车辆的控制权已经从「人」转移到了「系统」。这一行为会被无限放大,成为所有类似事故中,用户要求车企承担责任的法律先例。这会从根本上动摇整个「辅助驾驶」的法律根基,引发监管机构的重新审视,甚至可能导致产品被勒令下线整改。

而且,主动承担责任,可能带来保险体系的崩溃。

现有的汽车保险体系是围绕人类驾驶员的风险来设计的。保费的高低,取决于司机的年龄、驾龄、过往事故记录等个人因素。但在智能驾驶时代,一部分风险从不可预测的「人」转移到了软件和算法上。

传统的保险产品,如何为「算法」定价?当事故是由软件缺陷引发时,保险公司在赔付给受害者后,是否有清晰的法律路径向车企进行追偿?这些都是现有保险体系面临的巨大挑战。

如果保险公司将智驾的 Bug 定性为车辆固有的缺陷,那么他们会立即重新评估该品牌所有车辆的风险等级。保费可能会飙升到普通消费者无法承受的水平,或者保险公司干脆拒绝为该车型的智能驾驶功能提供保险。

而且,如果每一次由系统缺陷导致的事故,都需要车企承担全部责任,那么企业必然会因噎废食。为了规避风险,它们会极大地放慢 OTA 的迭代速度,甚至不敢推出任何未经百分之百验证的功能。

于是我们看到了一个微妙的平衡,车企在技术上高歌猛进,宣传上极力渲染系统的强大与智能,以吸引用户、获取数据;但在责任界定上,又必须坚守「辅助驾驶」的底线,将法律责任主体锚定在驾驶员身上。

于是我的那次差点发生的车祸,最终只能是不了了之,没有人会承担责任,毕竟,就如同客服所说,「幸亏我及时接管」。

500

回到开始的问题,我还能相信这辆车吗?

似乎也没有别的选择。

这辆车不便宜,我没办法不考虑经济因素,马上换车;即便换车,其他车企也未必没有这样的问题,毕竟这是算法的固有缺陷,而法律和制度的落后,也并不止针对小鹏一家。

我只能与这辆车达成一个脆弱共识,就好像所有依然还在使用智驾的用户一样:我去承担一些风险,来换取了体验前沿技术的机会和便利,让我能连续驾驶两个小时后呼吸放松一下;车企则在我的「陪练」下,用最快的速度推动技术的成熟,让它明天在所有类似的路口都表现得更好。

这个共识能维持多久,取决于技术进步的速度,也取决于下一个轰动性事故何时到来。

站务

全部专栏