纯视觉感知技术是实现自动驾驶的必经之路，但存在光照、天气等环境因素的影响，易受到干扰。

　　2.为此，研究者探讨了深度估计、深度学习等关键技术，以及栅格感知网络等解决方案以提升系统安全性和可靠性。

　　3.通过栅格感知网络、融合地图先验信息的车道线感知网络及视觉众包建图方法，提高了纯视觉感知系统在复杂环境下的表现和安全性。

　　4.随着人工智能和传感器硬件技术的快速迭代和逐渐成熟，自动驾驶技术正在加速落地应用。

　　欢迎关注下方公众号阿宝1990，本公众号专注于自动驾驶和智能座舱，每天给你一篇汽车干货，我们始于车，但不止于车。

　　摘 要：纯视觉感知技术是实现自动驾驶的必经之路，本文分析了纯视觉感知自动驾驶技术存在的安全问题。纯视觉感知系统仅靠摄像头获取环境信息，但缺乏冗余性和深度信息，易受到光照、天气等环境因素的影响。本文探讨了深度估计、深度学习等关键技术，以及栅格感知网络等解决方案以提升系统安全性和可靠性。通过栅格感知网络、融合地图先验信息的车道线感知网络及视觉众包建图方法，提高了纯视觉感知系统在复杂环境下的表现和安全性。

　　随着人工智能和传感器硬件技术的快速迭代和逐渐成熟，自动驾驶技术正在加速落地应用，给人们的出行方式带来了巨变。自动驾驶技术大幅缓解了道路交通拥堵情况，为人类出行提供了空前的舒适性和便利性[1]。

　　目前，自动驾驶技术已经进入了高速发展阶段，全球各国和地区纷纷出台政策，支持自动驾驶技术的研发和应用。以美国为例，Waymo、特斯拉等公司在不断进行道路测试和技术创新。与此同时，中国也在积极推动自动驾驶技术的发展，华为和极越、小鹏等企业已经在自动驾驶技术方面取得了显著技术突破。自动驾驶技术按照自动化程度可以分为五个级别，从完全手动驾驶（L1）到完全自动驾驶（L5），中商产业研究院发布的《2017-2027 全球及中国自动驾驶行业深度研究》一文显示，我国量产乘用车自动驾驶等级正在由 L2 向 L3+过渡[2]。预计在未来几年内，随着技术的不断成熟和法规的完善，L4和L5 级别的自动驾驶汽车将逐渐走向市场。

　　目前自动驾驶技术分为两条发展路径，分别是纯视觉感知和多传感器融合感知。与多传感器融合感知系统相比，纯视觉感知系统凭借其应用成本低、系统集成简便等优势，显现出独特的市场潜力，近年来被业界受到广泛关注和研究。然而与之带来的安全问题却引起了业界的高度重视，如何解决纯视觉感知系统的安全问题成为自动驾驶领域发展的重要议题。

　　在自动驾驶的感知技术路线上，行业内目前存在两种主流技术路线的争论，例如小马智行和waymo 等国内外公司选择多传感器融合的路线。而因激光雷达高昂的成本，极越汽车和特斯拉等公司选择了纯视觉路线，硬件上仅使用摄像头来实现车辆的环境感知。

　　多传感器融合感知方案是指将摄像头与激光雷达与毫米波雷达、4D 毫米波雷达等相融合，通过结合多种类型的数据，为自动驾驶提供了更为全面和稳定的支持。当然要实现传感器融合，也是有前提条件的。在硬件层面，传感器的数量必须足够多，并且需要配备多种不同类型的传感器，以确保信息获取的充分性和冗余度。在软件层面，算法需要经过充分优化，确保数据处理速度足够快，同时具备良好的容错性，才能保证最终决策的快速性和准确性[3]。尽管多传感器融合方案在短时间内解决了感知距离和物体形状等问题，但其系统相对复杂，摄像头和雷达独立进行感知数据的采集，并在决策过程中进行取舍和判断。如果规则设置或系统架构不合理，仍有可能导致较为危险的情况发生[4]。此外，诸如激光雷达和4D 毫米波雷达这类成本高昂的传感器也不利于自动驾驶技术在低端亲民车型上的下放和普及。

　　纯视觉感知系统是一种以摄像头为主要传感器的技术，通过应用计算机视觉技术和深度学习算法，处理所获取的图像数据，从而实现环境的感知、物体的识别及车辆决策功能。它不依赖于其他类型的传感器，而是完全依靠摄像头获取的视觉数据进行分析和判断，优势在于成本相对较低、硬件配置简单且信息量丰富。因纯视觉感知系统在成本控制和系统集成方面具备较大优势，近年来被国内外科技公司广泛认可和关注，大量公司纷纷转向了纯视觉感知系统这一路线 纯视觉感知系统关键技术

　　深度是指场景中物体表面到摄像头的距离，深度估计则是指通过计算机视觉算法推测出场景中各个物体的距离信息。常用的深度估计方法主要包括基于单目图像的方法、基于结构光的方法以及基于双目图像的方法。单目图像深度估计是一种常用的方法，通过学习从单目图像到深度图像的映射关系来进行深度估计。而基于结构光的方法是利用投射特定光源模式下物体表面的形变信息来推断深度。此外，基于双目视觉图像的方法利用双目图像之间的视差信息来推断物体的深度，通过将左右两幅图像进行匹配，找出对应的像素点，然后通过视差计算公式计算出深度值。通过对前方道路场景进行深度估计，自动驾驶系统可以更好地理解周围环境，从而做出更准确的决策和规划，尤其是在复杂环境下，有效估计物体与摄像头之间的距离可以确保行车安全

　　视觉感知处于成像平面，也就是对于人眼就是视网膜平面，对于相机就是相机光心坐标系。而这与常用的车辆决策规划所使用的自车坐标系之间转化关系十分复杂，导致视觉感知结果很难直接转化为车辆决策，尤其在高速公路等高风险环境中，延迟和误差可能导致灾难性后果。为了实现感知与车辆决策的高效同步，确保感知信息能够高效地指导车辆决策，使用深度学习、模型预测控制（MPC）等方法，能够提高从感知到控制的转化精度。深度学习是指通过训练多层网络结构对未知数据进行分类或回归，在此过程中通过学习样本数据的内在规律和表示层次，并获得对于解读图像和声音等数据的有用信息，最终机器可以实现像人类一样的分析和学习能力

　　。模型预测控制算法（MPC）是通过建立一个系统的动态模型，并在每一个控制时刻使用这个模型来预测系统未来的行为，基于这些预测，它可以生成一个优化控制序列，然后通过执行第一个控制动作来调整系统状态，接着在下一个时刻重新计算和执行，这个过程反复进行，以使系统能够在未来的一段时间内优化一个特定的性能指标。2.3 提升实时感知能力技术

　　实时感知能力是确保自动驾驶系统安全运行的基础，由于自动驾驶系统需要在动态的环境中作出决策，感知系统必须能够实时处理并分析大量的图像数据。这对硬件和软件的性能提出了较高要求，特别是在纯视觉感知系统中，图像处理的实时性直接影响到系统的反应速度和准确性。为了提升实时感知能力，轻量级卷积神经网络因其低计算开销和高效率，成为自动驾驶系统中常用的选择。同时，通过GPU、TPU 等硬件加速器的应用，大大提高了深度学习模型的推理速度，使得纯视觉系统在动态环境中的反应更加迅速。

　　从技术进步的角度来看，纯视觉感知的核心技术主要基于深度学习和计算机视觉等先进算法。这些技术的提升使得自动驾驶系统能够在多种复杂驾驶环境中，实现对周围交通状况的实时识别与分析。2023 年，百度无人驾驶路测里程超过5000 万公里，这一里程的积累不仅为数据模型的训练提供了丰富的样本，还表明了技术在稳定性和可靠性方面的不断完善。

　　在应用实例方面，目前多家头部车企已在特定场景中应用了基于纯视觉感知的自动驾驶系统。以2020 年为例，如表1 所示，在晴朗天气下，纯视觉感知系统能在能见度达到500 米的条件下，进行有效的环境感知与决策。

　　然而，纯视觉感知在实际应用中同样面临着诸多挑战。根据调研数据，随着环境条件的变化，系统的识别能力受到显著影响。如图1 所示，在2021 年的雾天条件下，能见度仅为100 米，系统可能无法有效地感知来自周围的交通信息。到了2023 年，在夜间或光照条件不佳的情况下，能见度被限制在200米，而2024 年在低能见度条件下，系统的探测范围甚至下降至30 米。这些数据不仅反映了技术应用的边界，也揭示了纯视觉感知系统在视觉受限环境中的技术短板。

　　从趋势变化的角度来看，随着传感器技术和图像处理能力的提升，未来纯视觉自动驾驶系统在能见度模糊或极端天气条件下的表现将显著改善。此外，提升纯视觉感知系统的性能不仅关乎技术的突破，更直接影响到消费者对自动驾驶产品的信任度和行业的市场需求。通过不断收集和分析可靠的数据，企业可不断优化其产品设计，增强系统在各类环境下的安全性与适应能力，这将直接关系到行业的可持续发展。总的来说，纯视觉感知的现状及未来发展不仅是在技术层面，更是在实际应用中对安全性需求的响应。

　　纯视觉感知系统安全的探讨，首先需要明确“安全”这一概念及其量化标准。自动驾驶系统安全包括了产品硬件安全、软件安全、数据安全以及运行安全，其中运行安全是自动驾驶安全的重大难题。自动驾驶系统运行安全的含义包括运行风险管控与运行安全保障，核心是运行风险管控；运行风险管控关注与环境交互、交通参与者交互过程中的风险管控；运行风险管控的3 个关键技术分别是：ODD 边界动态识别、稳态驾驶安全围栏、临界状态风险管控。具体而言，以下几个指标可作为量化安全性的重要依据。首先是事故率，降低事故率的有效途径之一是提升感知系统的精确度，这一指标能够反映自动驾驶系统在视觉信息处理过程中的准确性。及时反应时间也是一个关键指标，代表系统从识别危险到做出反应所需的时间，这直接影响到系统的安全性表现。

　　在纯视觉感知自动驾驶系统中，感知与车辆决策之间的分离显著影响了系统在复杂环境下的安全性。纯视觉感知系统依赖于计算机视觉技术，通过图像处理和模式识别，识别道路、障碍物及其他交通参与者。然而，仅依赖视觉信息进行感知的系统常常面临着动态场景、光照变化及遮挡等多样化的挑战，这导致感知结果的不确定性和模糊性，从而加大了车辆决策环节的复杂性。

　　在这种背景下，感知结果转换为车辆决策所需的过程往往存在显著的延迟，特别是在急需反应的情境下。例如，当自动驾驶车辆在交通信号灯前停车时，车辆必须准确识别信号灯的状态，并在此基础上迅速做出停车或继续行驶的决策。若感知环节的延迟导致信号灯状态识别不及时，便会直接引发决策错误，甚至造成严重的交通事故。据实证研究，约30%的自动驾驶事故是由于决策延迟或不准确导致的，这一比例提醒我们在感知到决策的转化过程中的紧迫性。由于感知和车辆决策之间存在一定的延迟，且现有的视觉感知系统难以应对复杂的交通状况，感知结果在转化为决策指令时容易出现误差。

　　5.1 采用自车坐标系下的栅格感知网络（Occupancy Network）来深度估计

　　在自动驾驶领域中，感知能力的提升对确保车辆安全行驶至关重要。栅格感知网络（Occupancy Network）是一种通过栅格地图在自车坐标系下进行环境建模的技术。通过将周围环境的空间划分为若干个小的栅格单元，可以精确地预测每个栅格单元是否被物体占据，从而实现环境的实时监测。这种方式特别适用于动态环境下的物体检测和追踪，能够有效克服光照变化和天气影响带来的感知问题。栅格感知网络相比激光雷达传感器的优势在于可以更好地将感知到的3D 几何信息与语义信息融合，而不需要对激光雷达和相机进行时间同步，外参对齐等工作。例如图2 所示，可以看到异型车是红色栅格，表示一个静止车辆，这正是由于栅格感知网络在一般障碍物几何感知的基础上还附加了语义和速度，加速度输出。

　　而这样复杂的栅格感知网络可以在10 毫秒中计算完毕，在高速环境或者对快速移动的物体感知方面，纯视觉的栅格感知网络甚至可能做到比激光雷达更强。

　　在当前自动驾驶技术不断发展的背景下，纯视觉感知系统面临的安全问题日益突出。车道线感知网络的主要工作机制在于将车辆的位置与高精度地图数据进行整合，进而提升感知的准确性与可靠性。在传统的纯视觉感知系统中，由于光照变化、遮挡物或路面质量的多样性，车道线的检测往往会受到影响，导致潜在的安全隐患。然而，我们融入3D 栅格地图后，车道线的形态、位置及其高低起伏变化可得到感知，从而形成一个多维度的感知框架。从而基于3D 信息进行感知，利用地图先验信息的优势在于其能够提供静态环境的参考。例如，依据已知道路特征（如车道数量、宽度及下游交通规则等），能够大幅降低因环境变化而引发的感知误差。在多个实验数据中，通过对比不同条件下的感知结果，采用融合地图先验的感知网络显著优于传统方法，错误率减少了约20%-30%。此降幅在多样化场景下的评估，尤其是高流量、高复杂性环境中显示了更为明显的提升。

　　在自动驾驶技术的发展过程中，纯视觉感知系统面对的主要安全问题之一即是对动态环境中实时信息的有效处理。我们可以通过道路重建作为车道线D 标注，本质是基于视觉众包建图技术的运用。通过集合多方视觉数据，增强了标精地图信息的丰富性，为训练和验证自动驾驶算法提供了更为真实的真值。此方法不仅能改善障碍物检测和动态物体跟踪，还有效提升了自动驾驶系统在复杂环境中的响应能力。业内自2021 年开始，特斯拉自动标注开始使用3D 特征进行多趟采集轨迹的聚合重建，计算效率显著提高，可扩展性也变得非常强。我们可以采用新数据标注自动生成的4D 标注，也就是一次标注生成的真值可以跨越时间这一维度给在同一地点不同时间采集的数据提供真值。通过这种真值自动迁移的方法，可以轻松获得人类都难以正确标注的这些场景的标注数据，训练模型拥有更好地适应低可见度（夜晚、雨、雾）等条件的能力。

　　视觉众包建图不仅能够丰富标精地图的信息，还能增强系统在未知环境中的自适应能力。通过结合大规模的图像数据和传感器信息，系统能够在不同地理位置和交通环境中生成新的地图数据，并及时更新到系统中。这样一来，自动驾驶系统不仅能够更好地识别周围环境，还能够适应实时变化的交通状况，提高系统的整体安全性。

　　纯视觉感知系统在自动驾驶技术中具有广阔的应用前景。现阶段，纯视觉感知系统在安全性依然面临诸多难题。自动驾驶行业的积极探索也表明，制定相应的标准与规范对于保障驾驶安全不容小觑，通过持续的技术创新与跨领域的合作，自动驾驶技术有望在未来实现更高的安全性和可靠性。未来的研究应进一步关注如何通过建立一个全面的安全评估体系，来应对未来更复杂的交通情况，从而推动纯视觉感知自动驾驶技术的广泛应用与发展。最终，基于不断的技术创新以及对安全隐患的有效解决，推动自动驾驶走向更加成熟和普及的阶段，为人们打造一个更为安全的交通出行环境。kaiyun平台官网登录