台灣電子器材交流論壇

標題: 特斯拉撞上了侧翻的大货车,從台灣嘉义事故谈傳感器融合 [打印本頁]

作者: admin 時間: 2021-7-19 17:23
標題: 特斯拉撞上了侧翻的大货车,從台灣嘉义事故谈傳感器融合
编者案：《郭继舜带你读汽车科技》旨在從第一性道理動身，测验考试扒開迷雾，解读热門暗地里的汽车科技原形。

本栏目由智能驾驶專家郭继舜博士與汽车之心结合出品，內容独家授权汽车之心公布。

近来這段時候，關于特斯拉的消息不少，咱们今天讲此中两個。

第一個消息產生在今天：2020 年 6 月 1 日，在台灣嘉义，一辆 Model 3 在高速公路上撞上了一辆侧翻的大货车。

我细心看了下這条視频特斯拉车主估量開启了 Autopilot 功效，清晨 6 點 44 分，可能车主昨晚没睡好，在车上打打盹分神了。

车载摄像头和毫米波雷达没有辨認出火線的箱式大货车，车头撞進了货箱箱體。
YKS沙發,

開端估量，這多是货车白色箱體有比力强烈的阳光反射，影响了這辆 Model 3 的摄像头辨認；或是由于視觉算法练习数据的局限性，一般练习的都是辨認车辆後部、侧面、车辆头部，工程师可能没想過有一天必要辨認货车的箱體顶部。

深度進修模子不克不及對這個物體举行分类，也就是说，算法不支撑辨認货车白色箱體如许的停滞物，由此造成為了此次变乱。

可能有人會问，即便摄像头没有辨認，车载的 77G 毫米波雷达也應當能辨認停滞物。

這與傳感器的交融機制有點瓜葛。

一般来讲，1R（毫米波雷达）的 AEB （主動告急制動）體系，只用一個毫米波雷达作為傳感器的告急制動體系，是可以或许對静态停滞物辨認且正常制動的。

但在雷同特斯拉如许的 3V1R （3 個摄像头+1 個毫米波雷达）的方案中，也就是三個前向摄像头加一個前項 77G 毫米波雷达的傳感器方案。

為了削减 AEB 误触發，常常會用算法滤掉毫米波雷达對静态物體的旌旗灯号，用摄像头辨認多個方针，跟踪方针，同時用毫米波雷达對已辨認物體举行检测和跟踪。

以是，由于傳感器交融逻辑的问题，在這個案例中，毫米波雷达也没有实時给體系報警。

第二個消息，是這几天，海內的一些媒體報导了本年 2 月在 Scaled ML 大會上，特斯拉 AI 高档总监 Andrej Karpathy 對外分享的特斯拉练习 AI 的法子，同時也初次對外分享了特斯拉若何借助摄像头類風濕性關節炎,就可以实現激光雷达的探测精度。

這也讓咱们看到了 Elon Musk 對峙不利用激光雷达的技能底气。

今朝，特斯拉 AI 團队已把握了名為「虚拟激光雷达」（pseudo-LiDAR）的新技能，它弥合了傳统计较機視觉和激光雷达壮大的點云世界之間的界限。

在 Scaled ML 大會上，特斯拉放出了一系列有激光雷达情势的 3D 舆圖，這些舆圖看起来就像是激光雷达收集到的信息，可是是用摄像头圖象天生的。

Andrej Karpathy 说：「咱们走了一条『虚拟激光雷达』的路径，只需简略展望单個像素的深度，找到它们直接的間隔，就可以得出结论。」

人类有不少获得物體間隔（即景深）的法子，除双眼缔造的立體視觉以外，人类還能借助「動态視差」跟踪物體的活動方法，從而得出其他可以参考的線索。

好比人类驾驶员，颠末短期的顺應，闭上一只眼睛，也同样可以或许好好驾驶。

初看這個技能報导，我感受有些震動，觉得特斯拉又公布了甚麼黑科技。

可是细心钻研了消息中提到的「虚拟激光雷达」的技能道理和结果圖，也查阅了相干的資料後，我根基可以确認，這就是視觉感知中的經典的「单目視觉深度估量」问题，只不外将数据的展現情势用雷同激光雷达點云的方法举行展現。

我的印象中，在 MobilEye EyeQ4 芯片和地平線 J2 芯片的視觉感知方案中已公布了雷同的功效，只是精度上與激光雷达有较大的差距。

在這個消息中，咱们并無看到特斯拉公布精度的数据，以是也没法评论其算法的先辈性與适用性。

借着今天這两個消息，我给大师讲讲主動驾驶體系對付异构傳感器的交融。

因為內容比力多，也比力技能，為了避免信息量過载，咱们今天讲後交融，前交融等放在来日诰日讲。

現阶段主動驾驶體系熟悉世界的独一法子，就是經由過程傳感器来接管外部的各类物理量并转换成電旌旗灯号，再經由過程采样编码等方法酿成原始数据，然後經由過程感知算法辨認為方针信息，最後經由過程理解算法還原成對真实世界的抽象模子。

按照检测的物理量與采样编码方法的分歧，咱们大致可以将主動驾驶中的傳感器分為：

利用被動情况光的視觉傳感器-摄像头；

利用自動编码红外激光的激光雷达；

利用自動高频電磁波的毫米波雷达；

和利用自動式超声波的超声波傳感器。

除上述直接對情况举行探测的傳感器之外，另有一类装備，可以或许經由過程通讯方法，直接得到外界编码好的事務信息，好比 V2X、GPS、IMU、RTK、轮速计等等，這些可以看做广义上的傳感器。

各类傳感器因為旌旗灯号来历分歧、道理分歧、处置方法分歧，在感知外部情况信息的時辰具有分歧的特征，咱们把上述的這些差别称為傳感器的「异构性」。

摄像头的感知数据是圖片，也就是 RGB 像素的二维矩阵，辨别率高，但因為是被動式傳感器，成像成果受强光、弱光影响较大。

一般的 24G 或 77G 毫米波雷达的感知数据是一条扫描線上的間隔和多普勒效應响應所表征的相對于速率，是一维数组。

有些先辈的毫米波雷达，在平凡毫米波雷达的根本上增长了垂直標的目的的辨别率，同時频率也上升到了 79-81G，從而可以或许输出带相對于速率信息的三维點云数据，也被成為 4D 毫米波雷达。

可是由于電磁波的特征，對付金属敏感渡過高，對付人體等非金属方针敏感度不足，旌旗灯号的噪声比力高，且因為波久远大于光波，衍射征象造成為了辨别率不高，必要较多的滤波和後处置進程。

激光雷达經發熱護膝,由過程自動红外激光扫描的方法，經由過程反射時候测距道理获得的是带反射率的三维點云信息。

因為激光频率高，波是非，光束能量密度大，是以具有辨别率高、間隔精准，受外界影响小、信噪比高档特色，是很是抱负的情况傳感器。

可是错误谬误就是本錢高、难保护，和比拟摄像头缺失了色采信息，数据依然不敷浓密。

從上述阐發可以晓得，摄像头因為辨别率、帧率、信息丰硕水平、算法适配度、產物成熟本錢低等等多种上風成了現阶段主動驾足浴粉,驶感知装備的首選。

可是，因為其道理的局限性，依然没法解决主動驾驶感知中的所有问题：

起首，摄像头的透镜成像道理本色上是将三维空間坐標系投影到二维齐次坐標系的变更，丧失了間隔信息，以是单摄像头的单帧圖象没法直接還原三维空間的間隔信息，這是摄像头的本色缺點。

固然多摄像头或单摄像头的多帧圖象是可以操纵多個齐次坐標系之間的相干性求解方程規复深度信息的，也就是双目視觉感知技能和单目視觉 SLAM 技能。

可是即使如斯，因為摄像头的检测方法是被動接管外界光芒，以是依然解决不了受外界强光滋扰紧张的问题，在逆光下失效可能很大。

以是，用摄像头虚拟激光雷达来替换現实的激光雷达，在今朝看来，最少在精度仍是鲁棒性上，都仍是不太实际的。

現阶段，我仍然是 L4 激光雷达解决方案的刚强支撑者。

因為上述傳感器都有各自的优错误谬误，現阶段主動驾驶感知體系利用的是夹杂异构傳感器组合架构，以实現感知信息的互补交融。

按照智能化水平從低到高，對付傳感器异构冗余的请求就越高：

L2 辅助驾驶凡是包含摄像头和毫米波雷达最少两种傳感器；

L2+ 主動驾驶會在摄像头和毫米波的数目和摆設位置长進行增长；

L3-L4 以上更高档此外主動驾驶则會在此根本上增长激光雷达傳感器，用以笼盖更多的盲區，增长更多的靠得住性與置信度。

在當前的主動驾驶工程实践中，咱们凡是采纳感知成果後交融（Later Fusion）的方法来重修真实世界的模子。

也就是多种傳感器收集原始数据後，各自零丁利用算法举行方针的辨認和分类，再按照對各個傳感器成果的置信度分歧，經由過程几率模子将多是不异方针的觀测成果交融起来，得到同一的世界模子。

咱们回到第一条消息，以視觉和毫米波雷达的交融 AEB 體系為例：

因為毫米波雷达遭到光照的滋扰相對于较少，視觉感知算法漏检率過高，初期的 AEB 設計偏向于以毫米波成果為准。

厥後發明毫米波雷达對金属敏感度過高，噪声太多，造成為了虚警和鬼影太多，而視觉算法的正确度也愈来愈高，以是現阶段 AEB 體系對毫米波雷达的置信度权重降低，感知成果以視觉感知為主，經由過程一段時候內的置信度投票的方法获终极的感知输出。

這就是為甚麼那辆 Model 3 視觉失效了，毫米波雷达也不克不及很好地起感化的缘由。

趁便说一下，今朝通用的後交融框架重要有卡曼滤波與非線性优化法子，重要讲的是時候更新與丈量更新，如安在算法层面构成数据闭环。

可是，後交融有一個较大的错误谬误，就是布局化信息的交融是各個傳感器辨認後的成果，對原始数据的信息丧失量大，数据信息量低，這些丧失的信息常常可以或许經由過程原始数据的交融而提高操纵率，發明更多的细小有效信息。

以是傳感器信息前交融的法子就逐步遭到了人们的存眷。来日诰日，咱们将讲讲前交融。

歡迎光臨台灣電子器材交流論壇 (http://bbs.aahuan.com.tw/)