如果你曾經在野外看到過一輛自動駕駛汽車，你可能會懷疑它上面的旋轉氣缸。

這是一個“激光雷達傳感器”，這是什么讓汽車導航世界。通過發送紅外線脈沖并測量它們從物體上反彈所需的時間，傳感器創建了一個“點云”，建立了汽車周圍環境的三維快照。

三維世界的技術

要理解原始的點云數據是很困難的，而且在機器學習的時代之前，它傳統上需要經過高度訓練的工程師們乏味地指定他們想要通過手工獲取哪些品質。但是在麻省理工學院計算機科學與人工智能實驗室(CSAIL)發表的一系列新論文中，研究人員表明他們可以使用深度學習自動處理點云用于廣泛的三維成像應用。

“在今天的計算機視覺和機器學習方面，90%的進步只涉及二維圖像麻省理工學院教授賈斯汀·所羅門是博士生王悅領導的新系列論文的資深作者，他說：“我們的工作旨在解決一項基本需求，即更好地代表三維世界，不僅適用于自動駕駛，而且適用于任何需要理解三維形狀的領域。”

以前的大多數方法在從需要獲取的數據中捕獲模式方面并不特別成功。有意義的信息空間中的三維點。但是在研究小組的一篇論文中，他們展示了他們用一種叫做動態圖卷積神經網絡的神經網絡來分析點云的“EdgeConv”方法，使他們能夠對單個對象進行分類和分割。

沒有參與這項工作的豐田研究所(Toyota Research Institute)機器學習科學家瓦迪姆·科爾(Wadim Kehl)說，“通過構建相鄰點的‘圖表’，該算法可以捕獲分層模式，從而推斷出多種類型的泛型信息，這些信息可以被大量下游任務使用。”

除了開發EdgeConv之外，團隊還探索了點云處理的其他具體方面。例如，一個挑戰是，大多數傳感器在三維世界中移動時會改變視角；每次我們對同一物體進行新的掃描時，它的位置可能與我們上次看到它時不同。要將多個點云合并成一個世界的詳細視圖，您需要在一個名為“注冊”的過程中對齊多個三維點。

登記對于從衛星數據到醫療程序等多種成像形式都是至關重要的。例如，當醫生需要對病人進行多次磁共振成像掃描時，注冊才能使掃描對齊以查看哪些變化。

“注冊使我們能夠將來自不同來源的三維數據集成到一個共同的坐標系中，”王說。“沒有它，我們實際上就無法從所有這些已經開發的方法中獲得有意義的信息。”

所羅門和王的第二篇論文演示了一種名為“深度最近點”(DCP)的新的配準算法，該算法可以更好地找到點云的區分模式、點和邊緣(稱為“局部特征”)，以便將其與其他點對齊。云彩...這對于讓自動駕駛汽車定位在場景中(“定位”)以及機器人手定位和抓取單個物體等任務尤為重要。

DCP的一個局限性是它假設我們可以看到一個完整的形狀，而不是只看到一側。這意味著它無法處理更困難的任務，即對形狀的部分視圖進行對齊(稱為“部分對部分注冊”)。因此，在第三篇論文中，研究人員提出了一種改進的算法，他們稱之為部分注冊網絡(PRNet)。

所羅門說，與二維圖像和照片相比，現有的三維數據往往是“相當混亂和非結構化的”。他的團隊試圖找出如何從所有雜亂無章的三維數據中獲取有意義的信息，而不需要現在許多機器學習技術所需要的受控環境。

DCP和PRNet成功背后的一個關鍵觀察是，點云處理的一個關鍵方面是上下文。點云A上的幾何特征暗示了點云B對齊的最佳方法，可能與點云C對齊所需的特征不同。例如，在部分注冊中，一個點云中的形狀的一個有趣的部分可能在另一個點云中不可見--這使得它對注冊毫無用處。

王說，這個團隊的工具已經被計算機視覺界和其他領域的許多研究人員所使用。甚至物理學家們也在把它們用于CSAIL團隊從未考慮過的應用：粒子物理學。

展望未來，研究人員希望使用這些算法來處理真實世界的數據，包括從自動駕駛汽車中收集到的數據。王說，他們還計劃探索利用自我監督學習訓練系統的潛力，以減少所需的人工注釋量。