隨著機(jī)器視覺，自動(dòng)駕駛等顛覆性的技術(shù)逐步發(fā)展，采用 3D 相機(jī)進(jìn)行物體識(shí)別，行為識(shí)別，場(chǎng)景 建模的相關(guān)應(yīng)用越來越多，可以說 3D 相機(jī)就是終端和機(jī)器人的眼睛。

3D 相機(jī)

3D 相機(jī)又稱之為深度相機(jī)，顧名思義，就是通過該相機(jī)能檢測(cè)出拍攝空間的景深距離，這也是與普 通攝像頭最大的區(qū)別。普通的彩色相機(jī)拍攝到的圖片能看到相機(jī)視角內(nèi)的所有物體并記錄下來，但是其 所記錄的數(shù)據(jù)不包含這些物體距離相機(jī)的距離。僅僅能通過圖像的語義分析來判斷哪些物體離我們比較 遠(yuǎn)，哪些比較近，但是并沒有確切的數(shù)據(jù)。而 3D 相機(jī)則恰恰解決了該問題，通過 3D 相機(jī)獲取到的數(shù)據(jù)， 我們能準(zhǔn)確知道圖像中每個(gè)點(diǎn)離攝像頭距離，這樣加上該點(diǎn)在 2d 圖像中的(x,y)坐標(biāo)，就能獲取圖像中每 個(gè)點(diǎn)的三維空間坐標(biāo)。通過三維坐標(biāo)就能還原真實(shí)場(chǎng)景，實(shí)現(xiàn)場(chǎng)景建模等應(yīng)用。?

從上面描述可以看出，我們的眼睛就是一個(gè)天然的 3D 相機(jī)，這主要得益于偏光原理，當(dāng)人眼在看 任何物體時(shí)，由于兩只眼睛在空間有一定間距約為 5cm，即存在兩個(gè)視角。這樣形成左右兩眼所看的圖 像不完全一樣，稱為視差。這種細(xì)微的視差通過視網(wǎng)膜傳遞到大腦里，就能顯示出物體的前后遠(yuǎn)近，產(chǎn) 生強(qiáng)烈的立體感，這是 1839 年，英國(guó)科學(xué)家溫特斯頓發(fā)現(xiàn)的奇妙現(xiàn)象。自然的人類就想到通過兩個(gè)一 定距離的普通攝像頭來模擬人眼來獲取 3D 數(shù)據(jù)。這就是最初的雙目立體相機(jī)，鑒于雙目相機(jī)的一些缺 陷，后來人們又發(fā)明了結(jié)構(gòu)光和 TOF 的方法來獲取 3D 數(shù)據(jù)。目前市面上常有的 3D 相機(jī)方案就就是這 3 種：飛行時(shí)間（TOF），RGB雙目和結(jié)構(gòu)光法

(1)結(jié)構(gòu)光(Structured-light)，代表公司有奧比中光，蘋果(Prime Sense)，微軟 Kinect-1，英特爾 RealSense, Mantis Vision 等。

(2)雙目視覺(Stereo)，代表公司 Leap Motion， ZED， 大疆;

(3)光飛行時(shí)間法(TOF)，代表公司微軟 Kinect-2，PMD，SoftKinect， 聯(lián)想 Phab。

下圖是這三種方式的一個(gè)簡(jiǎn)單而形象的圖片介紹
?

?

?

?

?

?

結(jié)構(gòu)光

結(jié)構(gòu)光，英文叫做 Structured light，通常采用特定波長(zhǎng)的不可見的紅外激光作為光源，它發(fā)射出來的光經(jīng)過 一定的編碼投影在物體上，通過一定算法來計(jì)算返回的編碼圖案的畸變來得到物體的位置和深度信息。根 據(jù)編碼圖案不同一般有條紋結(jié)構(gòu)光---enshape ，編碼結(jié)構(gòu)光---Mantis Vision, Realsense(F200), 散斑結(jié)構(gòu)光 ---apple(primesense), 奧比中光。下圖是一個(gè)典型的結(jié)構(gòu)光相機(jī)的示意圖:
?

蘋果公司的 IphoneX 采用收購(gòu)至 primesense 的技術(shù)，也是散斑結(jié)構(gòu)光，所謂散斑就是是激光照射到粗糙物 體或穿透毛玻璃后隨機(jī)形成的衍射斑點(diǎn)。這些散斑具有高度的隨機(jī)性，而且會(huì)隨著距離的不同而變換圖案。也就是說空間中任意兩處的散斑圖案都是不同的。只要在空間中打上這樣的結(jié)構(gòu)光，整個(gè)空間就都被做了 標(biāo)記，把一個(gè)物體放進(jìn)這個(gè)空間，只要看看物體上面的散斑圖案，就可以知道這個(gè)物體在什么位置了。當(dāng) 然，在這之前要把整個(gè)空間的散斑圖案都記錄下來，所以要先做一次光源標(biāo)定， 通過對(duì)比標(biāo)定平面的光斑 分布，就能精確計(jì)算出當(dāng)前物體距離相機(jī)的距離。
?

?

隨著結(jié)構(gòu)光三維測(cè)量技術(shù)不斷發(fā)展，實(shí)際應(yīng)用價(jià)值不斷提高。在工業(yè)測(cè)量領(lǐng)域中，上世紀(jì)九十年代，Dr.Steinbichler、Dr.Wolf 以及 Reinhold Ritter 教授等分別成立了Steinbichler GmbH、Dr. Wolf GmbH 和 GOM GmbH 公司標(biāo)志著結(jié)構(gòu)光測(cè)量技
術(shù)的產(chǎn)品化。目前國(guó)外結(jié)構(gòu)光中代表性的 GOM 公司的 Atos 系列和 FARO 公司的Cobalt 系列結(jié)構(gòu)光三維測(cè)量產(chǎn)品廣泛應(yīng)用在汽車、航空和消費(fèi)品行業(yè)中。近年來國(guó)內(nèi)結(jié)構(gòu)光工業(yè)產(chǎn)品也不斷發(fā)展，其中具有代表性的北京天遠(yuǎn) OKIO 系列產(chǎn)品也不斷涌入激烈的競(jìng)爭(zhēng)市場(chǎng)之中，如圖 1.3 所示，圖中(a),(b),?分別表示 FARO、GOM 和北京天遠(yuǎn)的結(jié)構(gòu)光產(chǎn)品。

?

娛樂消費(fèi)領(lǐng)域中激光散斑結(jié)構(gòu)光作為一種空間編碼結(jié)構(gòu)光近年來其應(yīng)用尤為突出，2011 年 6 月，微軟發(fā)布了 Kinect V1，現(xiàn)早已應(yīng)用在體感游戲和機(jī)器人視覺等領(lǐng)域。2017 年 9 月，蘋果公司發(fā)布的 iPhone X 中也采用了 PrimeSense 提供的散斑結(jié)構(gòu)光，開啟了手機(jī)平臺(tái)上人臉的三維信息測(cè)量。國(guó)內(nèi)散斑結(jié)構(gòu)光代表公司奧比中光的 ASTRA 系列也運(yùn)用在移動(dòng)設(shè)備、3D 人臉識(shí)別、機(jī)器人視覺等領(lǐng)域，如圖 1.4 所示，圖中(a),(b),?分別表示蘋果公司、微軟公司和奧比中光的結(jié)構(gòu)光產(chǎn)品。

結(jié)構(gòu)光的雙目視覺技術(shù)是一種主動(dòng)式測(cè)量的三維重建技術(shù)。將平面光束照射在物體表面形成與原光帶不一致的偏轉(zhuǎn)信息，通過解碼進(jìn)行深度信息求解，從而精確快速地獲取三維深度信息。投影面結(jié)構(gòu)光，即投影一組平行的結(jié)構(gòu)光，同時(shí)將物體置于可旋轉(zhuǎn)任意角度工作臺(tái)上，分批進(jìn)行處理不同平面上的三維信息，計(jì)算出深度信息和進(jìn)行匹配融合，能重建物體整體的三維信息。

圖 1.5 所示的是一型號(hào)為 OKIO-H 的工業(yè)級(jí)三維掃描儀[23]，采用進(jìn)口高精密工業(yè) 131 萬像素 CCD 傳感器，適用于航天航空、風(fēng)電水電等精密裝備制造領(lǐng)域。

?

結(jié)構(gòu)光方法在工業(yè)上有重要的應(yīng)用，例如從傳送帶上檢測(cè)工件，工件的逆工
程；在圖形建模方面也有重要的應(yīng)用，如人體建模，包括頭部等軀體模型，雕塑物件造型的數(shù)字化，實(shí)際上三維掃描儀的基本原理也是在結(jié)構(gòu)光方法的基礎(chǔ)上進(jìn)行改造的。投影的編碼圖案由投影儀投影至物體表面，而后相機(jī)進(jìn)行采集。編碼圖案是否得當(dāng)有效，將直接影響三維測(cè)量重建的精度和效率。圖 1.6 所示的雙模手持式三維激光掃描儀[24]極大地簡(jiǎn)化了三維重建的過程。

?

結(jié)構(gòu)光深度相機(jī)的分類

? ? ? 主要分為單目結(jié)構(gòu)光和雙目結(jié)構(gòu)光相機(jī)。

? ? ? ?單目結(jié)構(gòu)光容易受光照的影響，在室外環(huán)境下，如果是晴天，激光器發(fā)出的編碼光斑容易太陽光淹沒掉。雙目結(jié)構(gòu)光可以在室內(nèi)環(huán)境下使用結(jié)構(gòu)光測(cè)量深度信息，在室外光照導(dǎo)致結(jié)構(gòu)光失效的情況下轉(zhuǎn)為純雙目的方式，其抗環(huán)境干擾能力、可靠性更強(qiáng)，深度圖質(zhì)量有更大提升空間。此外，結(jié)構(gòu)光方案中的激光器壽命較短，難以滿足7*24小時(shí)的長(zhǎng)時(shí)間工作要求，其長(zhǎng)時(shí)間連續(xù)工作很容易損壞。因?yàn)閱文跨R頭和激光器需要進(jìn)行精確的標(biāo)定，一旦損壞，替換激光器時(shí)重新進(jìn)行兩者的標(biāo)定是非常困難的。

單目結(jié)構(gòu)光的原理?

? ? ? 通常采用特定波長(zhǎng)的不可見的紅外激光作為光源，它發(fā)射出來的光經(jīng)過一定的編碼投影在物體上，通過一定算法來計(jì)算返回的編碼圖案的畸變來得到物體的位置和深度信息。 根據(jù)編碼圖案不同一般有條紋結(jié)構(gòu)光enshape ，編碼結(jié)構(gòu)光Mantis Vision, Realsense(F200), 散斑結(jié)構(gòu)光apple(primesense)。由于結(jié)構(gòu)光主動(dòng)投射編碼光，因而非常適合在光照不足（甚至無光）、缺乏紋理的場(chǎng)景使用。結(jié)構(gòu)光投影圖案一般經(jīng)過精心設(shè)計(jì)，所以在一定范圍內(nèi)可以達(dá)到較高的測(cè)量精度。技術(shù)成熟，深度圖像可以做到相對(duì)較高的分辨率。

雙目結(jié)構(gòu)光的原理?

? ? ? 雙目結(jié)構(gòu)光，就是純雙目和單目結(jié)構(gòu)光結(jié)合的解決方案，結(jié)構(gòu)光等于是給物體加了紋理，計(jì)算深度依然采用視差的原理。

---

主要生產(chǎn)廠家

? ? ?國(guó)外結(jié)構(gòu)光方案開發(fā)的公司有Prime Sense(蘋果)、英特爾，以色列Mantis Vision（小米）；

? ? ?國(guó)內(nèi)結(jié)構(gòu)光方案開發(fā)的公司有深圳奧比中光科技有限公司（單目結(jié)構(gòu)光OPPO），南京華捷艾米軟件有限公司（單目結(jié)構(gòu)光），丘鈦科技，上海圖漾信息科技有限公司（雙目結(jié)構(gòu)光）。

?

?

結(jié)構(gòu)光（散斑）的優(yōu)點(diǎn)主要有：

1）方案成熟，相機(jī)基線可以做的比較小，方便小型化。

2）資源消耗較低，單幀 IR 圖就可計(jì)算出深度圖，功耗低。

3）主動(dòng)光源，夜晚也可使用。

4）在一定范圍內(nèi)精度高，分辨率高，分辨率可達(dá) 1280x1024,幀率可達(dá) 60FPS

散斑結(jié)構(gòu)光的缺點(diǎn)與結(jié)構(gòu)光類似：

1）容易受環(huán)境光干擾，室外體驗(yàn)差。

2）隨檢測(cè)距離增加，精度會(huì)變差。
?

?雙目視覺

雙目立體視覺(Binocular Stereo Vision)是機(jī)器視覺的一種重要形式，他是基于視差原理并利用成像設(shè)備 從不同的位置獲取被測(cè)物體的兩幅圖像，通過計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來獲取物體三維幾何信息的 方法。目前有主動(dòng)雙目，被動(dòng)雙目之分，被動(dòng)雙目就是采用可見光，好處是不需要額外光源，但是晚上無 法使用，主動(dòng)雙目就是主動(dòng)發(fā)射紅外激光做補(bǔ)光，這樣晚上也能使用。

雙目視覺僅僅依靠圖像進(jìn)行特征匹配，對(duì)附加設(shè)備要求低，在使用雙目視覺相機(jī)前必須對(duì)雙目中兩個(gè) 攝像頭的位置進(jìn)行精確標(biāo)定。下面圖片很好的簡(jiǎn)單闡述了雙目相機(jī)如何獲取物體的深度數(shù)據(jù)。同一直線上 的 3 個(gè)點(diǎn)在下端的相機(jī)都投影到 cmos 同一個(gè)點(diǎn)，因此單獨(dú)的這個(gè)相機(jī)沒法分辨三個(gè)點(diǎn)的距離，但是這 3 各 點(diǎn)在上端相機(jī)的投影位置不同，通過三角測(cè)量辦法和兩個(gè)相機(jī)基線距離 B，我們就可以計(jì)算出這 3 個(gè)點(diǎn)離相 機(jī)平面距離。
?

當(dāng)然完整的雙目深度計(jì)算非常復(fù)雜，主要涉及到左右相機(jī)的特征匹配，計(jì)算會(huì)非常消耗資源。

雙目相機(jī)的主要優(yōu)點(diǎn)有：

1）硬件要求低，成本也低。普通 CMOS 相機(jī)即可。

2）室內(nèi)外都適用。只要光線合適，不要太昏暗。

但是雙目的缺點(diǎn)也是非常明顯：

1）對(duì)環(huán)境光照非常敏感。光線變化導(dǎo)致圖像偏差大，進(jìn)而會(huì)導(dǎo)致匹配失敗或精度低。

2）不適用單調(diào)缺乏紋理的場(chǎng)景。雙目視覺根據(jù)視覺特征進(jìn)行圖像匹配，沒有特征會(huì)導(dǎo)致匹配失敗。

3）計(jì)算復(fù)雜度高。該方法是純視覺的方法，對(duì)算法要求高，計(jì)算量較大。

4）基線限制了測(cè)量范圍。測(cè)量范圍和基線（兩個(gè)攝像頭間距）成正比，導(dǎo)致無法小型化

?

光飛行時(shí)間法(TOF)

顧名思義是測(cè)量光飛行時(shí)間來取得距離，具體而言就是通過給目標(biāo)連續(xù)發(fā)射激光脈沖，然后用傳感器 接收從反射光線，通過探測(cè)光脈沖的飛行往返時(shí)間來得到確切的目標(biāo)物距離。因?yàn)楣馑偌す?#xff0c;通過直接測(cè) 光飛行時(shí)間實(shí)際不可行，一般通過檢測(cè)通過一定手段調(diào)制后的光波的相位偏移來實(shí)現(xiàn)。

TOF 法根據(jù)調(diào)制方法的不同，一般可以分為兩種：脈沖調(diào)制（Pulsed Modulation）和連續(xù)波調(diào)制 （Continuous Wave Modulation）。脈沖調(diào)制需要非常高精度時(shí)鐘進(jìn)行測(cè)量，且需要發(fā)出高頻高強(qiáng)度激光，目前大多采用檢測(cè)相位偏移辦法來實(shí)現(xiàn) TOF 功能。

下面圖片描述了 TOF 相機(jī)（連續(xù)波）的基本原理，實(shí)際應(yīng)用中，通常采用的是正弦波調(diào)制。由于接收 端和發(fā)射端正弦波的相位偏移和物體距離攝像頭的距離成正比，因此可以利用相位偏移來測(cè)量距離。
?

因?yàn)?TOF 并非基于特征匹配，這樣在測(cè)試距離變遠(yuǎn)時(shí)，精度也不會(huì)下降很快，目前無人駕駛以及一些高

端的消費(fèi)類 Lidar 基本都是采用該方法來實(shí)現(xiàn)。

TOF 的優(yōu)點(diǎn)主要有：

1）檢測(cè)距離遠(yuǎn)。在激光能量夠的情況下可達(dá)幾十米。

2）受環(huán)境光干擾比較小。

但是 TOF 也有一些顯而易見的問題：

1）對(duì)設(shè)備要求高，特別是時(shí)間測(cè)量模塊。

2）資源消耗大。 該方案在檢測(cè)相位偏移時(shí)需要多次采樣積分，運(yùn)算量大。

3）邊緣精度低。

4）限于資源消耗和濾波，幀率和分辨率都沒辦法做到較高。目前消費(fèi)類最大也就 VGA。

結(jié)論

從上面三種主流的 3D 相機(jī)成像方案來看，各有優(yōu)劣，但是從實(shí)際應(yīng)用場(chǎng)景來看，在非無人駕駛領(lǐng)域，結(jié)構(gòu) 光，特別是散斑結(jié)構(gòu)光的用途是最廣泛。因?yàn)閺木?#xff0c;分辨率，還有應(yīng)用場(chǎng)景的范圍來看雙目和 TOF 都沒 有辦法做到最大的平衡。而且對(duì)于結(jié)構(gòu)光容易受環(huán)境光干擾，特別是太陽光影響問題，鑒于此類相機(jī)都有 紅外激光發(fā)射模塊，非常容易改造為主動(dòng)雙目來彌補(bǔ)該問題。 ? ??
?

?當(dāng)然這三種方案在發(fā)展過程中也有一些互相融合趨勢(shì)，如主動(dòng)雙目+結(jié)構(gòu)光，取長(zhǎng)補(bǔ)短，使 3D 相機(jī)能適應(yīng) 更多的場(chǎng)景。也有一些同時(shí)使用，如手機(jī)前置基本確認(rèn)會(huì)采用結(jié)構(gòu)光來做 FaceId，但是后置用來做 AR 應(yīng)用， 結(jié)構(gòu)光和 TOF 都有機(jī)會(huì)。雖然項(xiàng)目具體使用哪種方案，要結(jié)合當(dāng)前硬件資源，對(duì)性能要求等來確定，但從 最廣泛的使用角度來看，散斑結(jié)構(gòu)光無疑是目前最佳的方案。
?

?

?

————————————————
?https://blog.csdn.net/weixin_44470443/article/details/94861813

車載雙目ADAS（六）：結(jié)構(gòu)光深度相機(jī)_bobuddy的博客-CSDN博客

結(jié)構(gòu)光三維掃描概述_江南又舊雨的博客-CSDN博客?

為什么要研究《雙目結(jié)構(gòu)光》？_Orange Wu的博客-CSDN博客