原標(biāo)題：CCCV2017講習(xí)班筆記-基于圖像的大規(guī)模場景三維重建（上）

雷鋒網(wǎng)AI科技評論按，本文作者究竟灰，本文首發(fā)于知乎，雷鋒網(wǎng)AI科技評論獲其授權(quán)轉(zhuǎn)載。

今天去CCCV2017講習(xí)班聽了中科院自動(dòng)化所模式識(shí)別國重實(shí)驗(yàn)室的申抒含老師和崔海楠老師的關(guān)于基于凸顯的大規(guī)模場景三維重建的講習(xí)班，把筆記整理了一下。（本文為上篇，內(nèi)容為第一章：簡介和第二章：稀疏重建。）

<imgdata-rawheight="2305"src="https://static.leiphone.com/uploads/new/article/pic/201711/54ceb03759beacf16cbe254399c3f0f8.jpg"data-rawwidth="2807"class="origin_imagezh-lightbox-thumb"width="2807"data-original="http://p0.ifengimg.com/pmop/2017/1105/D9627022210A9FADEC9AB455C3B2B03A6A3BCF6B_size821_w2807_h2305.jpeg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/54ceb03759beacf16cbe254399c3f0f8.jpg"/>

主要分為四點(diǎn)展開：

簡介稀疏重建sfm稠密重建mvs資源

1.簡介

首先講了現(xiàn)在cv與類腦。

<imgdata-rawheight="745"src="https://static.leiphone.com/uploads/new/article/pic/201711/c1b107af8fac89261fd6b489bf03397d.jpg"data-rawwidth="979"class="origin_imagezh-lightbox-thumb"width="979"data-original="https://pic1.zhimg.com/v2-01d9fd0743616b209d01985d992765f4_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/c1b107af8fac89261fd6b489bf03397d.jpg"/>

腦的腹部通道進(jìn)行物體視覺，現(xiàn)在CV上主要采用基于學(xué)習(xí)的方法。腦的背部通道進(jìn)行空間視覺，現(xiàn)在CV上主要采用基于幾何的方法。最后上述兩者信息在前額匯集，綜合處理。

接著講了幾何視覺的核心問題：主要是機(jī)器人在三維環(huán)境中需要：

對二維圖像理解對三維環(huán)境感知

而三維結(jié)構(gòu)和相機(jī)的六自由度空間位姿是機(jī)器人感知決策動(dòng)作的基礎(chǔ)信息。

<imgdata-rawheight="784"src="https://static.leiphone.com/uploads/new/article/pic/201711/72c401fed6d09fdcb5c66f3807ebd361.jpg"data-rawwidth="1000"class="origin_imagezh-lightbox-thumb"width="1000"data-original="https://pic1.zhimg.com/v2-4a86433a54170c6b688716ceb5089850_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/72c401fed6d09fdcb5c66f3807ebd361.jpg"/>

接著講了圖像三維重建的基本流程：

<imgdata-rawheight="767"src="https://static.leiphone.com/uploads/new/article/pic/201711/4a0b32f9f18c5a0c3f29a1b1c33df4df.jpg"data-rawwidth="1000"class="origin_imagezh-lightbox-thumb"width="1000"data-original="https://pic4.zhimg.com/v2-b274f27a55d58e52cfdaf0188ffc92db_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/4a0b32f9f18c5a0c3f29a1b1c33df4df.jpg"/>

基本流程包括：

多視角圖像圖像特征提取匹配稀疏重建Sfm稠密重建MVS點(diǎn)云模型化生成三維模型

然后科普了一下一些基礎(chǔ)知識(shí)：

小孔成像：世界中的一個(gè)點(diǎn)經(jīng)過小孔在圖像平面上會(huì)形成一個(gè)倒立縮小的像。這就形成了幾何相似三角形關(guān)系。如果我們把成像平面放到前面來，就是正立縮小的像。具體的焦距、圖像片面，相機(jī)中心什么就不贅述了。右下角公式表示通過一個(gè)相似性（比例）可以建立圖像坐標(biāo)系和世界坐標(biāo)系的關(guān)系。

<imgdata-rawheight="1805"src="https://static.leiphone.com/uploads/new/article/pic/201711/282d5e0cac607e60298f37f3ee33ae77.jpg"data-rawwidth="2393"class="origin_imagezh-lightbox-thumb"width="2393"data-original="https://pic4.zhimg.com/v2-ffe63c86b93a1ac0219f0f6c4e8cdb2f_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/282d5e0cac607e60298f37f3ee33ae77.jpg"/>

然后說到了無窮遠(yuǎn)元素。它們用現(xiàn)在的xyz方法沒辦法表示。

<imgdata-rawheight="2097"src="https://static.leiphone.com/uploads/new/article/pic/201711/e7652aa72ed051dfa8ecbd22cc5becdc.jpg"data-rawwidth="2801"class="origin_imagezh-lightbox-thumb"width="2801"data-original="https://pic3.zhimg.com/v2-15ef121536766dc469b8311b27de139e_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/e7652aa72ed051dfa8ecbd22cc5becdc.jpg"/>

于是提出了射影空間，齊次坐標(biāo)是射影空間的坐標(biāo)表達(dá)方式：一般的坐標(biāo)在xyz后面加一個(gè)1，無窮遠(yuǎn)點(diǎn)最后一個(gè)為0.

<imgdata-rawheight="664"src="https://static.leiphone.com/uploads/new/article/pic/201711/86f825a6215ff2ae45399b829f08d702.jpg"data-rawwidth="882"class="origin_imagezh-lightbox-thumb"width="882"data-original="https://pic4.zhimg.com/v2-e0f41535e38b8752254849e7bbef80b3_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/86f825a6215ff2ae45399b829f08d702.jpg"/>

當(dāng)然齊次非齊次的坐標(biāo)轉(zhuǎn)換通過除以最后一個(gè)來實(shí)現(xiàn)。

這里有一個(gè)等價(jià)關(guān)系，即當(dāng)非齊次坐標(biāo)通過除以一個(gè)值之后變成齊次而與一個(gè)已經(jīng)存在的齊次坐標(biāo)相等時(shí)為：齊次坐標(biāo)在相差一個(gè)尺度時(shí)的等價(jià)。

<imgdata-rawheight="675"src="https://static.leiphone.com/uploads/new/article/pic/201711/39c3d0169151b38eea41304bb78c212f.jpg"data-rawwidth="871"class="origin_imagezh-lightbox-thumb"width="871"data-original="https://pic3.zhimg.com/v2-b905f7bfcbb3fbdcb9fd0d20da4eaef2_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/39c3d0169151b38eea41304bb78c212f.jpg"/>

那么小孔成像模型可以表達(dá)出來。

為焦距，為主點(diǎn)：光心與相機(jī)平面的交點(diǎn)。

<imgdata-rawheight="588"src="https://static.leiphone.com/uploads/new/article/pic/201711/8de1681bc7aac2e388fd475e411f9b82.jpg"data-rawwidth="810"class="origin_imagezh-lightbox-thumb"width="810"data-original="https://pic1.zhimg.com/v2-795e622f5ad91088b543ed4267b05398_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/8de1681bc7aac2e388fd475e411f9b82.jpg"/>

接著介紹了相機(jī)坐標(biāo)系和世界坐標(biāo)系之間存在一個(gè)歐式坐標(biāo)變換：

中間的矩陣由R轉(zhuǎn)移矩陣和t平移向量組成。

<imgdata-rawheight="608"src="https://static.leiphone.com/uploads/new/article/pic/201711/060a46c68075c9cf637b06642a679d77.jpg"data-rawwidth="838"class="origin_imagezh-lightbox-thumb"width="838"data-original="https://pic2.zhimg.com/v2-6bd8365211b250b315b882ae712b326d_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/060a46c68075c9cf637b06642a679d77.jpg"/>

把兩個(gè)式子寫到一起：

<imgdata-rawheight="740"src="https://static.leiphone.com/uploads/new/article/pic/201711/f69cff48e5eb0bfd9494c8f927481a60.jpg"data-rawwidth="975"class="origin_imagezh-lightbox-thumb"width="975"data-original="https://pic3.zhimg.com/v2-3a064a2177b711133d84dd40ea001c16_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/f69cff48e5eb0bfd9494c8f927481a60.jpg"/>

可以得到圖像點(diǎn)和空間點(diǎn)的關(guān)系。通過相機(jī)內(nèi)參數(shù)K、相機(jī)旋轉(zhuǎn)R和相機(jī)平移建立關(guān)系。

相機(jī)的內(nèi)參數(shù)由相機(jī)硬件決定，而旋轉(zhuǎn)平移由相機(jī)位姿決定?？臻g點(diǎn)是場景結(jié)構(gòu)點(diǎn)。

接著說了由單張圖是無法重建場景結(jié)構(gòu)的。

<imgdata-rawheight="680"src="https://static.leiphone.com/uploads/new/article/pic/201711/db61d6dc6de7d62aba2c24b9e07335d1.jpg"data-rawwidth="996"class="origin_imagezh-lightbox-thumb"width="996"data-original="https://pic2.zhimg.com/v2-c1c3a160772df2e391454fd2100df795_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/db61d6dc6de7d62aba2c24b9e07335d1.jpg"/>

于是引出了多視圖幾何

<imgdata-rawheight="439"src="https://static.leiphone.com/uploads/new/article/pic/201711/bc79bb14ce9a62c0dc98b2fbdff6144f.jpg"data-rawwidth="593"class="origin_imagezh-lightbox-thumb"width="593"data-original="https://pic1.zhimg.com/v2-d8ee050d89eef452f92be855a75a7a1c_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/bc79bb14ce9a62c0dc98b2fbdff6144f.jpg"/>

然后說求解思路：最小化重投影誤差平方和

其中

即空間點(diǎn)X通過之前說的坐標(biāo)變換（左乘P投影到圖像平面上）與圖像平面上的x可以產(chǎn)生一個(gè)L2范數(shù)作為誤差。建立一個(gè)目標(biāo)函數(shù)為所有點(diǎn)的誤差和。

<imgdata-rawheight="512"src="https://static.leiphone.com/uploads/new/article/pic/201711/189dacc30c1401ba4597e7335b9a187f.jpg"data-rawwidth="674"class="origin_imagezh-lightbox-thumb"width="674"data-original="https://pic2.zhimg.com/v2-0a8c4c36d88be589159226f53d12b809_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/189dacc30c1401ba4597e7335b9a187f.jpg"/>

接著推導(dǎo)就可以寫成的形式。

<imgdata-rawheight="792"src="https://static.leiphone.com/uploads/new/article/pic/201711/597588926a502a5053b113cf93f93f98.jpg"data-rawwidth="1037"class="origin_imagezh-lightbox-thumb"width="1037"data-original="https://pic2.zhimg.com/v2-f3c218f3d4ac3c4fe9439496177d7d19_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/597588926a502a5053b113cf93f93f98.jpg"/>

這樣求解重投影誤差最小化問題是一個(gè)高維非線性最小二乘問題。未知數(shù)數(shù)量由圖像數(shù)量乘以旋轉(zhuǎn)矩陣、平移向量、內(nèi)參數(shù)、畸變加上稀疏點(diǎn)數(shù)目乘以世界坐標(biāo)X。

<imgdata-rawheight="724"src="https://static.leiphone.com/uploads/new/article/pic/201711/26bedc611de5ff094f5baf5230df45c2.jpg"data-rawwidth="1174"class="origin_imagezh-lightbox-thumb"width="1174"data-original="https://pic4.zhimg.com/v2-afd13c70f19652117d5476d7bddc703f_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/26bedc611de5ff094f5baf5230df45c2.jpg"/>

求解可以用捆綁調(diào)整的工具做。BundleAdjustment.它是一種啟發(fā)式的阻尼高斯牛頓法。

<imgdata-rawheight="176"src="https://static.leiphone.com/uploads/new/article/pic/201711/ea8605972e1922ee7ca539d82c07e4f7.jpg"data-rawwidth="942"class="origin_imagezh-lightbox-thumb"width="942"data-original="https://pic1.zhimg.com/v2-452b54769e35356f3e79e9d5410a4838_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/ea8605972e1922ee7ca539d82c07e4f7.jpg"/>

因?yàn)橐龀跏贾登蠼?，接著科普兩視圖幾何：

平面1上面的點(diǎn)p與其相機(jī)中心o連線，延長。這個(gè)線r在平面2中投影出一條極線。

<imgdata-rawheight="591"src="https://static.leiphone.com/uploads/new/article/pic/201711/0817cb861a1a6a88a4018f70fa4cdd48.jpg"data-rawwidth="948"class="origin_imagezh-lightbox-thumb"width="948"data-original="https://pic1.zhimg.com/v2-e6a32dcea2921eaafc3d6984e0557880_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/0817cb861a1a6a88a4018f70fa4cdd48.jpg"/>

同理也可以在平面1投影出極線。連接ot這條線叫基線。這三條線在一個(gè)平面上，這個(gè)平面叫做極平面。

<imgdata-rawheight="644"src="https://static.leiphone.com/uploads/new/article/pic/201711/7f810ea08204737dcf8516232c53b9bd.jpg"data-rawwidth="967"class="origin_imagezh-lightbox-thumb"width="967"data-original="https://pic2.zhimg.com/v2-fa3adac088c1cc1f3eb460fbbc11a911_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/7f810ea08204737dcf8...