Photogrammetry 攝影測量 -【知識筆記】

在測繪領域 (Geomatics) 有一門學科叫做「攝影測量 – Photogrammetry」，是一種利用被攝物體的影像，重建該物體空間位置和三維模型的技術。最早應用在測繪地形圖，透過航空或衛星影像，建立描述地形地物的三維訊息。跟現今流行的機器視覺 (Computer Vision)，在某些地方有異曲同工之妙。

緣起

攝影測量 Photogrammetry ，由類比式 (Analog Photogrammetry) 一路演進到數值式 (Digital Photogrammetry)，從基於底片相機到數位相機的理論演變，使其與機器視覺越來越相似。求學時沒有深入鑽研，但一直相當感興趣，就是兩者到底有什麼區別？

攝影測量 Photogrammetry

首先來看攝影測量，下面的參考網站羅列相當多的資料，有興趣可以看看：

https://github.com/mikeroyal/Photogrammetry-Guide

而下面這本書則是攝影測量學的聖經：

Elements of Photogrammetry with Applications in GIS

攝影測量的核心公式 “共線方程式 collinearity equation”：

x_a 、 y_a 表示某特徵點 a 的影像坐標；x_p 、 y_p 表示影像像主點坐標 (Principal Point)；c 為相機焦距 f 的倒數；m_ij 為三維旋轉矩陣的九個元素，代表相機坐標系統與空間坐標系間的旋轉，或相機相對於空間坐標系統的三軸姿態角，採尤拉角 (Euler Angle) 的 DCM 形式 (Direction Cosine Matrix) 表示；X_A 、 Y_A 、 Z_A 為該特徵點 a 的物空間坐標，即真實空間的坐標，例如 TWD97坐標系統； X_C 、 Y_C 、 Z_C 則是相機攝影中心的物空間坐標。

x_p 、 y_p 、c 為相機內方位參數 ( Interior Orientation ) ，X_C 、 Y_C 、 Z_C 與 m_ij 包含的三維姿態角則是相機外方位參數 ( Exterior Orientation )，即相機物空間的位置與姿態。這個公式也有考量透鏡畸變參數的變形版本，這邊就不贅述。

基於這個公式，配合各種不同的已知條件，就可以達成求解相機位姿或計算特徵點空間坐標等不同的應用，產品之一即是所謂的數值地形模型 (Digital Terrain Model, DTM)。

內政部地政司衛星測量中心與國土測繪中心都有科普的知識介紹可以參考。

與機器視覺 Computer Vision 的差異

看到這邊，熟悉 Computer Vision 的人應該已經覺得好像喔～尤其是 Visual SLAM 相關的技術。因為攝影測量也能夠做到 mapping 環境與載體的位姿估計，我本身的研究就曾應用攝影測量方法來估計手機位置，與其他手機感測器完成室內定位的整合應用。當時的我粗淺地認為，兩者的差異主要體現在數學上：

攝影測量以最小二乘法 (Least Square) 疊代求解共線方程式

機器視覺以矩陣線性代數 Essential Matrix (EM) 本質矩陣的概念求解 RT 矩陣

不過畢業後因為工作內容較沒有關係，就沒有再深入探究，直到寫這篇文章，才發現原來早從1993年開始就陸續有人探討這個問題：

1. Relationship between photogrammmetry and computer vision
2. Computer Vision and Photogrammetry Mutual Questions: Geometry, Statistics and Cognition

下面三篇分別從 Motion Estimation、3D Mapping 以及 epipolar geometry 的面向討論：

1. Comparision of Computer Vision and Photogrammetric Approaches for Motion Estimation of Object in an Image Sequence
2. The Comparisons of 3D Analysis Between Photogrammetry and Computer Vision
3. Comparison of Computer Vision and Photogrammetric Approaches for Epipolar Resampling of Image Sequence

在維基百科則描述攝影測量與機器視覺的重疊部分在於 stereophotogrammetry 與 computer stereo vision。

總的來說，大致可以用攝影測量追求高精度，而機器視覺追求高效率(即時性)來概略區分這兩種技術，也因此兩者就產生互補性，下面羅列其他參考資源在探討兩種技術如何互補，甚至已經有新名詞「Photogrammetric Computer Vision」：

1. A Photogrammetric and Computer Vision-Based Approach for Automated 3D Architectural Modeling and Its Typological Analysis
2. Combined use of photogrammetric and computer vision techniques for fully automated and accurate 3D modeling of terrestrial objects
3. Editorial: Computer Vision and Photogrammetry: Interaction or Introspection?

補充

最近有幸在國立成功大學測量及空間資訊學系 曾義星教授榮退的時刻，拜讀老師的「攝影測量對電腦視覺的愛恨情仇」，老師提出的差異主要體現在四個面向：

1. 相機坐標框架的定義與透鏡畸變建模不同，使得解算出的內方位與畸變參數有些微不同。
2. 影像匹配方法不同，攝影測量使用 Normalized Cross Correlation (NCC)、Least-Squares Matching (LSM) 與 Interested Point Operator (IPO) 方法，機器視覺則使用 Scale-Invariant Feature Transform (SIFT)、Speeded Up Robust Features (SURF) 或 Oriented FAST and Rotated BRIEF (ORB)。機器視覺已能夠全自動化計算。
3. 相對方位解算理論不同，雖然都是基於共面條件 Coplanarity conditions ，但攝影測量假設左像的外方位參數固定，建立基線 baseline 後，以共線式解算，需要5對共軛像對。機器視覺則直接以 EM 和 SVD （singular value decomposition）解算，需要7組共軛像對，最後從4種可能解中挑出前向交會的組合為正確解
4. 全方位解決方案的不同，是指攝影測量製作正射影像 Orthoimage 與 機器視覺製作 Structure from Motion (SfM) 的流程與方法的差異。

後記

因為攝影測量與機器視覺的異同，使得仰賴前者的移動測繪系統 (Mobile Mapping System, MMS) 與根據後者的同步定位與地圖構建 (Simultaneous localization and mapping, SLAM) 產生了差異。

而有趣的是， MMS 製作的高精地圖 HDMap 與使用 SLAM 技術的 Localization，現在正相遇在自動駕駛領域。也衍伸出所謂的 True Map 或 Static Map 與 Crowdsourcing Map 或 Dynamic Map 的不同，但又交疊融合在一起。後續的發展演變值得繼續關注～

我的相關文章

LOAM / SLAM 開源專案錯誤排除 – 【ROS 學習筆記】

SolvePnP for Camera Pose – 【OpenCV 學習筆記】