3 차원 실제 공간에서 D3 그룹의 행렬 표현을 계산하는 방법은 무엇입니까?

MVS 는 어느 정도 겹치는 다중 뷰 각도에서 장면의 밀집된 구조를 복구하는 기술입니다. 기존 방법은 기하학적 및 광학 일관성을 사용하여 일치 비용을 구성하고 일치 비용을 합산한 다음 깊이 값을 추정합니다. 기존 방법은 깊이 추정 정확도가 높지만 텍스처가 부족하거나 조명 조건이 크게 변하는 장면에서 일치 오류로 인해 깊이 추정의 무결성이 크게 향상됩니다. 최근 몇 년 동안 컨볼 루션 신경망은 피쳐 매칭에 성공적으로 적용되어 스테레오 매칭의 정확도를 높였습니다. 이러한 맥락에서 홍콩 과학기술대학의 요요 등은 20 18 에서 심도 있는 학습을 기반으로 한 종단간 깊이 추정 프레임워크인 MVSNET 를 제시했다.

다중 시점 스테레오 매칭 (MVS) 은 컴퓨터 분야의 핵심 문제입니다. 다중 뷰 스테레오 매칭의 재구성은 주어진 장면을 촬영하는 역과정으로 간주될 수 있습니다. 카메라 매핑에서 3D 장면은 2D 로 변환되고, 다중 관측점 스테레오 일치 재구성은 정반대입니다. 서로 다른 관측점에서 이미지를 촬영하여 실제 3D 장면을 복원합니다.

기존 방법은 수동으로 설계된 유사성 측정 및 정규화 방법을 사용하여 장면의 조밀한 대응 (예: 정규화된 상호 상관 관계 및 반전역 일치) 을 계산합니다. 이러한 방법을 사용하면 약한 텍스처 영역이 없는 장면과 비 람베르트 표면에서 좋은 결과를 얻을 수 있습니다. 그러나 약한 텍스처 영역에서는 수동으로 설계된 유사성 지표가 신뢰할 수 없게 되어 재구성 결과가 불완전하게 됩니다. MVS 데이터 세트 순위에 따르면 이러한 방법은 정확도가 높지만 재구성 방법의 무결성에는 여전히 큰 개선 공간이 있습니다.

컨볼 루션 신경망의 최신 발전은 입체일치 재건에 대한 열정을 불러일으켰다. 개념적으로 학습 기반 알고리즘은 강조 표시 및 반사에 기반한 사전 조건과 같은 글로벌 의미 정보를 캡처하여 보다 강력한 일치를 촉진합니다. 현재 두 뷰 사이의 입체일치를 탐구해 수동으로 설계한 유사성 측정이나 정규화 방법을 신경망으로 대체했다. 이 방법들은 비교적 좋은 효과를 보여 주며, 입체일치 분야에서 점차 전통적인 방법을 능가하고 있다. 실제로 스테레오 일치 작업은 CNN 에 적합합니다. 이미지 쌍이 수정되었기 때문에 스테레오 일치 문제가 수평 방향의 픽셀별 시차 추정으로 변환됩니다.

쌍안 스테레오 매칭과는 달리 MVS 의 입력은 원하는 수의 뷰이며, 이는 심도 있는 학습 방법으로 해결해야 할 까다로운 문제입니다. 그리고 이 문제를 인식하는 작품은 소수에 불과하다. 예를 들어, SurfaceNet 은 색상 복셀 큐브를 미리 재구성하고, 모든 픽셀의 색상 정보 및 카메라 매개변수는 네트워크에 대한 입력으로 3D 비용 몸체를 형성합니다. 그러나 3D 의 엄청난 메모리 소비로 인해 SurfaceNet 네트워크의 규모를 늘리기가 어렵습니다. SurfaceNet 은' 분할' 이라는 휴리스틱 전략을 채택하고 장면의 대규모 재구성은 시간이 오래 걸립니다.