CV 응용 사례#2 - 동작 분석과 장면 재구성

* motion analysis and scene reconstruction 동작 분석과 장면 재구성

• 인식에서 각각의 이미지를 분석했다면 동작 분석에서는 다수의 이미지를 분석하게 된다. 이미지의 배열이라고 생각해도 좋고 영상이라고 생각해도 좋다 영상이 이미지의 배열이기 때문이다.
• 이 과제의 목표는 이미지에서 무언가가 움직이는 지점을 찾는 것이다. 첫 번째 이미지에서 찾은 지점을 두 번째 이미지에서도 발견했다면 두 지점은 같은 강체의 일부일 수도 있다. 또는 해당 객체를 추적해서 배열 상의 첫 번째 이미지에서 두 번째 이미지까지 얼마나 이동했는지 추정할 수도 있다. 때로는 방향을 알아내거나 움직임의 크기를 알아낼 수도 있다.이렇게 방향과 움직임의 크기를 분석할 수도 있다.
• 동작 분석에서는 output(출력)이 근본적으로 time-depedent information(시간에 의존하는 정보)이다. 연속된 이미지를 따라가면서 시간 0과 시간 1, 시간 2 사이에 객체의 동작을 파악할 수 있다.
• surveillance applications 원격 감시 : 특정한 객체를 시간에 따라 영상의 이미지 배열상에서 추적하고 싶은 경우
• information about the scene: the geometry of the scene. the 3D information about the scene. 기본적으로 2D 평면인 이미지로부터 3D상에서 장면이 어떻게 보이는지 알 수 있다.이는 움직이는 객체의 성질에 대한 정보를 포함하기도 하는데 이를 장면 재구성이라고 부른다. 동작 분석과 강하게 연관되어 있으며 둘을 떼어놓을 수는 없다. 장면 재구성이 오로지 동작 분석으로만 이루어질 때도 있다.
• 여러 이미지에서 대응되는 점 또는 요소를 분석하면 카메라의 포즈에 대한 정보를 얻을 수 있다. 이는 3D 장면에서 카메라의 위치를 뜻한다. 카메라의 위치가 연속된 모든 이미지에서 같을 필요는 없고, 장면 구조에 대한 정보도 알아낼 텐데 다양한 구성 요소와 그 기하학적 구조가 여기에 포함된다. 어떤 객체가 어떤 객체 앞에 있는지 어떤 객체가 다른 객체로 가려져 있거나 막혀 있는지 그리고 장면 내 객체의 특징 등이 여기에 해당한다. 여기서 특징이란 질감일 수도 있고 빛을 반사하는 방식일 수도 있다. 일반적으로 객체의 성질은 구성 물질로부터 추정할 수 있다.

 

* 동작 분석과 장면 재구성의 응용 사례

1. vision in space 우주 촬영

- 로봇 분야에서 컴퓨터 비전을 활용하는 구체적인 사례로, 로봇에는 한 대 또는 두 대의 카메라가 장착되는데 이를 통해 ㄴ현장 즉, 해당 환경의 기하학적 구조를 알아내어 길을 찾거나 해당 환경에서 작업하고 이동하는 데 도움이 될 수 있다. 

- NASA의 퍼서비어런스 로버 :

https://mars.nasa.gov/files/mepjpl/25640_PIA24264-Perseverance_Sol3_Mastcam-Z_panorama-web6.jpg

• 두 대의 카메라에 적용된 비전 시스템; 이미지를 사용해 3D 지형을 모델링해서 퍼서비어런스가 해당 지형을 안전하게 돌아다닐 수 있도록 해준다. 때로는 산과 계곡이 포함된 매우 복잡한 지형 지도를 생성하기도 하며 퍼서비런스가 지나갈 수 있는 안전한 경로나 지점을 특정한 색으로 표시하기도한다. 
• 파노라마 생성; 광시계 이미지를 뜻하는데, 이미지를 연달아 촬영해서 이어 붙인 파노라마 이미지를 생성한다. 

 

2. Autonomous vehicles 자율주행차:

https://player.vimeo.com/video/192179726?color=cc0000&title=0&byline=0&portrait=0&player_id=192179726

• 비전 시스템이 모든 장면에서 객체의 정보를 수집하고 분석하여 도로 위의 차선이나 차량뿐만 아니라 도로 위의 기타 객체도 분석한다. 
• 객체의 움직임을 추적해서 탑승한 차량이 해당 객체에 얼마나 빠르게 그리고 얼마나 가까이 다가가고 있는지 알려줌으로써 충돌하지 않도록 해준다. 

 

3. Unmanned Aerial Vehicles (UAV) 무인항공기

https://ptolemy.berkeley.edu/projects/robotics/bear/current_research.html

• 비주얼 서보잉, 지도를 탐색해서 착륙하기 최적의 장소 찾기, 고도 추정 및 장애물 회피기능, 시각 기반 착륙 기능 등에 비전 시스템이 사용된다.

 

4. Human motion analysis 인체 움직임 분석

- 의료 분야 : 사람이 움직이는 영상을 통해서 다양한 인체 구성 요소의 움직임을 추정 및 분석할 수 있다. 물리치료에 굉장히 많이 응용되고 있다. 걸음걸이의 운동학적 분석을 예로 들 수 있다. 비슷한 이유로 스포츠 의학 분야에서도 많이 활용된다.

- tracking and surveillance 추적 및 감시

 

5. motion analysis in manufacturing

고속 카메라와 영상 감시 장비를 사용해 제조업 현장에 있는 조립 설비나 로봇을 분석하는 것이다. 안전 목적인 경우도 있고, 혹은 비효율적 동작 및 고장 감지가 목적인 경우도 있다.

- 스포츠 장비 제조업 : 비전 분석을 통해 최적의 성능을 내는 장비를 설계한다.

 

6. 생물학 분야

: 입자나 객체 등을 추적하고 그 수를 계산하는 데 많은 노력이 들어간다.

- 전자 현미경을 사용해서 박테리아나 바이러스를 추적하려는 경우. 

- 벌이나 반딧불이와 같은 생물 개체를 추적하거나 그 수를 세어야 하는 경우