공간정보시스템 / 3차원 시각화 / 딥러닝 기반 기술 연구소 @지오서비스(GEOSERVICE)
지난주에 OpenCV를 이용해 화상카메라로부터 영상을 받아, 움직이는 물체를 검출해 보는 코드를 작성해 보았는데, 여기에 자동으로 움직이는 물체가 있을 시에 그 영상을 캡춰받아 자동으로 저장하도록 해보았다.
사용하고 있는 화상카메라를 기준으로 했을때 동적화소변이율이 0.5% 미만일 경우 화면상에 움직이는 물체가 없다고 판단했을때 정확히 일치했다. 그리고 0.5이상일때부터 영상에 움직이는 물체가 나타나기 시작했다가 1% 이상일때 움직이는 물체가 화면의 중앙에 위치한 상태였다. 동적화소변이율이 1%일때의 영상을 날짜와 시간을 파일명으로 해서 저장하도록 했다.
다음 단계는 움직이는 물체가 “누구(Who)”인지를 자동으로 판별해 내는 것..! 두둥~! 이를 위해 필요한 알고리즘은 무엇인가?
작년 8월쯤 (회사 입사때쯤이라 기억하고 있음)에 마소 잡지를 뒤적이던 중에 OpenCV라는 오픈소스의 Computer Vision 라이브러리를 알게 되었다. 이게 “물건”이구나라는 것을 느꼈고, 다운로드 받아 대충이라도 살펴 보았지만, 잠시 시간의 흐름과 함께 내 관심밖으로 밀려나갔다. 그러던중에… 요즘 오픈소스인 Ogre3D도 분석해보고 하던차에, OpenCV가 생각났다. GIS에서 위성영상이나 항공영상으로부터 데이터를 추출하는 등, 이미지 처리 분야는 매우 중요하고 앞으로 더욱 중요해질 것이다.
먼저 OpenCV가 뭐에 쓰는 물건인지는 알아서들 알아내시고…(뜨헉~ -_-;) 이번엔 OpenCV의 기능중 빙산의 일각인 화상카메라로부터 영상을 취득한 후에, 취득한 영상에서 움직이는 물체를 검출해보는 기능을 작성해 보았다. 매우 다양하고 효율적인 방법이 많이 있을지 모르겠지만, 당장 생각나는 방법은 현재 프레임 영상과 바로 이전 프레임 영상에 대한 같은 위치의 화소값을 비교해서 다르면 움직이는 물체에 대한 화소일 것이라는 아이디어로 접근해 보았다.
하지만 동일한 위치의 화소값이 두 프레임 이미지가 정확히 일치라는 비교는 무리가 있었다. 화상카메라에서 취득하는 영상은, 비록 움직이는 물체가 없을지라도 미세하게나마 연속된 프레임일지라도 다르게 취득되었다. 그래서 동일한 위치의 화소값의 차이가 어느 정도의 차이가 날때 움직이는 물체다.. 라는 기준으로 접근을 해 보았다. 결과는 처음치곤 만족할 만했다.
아래는 프레임 영상을 받아서 실제 움직이는 물체를 검출해주는 소스코드이다.
void OnFrame(IplImage* image) {
HDC hDC = GetDC(m_hWnd);
SetDIBitsToDevice(hDC, 0, 0, image->width, image->height, 0, 0, 0,
image->height, image->imageData, (BITMAPINFO *)&m_bmpInfo,
DIB_RGB_COLORS);
SetDIBitsToDevice(hDC, 330, 0, image->width, image->height, 0, 0, 0,
image->height, image->imageData, (BITMAPINFO *)&m_bmpInfo,
DIB_RGB_COLORS);
IplImage* gray=cvCreateImage(cvGetSize(image), IPL_DEPTH_8U, 1);
cvCvtColor(image, gray, CV_BGR2GRAY);
if(bHasOldImage) {
HRGN hRgn = CreateRectRgn(330, 0, 330+320, 240);
SelectClipRgn(hDC, hRgn);
float CriticalValue = 15.0f;
for(int x=0; xwidth; x+=6) {
for(int y=0; yheight; y+=6) {
uchar c1 = ((uchar*)(gray->imageData +
gray->widthStep*y))[x];
uchar c2 = ((uchar*)(m_oldGrayImage->imageData +
m_oldGrayImage->widthStep*y))[x];
if(fabs(float((float)c1-(float)c2))>CriticalValue)
{
int X = 330+x;
int Y = image->height-1-y;
Rectangle(hDC, X-3, Y-3, X+3, Y+3);
}
}
}
DeleteObject(hRgn);
}
m_oldGrayImage=cvCreateImage(cvGetSize(image), IPL_DEPTH_8U, 1);
cvCvtColor(image, m_oldGrayImage, CV_BGR2GRAY );
bHasOldImage = true;
ReleaseDC(m_hWnd, hDC);
}대략 설명해 본다면, 우선 OnFrame 함수는 OpenCV에서 화상카메라로부터 영상이 들어올때 실행되는 Callback 함수이다. 영상은 24비트로 들어오는데 속도와 계산을 간단하게 하기 위해서 8비트인 Gray로 변환하기 위해 cvGray를 사용하였다. 연속되는 프레임 영상의 같은 위치의 화소값을 비교하여 움직이는 물체에 대한 화소인지의 비교한 차이값으로 15를 사용하였음을 알 수 있다. 차이값이 15이상인 화소의 위치에 White Box를 그려주었다.
얼마전에 했던 작업이 공간연산이였는데, 쉽게 알고만 있었고 쉽게 사용해 왔던 공간연산이 직접 하나 하나 정확하게 구분하려고 보니, 상당이 헤깔린다는 것을 알게 되었다. 또한 공간연산하면 단지 교차하는지, 포함하는지와 같은 공간관계 연산만이 아니라 공간분석 연산도 포함되다는 사실을 알게 되어 정리하는 차원에서 글을 남긴다. 또한 작업했던 것에 대한 Test 실행파일을 올리니 여러분도 한번 실행해 시험해 보길 바란다. 참고로 공간분석 연산의 경우 결과가 Multi-Polygon인 경우 자랑스런 Memory 충돌에러가 발생한다는 점에 주의하기 바란다.
Geometry의 Spatial Relations
GIS에서 Geometry는 단순하게 Point, Polyline, Polygon으로 구분되며, 몇가지 제약사항을 갖게 되는데 이러한 Geometry를 Simple Feature라고 한다. 이러한 Simple Feature 둘 이상이 공간상에서 관계를 갖게 되는데, Spatial Relation이라고 한다. Spatial Relation의 종류는 모두 8가지 이다.
8가지의 관계들 중에는 서로 비슷한 연산이 있지만, 분명한 차이점을 가지고 있다. 예들 들어 두개의 폴리곤이 touch 관계을 갖는다면, intersect 관계도 항상 갖는다. 하지만 반대로 intersect 관계을 갖는다고 해서 touch 관계을 갖지는 않는다. 다른 예로 overlap과 intersect 연산의 경우, overlap이 참인 경우 항상 intersect도 참이지만, 반대로 intersect이 참이라고 해서 항상 overlap이 참이지는 않다. 하나의 폴리곤이 다른 하나의 폴리곤안에 완전이 포함되는 경우 intersect이 참이지만 overlap은 참이 아니기 때문이며, 이러한 경우는 contain이 참이거나 within이 참이기 때문이다. 여기서 contain과 within은 능동이냐, 수동이냐의 의미를 갖는다.
일단은 폴리곤에 대한 예를 들었지만 서로 다른 형태의 폴리곤과 폴리라인과의 관계를 생각하면 8가지의 관계의 필요성과 이해가 더욱 피부에 와닿을 것이다. 즉, crosses의 경우에는 폴리곤과 폴리라인의 경우에만 연산의 의미가 있다.
Geometry의 Spatial Analysis
GIS에서 Geometry의 Spatial Analysis는 모두 6가지이며 다음과 같다.
위의 화면은 Test의 실행 화면인데, Union 연산, 20 Pixel 확장 Buffering 연산, Difference 연산에 대한 결과이다.