n  Gaze Tracking

KEYWORD: gaze tracking, gaze estimation, pupil center detection ----------------------------------------------------------------------------------------------

최근 스마트 기기들의 점차적인 발전과 더불어, 편리하면서도 직관적인 human-device interaction (HDI) 에 대한 소비자들의 요구가 증가하고 있다. 다양한 HDI 기술들 중에서, 사람의 눈의 움직임을 통하여 그 시선이 2차원 화면 상에서 응시하는 지점 (point-of-gaze, POG) 을 예측하는 기술인 시선 추적 (remote eye gaze tracking, REGT) 이 각광받고 있다.

일반적으로 시선 추적 기술은 카메라 입력으로 받아들이는 영상의 종류에 따라 Visible image based 방식과 IR image based 방식으로 나뉘는데, 전자는 정확도가 높지는 않지만 설치 및 사용이 용이한 장점이 있고, 후자는 정확도는 높지만 IR camera 이외에 IR 조명 등의 부가적인 장치가 필요하다는 단점이 있다. 대부분의 상용 시선 추적 제품들이 궁극적으로 높은 예측 정확도를 목표로 하기 때문에 IR image based방식을 고수하는데, 일반적으로 IR 장비 또는 user calibration 과정의 복잡도가 증가할수록 시스템의 성능은 개선되는 것으로 알려져 있다. 본 연구실에서는 이러한 시스템의 복잡도와 예측 정확도 간의 tradeoff 속에서 최소 비용으로 최적의 시선 추적 성능을 얻을 수 있는 기법을 연구하고 있다.

 

Related Papers

[1] Y.-G. Shin, K.-A Choi, S.-T. Kim, C.-H. Yoo, and S.-J. Ko, “A Novel 2-D Mapping-based Remote Eye Gaze Tracking Method using Two IR light Sources,” Proc. ICCE 2015, Las Vegas, USA, to be published.

[2] K.-A Choi, S.-J. Baek, C. Ma, S. Park, and S.-J. Ko, “Improved Pupil Center Localization Method for Eye-Gaze Tracking-Based Human-Device Interaction,” Proc. ICCE 2014, Las Vegas, USA, pp. 524-525, Jan. 2014.

[3] K.-A. Choi, S.-J. Baek, C. Ma, S. Park, and S.-J. Ko, “A novel iris center localization method based on the spherical eyeball rotation model for human-device interaction,” Proc. ICCE 2013, Las Vegas, NV, USA, Jan. 2013, pp. 438-439.

[4] K.-A Choi, C. Ma, and S.-J. Ko, “Improving the Usability of Remote Eye Gaze Tracking for Human-Device Interaction,” IEEE Trans. Consum. Electron., 2014, to be published.

[5] C. Ma, S.-J. Baek, K.-A Choi, and S.-J. Ko, “Improved remote gaze estimation using corneal reflection-adaptive geometric transforms,” Opt. Eng., vol. 53, no. 5, pp. 053112-1-6, May 2014.

[6] S.-J. Baek, K.-A. Choi, C. Ma, Y.-H. Kim, and S.-J. Ko, "Eyeball model-based iris center localization for visible image-based eye-gaze tracking systems," IEEE Trans. Consum. Electron., vol. 59, no. 2, pp. 415-421, May 2013.

 

Related Patent

동공 검출 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 동공 검출 장치 (METHOD OF DETECTING PUPIL, COMPUTER READABLE STORAGE MEDIUM OF RECORDING THE METHOD AND AN PUPIL DETECTING DEVICE),출원번호. 10-2014-0001406, 출원일자 2014년 1월 6일

 

Conventional gaze tracking method (Homography Normalization method)

 

Proposed gaze tracking method (Generalized normalization-based method) [5]

 

Proposed gaze tracking method (One point calibration method using user calibration database) [4]

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Current research topics:

- Improving the accuracy of the eye-center detection [2], [3], [6]

- Improving the usability of gaze tracking by reducing the number of IR light sources [1], [5]

- Improving the usability of gaze tracking by reducing the calibration process [4]

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

n  Collision risk estimation

KEYWORD: collision detection, obstacle detection, visually impaired people --------------------------------------------------------------------------------

 

고도의 연산능력을 갖춘 모바일 장비가 널리 보급됨에 따라, 시각 장애인을 위한 여러 응용 분야에도 휴대용 기기가 사용되고 있다. 특히 시각장애인이 이동할 때, 주위의 장애물과 충돌하지 않도록 도와주는 주행보조기기는 향후 크게 기대되는 모바일 장치의 응용 분야 중 하나이다. 주행보조기기의 주행 안내 기능을 위해서는 주행 중 예상되는 충돌을 미리 알려주는 충돌 검출 기법이 필수적이다.

우리는 영상 시퀀스에서 움직임 정보를 이용하여 충돌을 감지하는 기법을 제안하였다. 제안하는 기법에서는 각 프레임마다 특장점을 추출하고, 이를 기준으로 들로네 삼각법을 이용하여 영상을 삼각형으로 분할한다. 그리고 시간에 따라 그 삼각형의 크기 변화를 측정하여 충돌 위험을 감지한다. 하지만 이러한 접근법은 특장점에 크게 의존하고, 충돌 감지를 위하여 오직 2장의 인접한 영상을 사용하기 때문에 잡음과 파라미터에 따라 매우 민감한 결과를 보인다. 그 결과, 충돌 위험이 실제 환경에서 부정확하게 예측되는 문제가 있다. 또한 특장점의 수에 따라 예측 성능이 일관적이지 않은 경우를 보이기도 한다. 이러한 문제들을 극복하기 위하여, 강인한 충돌 위험 감지 기법을 연구, 개발하고 있다. 

 

Related Papers

[1] S.-H. Chae, J.-Y. Sun, M.-C. Kang, B.-J. Son, and S.-J. Ko, "Collision Detection Based on Scale Change of Image Segments for the Visually Impaired," Proc. IEEE Int. Conf. Consum. Electron., to be published (2015).

Fig. 1 Collision detection using the local scale change

  

Fig. 2 The prototype glasses for collision detection

 

Fig. 3 Collision detection using the proposed grid structure

 

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Current research topics:

- Collision risk estimation

- Wall detection

- User-interface for visually impaired people

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

 

n  Object Segmentation

KEYWORD: object detection, objectness, object proposals, deep neural network --------------------------------------------------------------------------

 

물체 검출은 그 자체로 컴퓨터비전 분야의 주된 연구과제일 뿐만 아니라 물체 분류를 위한 선행 단계로서 활발히 연구되고 있다. 대부분 기법은 자동차나 보행자 등 물체가 속한 범주에 특화된 검출기를 위한 슬라이딩 윈도 방법을 사용하고 있다. 하지만 최근에는 영상 내 objectness를 측정하여 물체가 속한 범주에 무관하게 물체를 검출하는 기법이 연구되고 있다. 이들 기법은 영상 내에서 물체가 있음 직한 후보 영역을 빠르게 추출해 줌으로써 슬라이딩 윈도 기법보다 효율적인 탐색 영역을 제공해 준다.

본 연구실에서는 이를 위해 saliency map을 이용한 물체 검출 방법을 제안한 바 있다. Saliency map은 영상 내 물체가 있을 확률을 나타내는 확률지도의 의미를 가지며, saliency의 밀도가 가장 높은 영역은 곧 영상 내 물체영역이라 할 수 있다. 영상에서 saliency map을 추출한 뒤 Gaussian mixture model과 expectation maximization을 이용해 saliency밀도가 높은 여러 개의 영역을 찾아 다중 객체 검출이 가능하도록 하였다. 이러한 방법은 학습 과정 없이 다중 객체를 검출할 수 있으나, 더 높은 정확도를 얻기 위해 최근에는 deep convolution neural network를 이용한 물체 검출도 연구되고 있다.

Related Papers

[1] 최규형, 김영현, 고성제, "Saliency Map을 이용한 다중 물체 검출 알고리즘," 대한전자공학회 추계학술대회 논문집, 서울, 대한민국, pp. 448-450, NOV. 23, 2013.

 

Object detection using saliency map

Object detection using deep neural networks

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Current research topics:

- Object detection using saliency map [1]

- Object detection using deep neural networks

- Category independent object detection

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

 

n  Object detection

KEYWORD: pedestrian, vehicle, detection, surveillance ------------------------------------------------------------------------------------------------------------

 

객체 검출 기술은 감시 시스템, 지능형 자동차, 로봇, 자동차 안전 시스템 등에서 이용되는 기반 기술 중 하나이다. 지능형 감시시스템과 로봇 시스템에서는 보행자 검출, 차량 검출기술 등이 사용되며, 지능형 자동차 및 자동차 안전 시스템에서는 주로 보행자 검출 기술과 차량 검출 기술이 사용된다.

대부분의 객체 검출 기술은 특징 추출과 분류단계의 2단계로 이루어져 있다. 특징 추출 단계에서는 입력 영상으로부터 목표객체를 표현하기에 적합한 특징값들을 추출하고, 추출된 특징들은 영상 내의 목표 객체를 검출하기 위해 사용된다. 주로 gradients, colors, motion 정보를 사용하며 다수의 특징 정보들을 통합하여 사용하기도 한다. 분류단계에서는 기계학습 알고리즘이 사용된다. 추출된 특징 정보들을 사용하여 영상에서 객체의 위치 및 크기 등을 판단하기 위해 Support Vector Machine(SVM), Boosting, Genetic Algorithm, Neural Network 등이 많이 사용되며, 최근에는 특징 추출부터 분류단계까지 자동 학습이 가능한 Deep-learning 기술도 연구하고 있다. 

Related Papers

[1] Won-Jae Park, Dae-Hwan Kim, Suryanto, Chun-Gi Lyuh, Tae Moon Roh, and Sung-Jea Ko, “Fast Human Detection Using Selective Block-based HOG-LBP," in Proc. IEEE Int. Conf. on Image Process., 2012, pp. 601-604.

[2] Lei Lei, Yi Hu, Dae-Hwan Kim, and Sung-Jea Ko, “Car-pose Detection Using Randomized WLD,” in Proc. IEEE Int. Congr. on Image and Signal Process., 2011, pp. 1520-1523.

Related Patent

객체 검출 장치 및 시스템 (OBJECT DETECTION DEVICE AND SYSTEM), patent no. 10-2010-0102547, Oct. 2010
보행자 검출기의 보행자 검출 방법 (PEDESTRIAN DETECTION METHOD OF PEDESTRIAN DETECTION DEVICE), patent no. 10-2011-0124209, Nov. 2011.

 

Simple flowchart of the pedestrian detection

Pedestrian detection

Vehicle detection

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Current research topics:

- Pedestrian detection [1]

- Vehicle detection [2]

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

 

n  Interactive projected display

KEYWORD: interactive surface, touch recognition, shape adaptive ---------------------------------------------------------------------------------------------

 

최근 사람과 전자기기간의 상호작용에 대한 새로운 설정을 가능하게 하는 신기술들이 상용화되고 있다. 이 기술들은 기존의 시스템 들보다 더 편리하게 그룹 작업을 지원할 뿐 아니라 상호 작용의 품질을 향상시킬 수 있다. 임의의 물체에 접촉을 통해 기기와의 상호 작용이 가능한 터치 디스플레이는 유망한 접근 방법 중 하나로, 사용자들에게 일상에서 접할 수 있는 물체들을 통하여 주위 환경을 조절하는 것을 가능케 한다.

본 연구에서는 임의의 평면에 대한 터치 인식이 가능하고, 평면에 적합하게 영상을 조절함으로써 왜곡 없이 영상을 프로젝션할 수 있는 시스템이 고안된다. 터치 인식의 경우 뎁스 카메라로 측정한 거리 정보를 통해 평면을 모델링 한 후 평면과 근접한 손 영역을 찾아냄으로써 진행되며, 왜곡되지 않은 영상을 프로젝션하기 위해서는 평면에서 영상이 프로젝션 되는 영역을 찾아내고, 그 영역 내에서 사용자가 보기에 왜곡이 없도록 보이게끔 하는 영역을 깊이 정보를 통해 찾아낸 후, 두 영역간의 변환 매트릭스를 통해 영상을 변환함으로써 진행된다. 모든 프로세스는 깊이 정보를 이용하기 때문에 깊이 정보의 오차에도 강인한 알고리즘에 대해서 연구를 진행하고 있다.

 

Fig. 1. Interactive projected display system

 

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Current research topics:

- Touch recognition using depth camera

- Shape adaptive display

- Camera and projector calibration

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

 

n  Object Tracking

KEYWORD: object tracking, target modeling, target localization --------------------------------------------------------------------------------------------------

 

Object tracking은 앞서 Segmentation이나 Object detection 방법으로 검지한 물체가 이동하는 과정을 인지하고 추적하는 기술이다. 추적 방법에는 여러 가지가 있지만 대부분의 방법은 두 단계의 과정으로 이루어 진다. 먼저 추적할 물체를 모델링을 하는 단계가 있으며, 다음으로는 만들어진 물체 모델의 변화된 위치를 찾는 단계가 있다. 물체를 모델링 하는 방법으로는 Histogram등을 사용하는 방법이 있으며 위치를 찾는 방법에는 여러 가지가 존재하지만 간단한 방법으로는 sliding window를 사용하는 Scanning 방법이 있으며 평균값 이동 (Mean-shift)이나 Particle filtering등의 상대적으로 정확한 방법이 있다. 이러한 물체 추적 기술들은 보행자, 차량 추적 및 각종 영상 보안 시스템 같은 분야에 응용될 수 있다.

 

Car detection and tracking

현재 서울 등 도심지의 복잡한 교통 상황과 늘어나는 차량으로 인해 많은 곳에서 불법 주정차가 일어나고 있으며 이러한 불법 주정차는 교통 체증과 사고 위험을 증가시키는 주요한 원인 중 하나이다. 하지만 이러한 불법 주정차를 단속하기 위해 단속요원을 증원하는 방법만으로는 비용과 인력의 한계가 있기 때문에, 이에 대한 대안으로 무인 단속 시스템이 주목받게 되었다. 무인 불법 주정차 단속 시스템은 도로상에 불법으로 주정차한 차량을 단속요원이 출동하지 않고도 단속 카메라를 사용하여 무인으로 불법 주정차를 감지하고 해당 차량의 번호판을 식별하여 주정차 단속을 하는 시스템이다. 이러한 불법 주정차 감시 시스템은 차량 검지와 추적 기술에 기반을 둔 응용 분야로써 Backround subtraction 기반의 Car detection 방법과 Mean-shift 기반의 Tracking 방법을 사용하여 구현된다.

 

Unmanned visual surveillance system

비디오에서의 자동 물체 인식 및 추적기술은 많은 분야에서 응용되고 있으며 국내외에서 관련 기술의 연구 및 개발이 크게 증가하고 있다. 그 중에도 중점적으로 연구되고 가장 효과적으로 사용되는 응용 분야 중 하나로는 비디오를 이용한 무인감시(unmanned surveillance) 시스템을 꼽을 수 있으며, 이는 감시 카메라의 영상을 입력 받아 경비인력 없이 외부 침입자를 식별하고 이동 방향을 연속으로 계산하여 무단 침입자를 지속적으로 추적하는 시스템을 말한다. 이 시스템에서는 무단 침입자가 금지된 영역에 접근하는 경우 자동으로 경보를 발행하여 범죄를 예방할 수 있다. 또, 이와 관련하여 경비가 필요한 영역의 영상을 기록하는데 많이 사용되고 있는 자동 비디오 녹화장치(video recorder)는 영상 저장을 위해 사용되는 메모리 크기를 효과적으로 줄여줄 수 있다. 기존의 경우에는 24시간 내내 감시가 필요한 영역의 영상을 무조건 녹화하여야 했지만, 무인감시 시스템을 사용하여 무단 침입자를 자동으로 감지하고 추적할 수 있게 되면 경보조건이 발생하는 순간의 영상만을 기록할 수 있기 때문이다.

여러 가지의 무인 영상 보안 시스템 중에서 자동 물체 추적 시스템은 침입자의 행동분석이나 사람인식 혹은 자동차 번호판 인식 등을 위해서 회전과 확대가 가능한 PTZ(Pan-Tilt-Zoom)카메라를 이용하여 물체를 추적하는 시스템을 말한다. 이 시스템에서는 PTZ카메라를 이용하여 넓은 범위를 감시하되, 침입자가 발생하는 경우 해당 목표를 확대 추적하여 자세한 정보를 얻도록 하는 목적이 있다.

 

Related Papers

[1] Suryanto, D.-H. Kim, H.-K. Kim, and S.-J. Ko, "Spatial Color Histogram Based Center Voting Method for Subsequent Object Tracking and Segmentation," Image and Vision Computing, vol. 29, no. 12, pp. 850-860, Nov. 2011.

[2] D.-H. Kim, S.-W. Jung, Suryanto, S.-J. Lee, H.-K. Kim, and S.-J. Ko, “Object Modeling with Color Arrangement for Region-Based Tracking,” ETRI Journal, vol. 34, no. 3, pp. 399-409, Jun. 2012.

[3] D.-H. Kim, H.-K. Kim, S.-J. Lee, W.-J Park, and S.-J Ko, "Kernel-based Structural Binary Pattern Tracking," IEEE Trans. Circuits Syst. Video Technol., vol. 24, no. 8, pp. 1288-1300, Aug. 2014.

 

Object tracking using PTZ camera

 

Process of generating object confidence map[3]

Comparison of tracking result from various tracking algorithms (ours[3]: white)

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Current research topics:

- Object detection & segmentation [1]

- Single object tracking for surveillance system [2], [3]

- Multiple object tracking for people activity analysis

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

 

n  Face Recognition

KEYWORD: face recognition, face authentication, face verification ----------------------------------------------------------------------------------------------

 

얼굴인식은 컴퓨터 비전 분야에서 수십 년간 꾸준히 연구되고 있는 주제이다. 최근까지 생체인식, 사람-컴퓨터간 상호작용, 지능형 보안 등의 다양한 분야에서 응용하고 있는 분야이다.

얼굴을 인식하기 위해서는 먼저 입력된 얼굴에서 특징점을 추출하고, 그 특징점을 사람에 따라 분류하는 과정을 거치게 된다. 본 연구실에서는 특징점[1] 및 분류기[2, 3] 뿐만 아니라 다양한 조명환경에서 검출된 얼굴을 표준화하는 연구하고 있다 [4]. 또한, 응용 분야로는 스마트 비전용 얼굴인식기를 개발하고 있다.

 

Related Papers

[1] Leilei, D.-H. Kim, W.-J. Park, and S.-J. Ko, "Face Recognition using LBP Eigenfaces," to appear in IEICE Transactions on Information and Systems, Apr. 2014.

[2] C.Ma, J.-Y. Jung, S.-W. Kim, and S.-J. Ko, "Random Projection-based Partial Feature Extraction for Robust Face Recognition, " Neurocomputing, 2014, to be published.

[3] Sung-Ho Lee, Jong-Woo Han, Oh-Jung Kwon, Tae-Hyun Kim, and Sung-Jea Ko, "Novel Face Recognition Method Using Trend Vector for a Multimedia Album, " ICCE 2012, pp.494-495, Las Vegas, USA, Jan. 13 ~ Jan. 16, 2012.

[4] S.-W. Kim, J.-Y. Jung, S. Park, and Sung-Jea Ko, "Enhanced Illumination Normalization for Local Binary Patterns (LBP)-Based Face Recognition," ICEIC 2014, Kota Kinabalu, Malaysia, pp. 135-136, Jan. 2014.

 

Smart glass with smart vision functions and its example

Example of the feature extraction for random-projection-based face recognition

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Current research topics:

- Face normalization [4]

- Face recognition features [1, 2]

- Local binary patterns for face recognition systems

- Smart vision library on the smart glass

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------