모바일 멀티미디어
n Content-Aware Video Retargeting For Mobile Devices
현재 비디오 컨텐츠는 스마트폰등 다양한 모바일기기 통해 쉽게 유통되고 있다. 모바일 기기의 경우 비교적 작은 화면은 가지고 있기 때문에 작은 화면에 맞게 다운사이징을 수행하게 된다. 이따 널리 사용되는 scaling이나 cropping의 경우 영상 내 중요 부분이 너무 작아지거나 화면 비율이 맞지 않아 화면이 찌그러지고, 중요한 부분이 잘려나갈 수 있다. 이에 따라 영상내 중요도에 따라 다운사이징을 수행할 수 있는 content-aware 리사이징 기술(비디오 리타겟팅)이 최근 많이 연구 되고 있다. 하지만 기존의 비디오 리타겟팅 기술은 모바일 기기에서 수행하기에 많은 계산량과 메모리를 요구하므로 실시간을 동작하기 어렵다. 따라서 본 연구실에서는 향상된 성능의 저복잡도 실시간 Content-aware 비디오 리사이징 기술을 연구하고 있다.
-------------------------------------------------------------------------------------------------------------------
§ Current research topics: Video Retargeting, Content-Aware Image Resizing, Fast Image Resizing Algorithm in Transform Domain, Image Saliency.
Video adaptation for mobile devices with various screen sizes and aspect ratios
Comparison of Video Resizing Techniques
n Mobile Augmented Reality
가상현실의 한 분야인 증강현실은 현실세계를 바탕으로 목적물에 대해서만 3차원 가상현실을 적용함으로써 가상현실에 비해 상대적으로 용이한 구현조건을 가질 뿐 아니라 현실세계와 가상현실에서 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가지고 있다. 이러한 특징 때문에 의료, 시뮬레이션, 건축설계, 게임 등 다양한 분야에 기존과는 전혀 다른 정보를 제공할 수 있다는 점에서 차세대 디스플레이 기술로 주목 받고 있다.
그림 1은 이 증강현실 기술을 이용한 게임을 예를 보여주고 있다. 2008년에 시연된 이 게임의 화면에는 카메라를 통해 들어오는 실제 사람들과 의자들이 나타나 있다. 또한 게임 정보를 나타내는 초록색 글씨 뿐만 아니라 컴퓨터로 만들어진 가상의 적군이 나타나 게임 이용자와 전투를 벌이게 된다. 이 가상의 적군은 3D 기술로 합성되어 있어서 맨 뒤에 보이는 벽이나 비교적 뒤에 있는 사람들보다는 앞에 그려져 있지만 맨 앞에 앉아있는 검은 셔츠의 사람보다는 뒤에 그려져 있다.
Fig. 1 Example of AR
현실 세계(Real world)와 가상 환경(virtual environment)는 다음 그림에서 보는 바와 같이 혼합 현실(Mixed reality)의 부분 집합으로 증강현실은 그 사이에 놓여있다. 증강 현실은 현실 공간에 가상 물체가 합성되어 있다는 점에서 가상 공간에 현실 물체(또는 사람)가 합성되어 있는 Augmented virtuality와는 구별된다.
Fig. 2 AR compared with RE, AV, VE
모바일 증강현실 기술은 이 증강현실 기술을 이동 단말기에서 이용할 수 있게 하여 보다 활용도를 높인 기술로서 다음과 같은 여러 분야에서 활용되고 있다.
Demo 1. Augmented reality shooter
출처: http://ael.gatech.edu/lab/research/games/arhrrrr/
Demo 2. Layar, worlds first mobile augmented reality browser
Demo 3. Virtual mirror
Demo 4. Transformers Augmented Reality
이러한 기술을 실현하기 위해서 우리 연구실에서는 다음과 같은 세부 연구주제를 가지고 연구를 진행하고 있다.
1. Analyze the sequence of 2D images to construct 3D world.
A. Detect and match feature points to obtain correspondences
B. Extract 3D-coordinates of each feature point.
C. Estimate the camera pose looking into the real world
2. Augment virtual objects on the real world accurately
A. Robust high-level feature(dominant plane, edge) search in 3D world coordinate
B. Accurately located and scaled associating with background and real objects
C. Accurately rotated associating with current camera pose
3. Implementation on a mobile platform
A. Software architecture
B. Development and debugging strategies
C. Explicit parallel execution
D. Algorithm optimization
-------------------------------------------------------------------------------------------------------------------
§ Current research topics: Augmented reality, 3D depth extraction, 3D landmark rendering, Optimization for mobile platform, Visual SLAM, PTAM
n 3D Reconstruction for Mobile Augmented Reality
3차원 복원 기술은 실세계에 존재하는 물체의 3차원 형상과 표면의 색상을 디지털화하는 기술이다. 일반적으로 가상현실, 게임, 애니메이션 등의 컴퓨터 그래픽스에 기반한 응용에서는 숙련된 디자이너가 수작업으로 3차원 모델을 제작하는데, 이는 시간이 많이 소요되고, 디자이너의 숙련도에 따라서 품질의 차이가 많은 단점이 있다. 3차원 복원 기술은 이에 대한 대안으로 연구되고 있는 기술로써, 이미 많은 응용 분야에서 활용되고 있을 뿐만 아니라 새로운 서비스가 꾸준히 창출되고 있는 기술이다.
이러한 3차원 복원 기술은 입력되는 영상의 형태와 알고리즘에 따라 structure from motion(SfM), shape from shading(SfS), shape from texture, shape from silhouettes(Visual hull), Image based modeling(IBM), single view metrology, shape from focus/defocus 등의 기술이 존재한다.
본 연구실에서는 특별히 일반적인 영상 시퀀스로부터 카메라의 이동(pose estimation)과 대상 물체의 point cloud를 계산해내어 3차원 복원을 하는 Structure from Motion(SfM)기술에 중점을 두고 연구 중이다.
다음 동영상은 이러한 기술의 예를 보여주는 것으로 최근 증강현실과 관련해서 급부상하고 있는 저명한 학회인 ISMAR 2009서 캠브리지 대학의 Qi Pan에 의해 발표/시연된 ProForma라는 기술이다. 이 기술은 실시간으로 입력 받는 영상 시퀀스로부터 3D 모델을 생성하는 온-라인 방식의 기술로 기존 기술에 비해 빠른 수행속도를 자랑하고 있다.
본 연구실에서는 SfM 기술을 연구하기 위해서는 다음과 같은 세부 연구 주제들을 가지고 활발히 연구를 진행하고 있다.
1. Extract features from images
2. Find an initial solution for the structure of the scene and the motion of the cameras
3. Extend the solution and optimize it
4. Calibrate the cameras
5. Find a dense representation of the scene
6. Infer geometric, textural and reflective properties of the scene.
---------------------------------------------------------------------------------------------------------
· Current research topics: 3D reconstruction, feature detection, feature matching, camera pose estimation, camera calibration, texture mapping, point cloud processing, triangulation, tetrahedralisation
Related Papers
[1] H.-M. Nam, K.-Y. Byun, J.-Y. Jeong, K.-S. Choi, and S.-J. Ko, "Low Complexity Content-Aware Video Retargeting for Mobile Devices," IEEE Trans. Consumer Electron., vol. 56, no. 1, pp. 182-189, Feb. 2010.
[2] H.-M. Nam, C.-S. Park, S.-W. Jung, and S.-J. Ko, "Adaptive Video Streaming Using Bandwidth Estimation for 3.5G Mobile Network," IEICE Trans. Communications, vol. E92-B, no. 12, pp. 3893-3902, Dec. 2009.
[3] C.-S. Park, K.-W. Lee, Y.-S. Kim, and S.-J. Ko, "A Route Maintaining Algorithm using Neighbor Table for Mobile Sinks," Wireless Networks, vol. 15, no. 4, pp. 541-551, May. 2009.
[4] C.-S. Park, S.-J. Baek, M.-S. Yoon, H.-K. Kim, and S.-J. Ko, "Selective Inter-layer Residual Prediction for SVC-based Video Streaming," IEEE Trans. Consumer Electron., vol. 55, no. 1, pp. 235-239, Feb. 2009.
[5] J.-H. Nam, B.-D. Choi, and S.-J. Ko, "Dynamic Bitstream Switching Using Progressive S-frames for Scalable Video Transmission," IEEE Trans. Consumer Electron., vol. 54, no. 4, pp. 1996-2002, Nov. 2008.
[6] H.-S. Kim, H.-M. Nam, J.-Y. Jeong, S.-H. Kim, and S.-J. Ko, "Measurement Based Channel-Adaptive Video Streaming for Mobile Devices over Mobile WiMAX," IEEE Trans. on Consumer Electronics, vol. 54, no. 1, pp. 171-178, Feb. 2008.
[7] G.-R. Kwon, J.-M. Chung, S.-J. Nam, and S.-J. Ko, "A Novel Transcoding Technique between EVRC and G.729A for Mobile Multimedia Devices," IEEE Trans. on Consumer Electronics, vol. 53, no. 3, pp. 885-890, Aug. 2007.
[8] G.-R. Kwon, J.-S. Lee, J.-D. Jin, and S.-J. Ko, "Noise-Robust Modulation Identification Method for Adaptive Receiver Based on Software Defined Radio," IEEE Trans. Consumer Electronics, vol. 53, no. 3, pp. 1211-1216, Aug. 2007.
[9] H.-S. Kim, D. T. Duong, J.-Y. Jeong, B.-K. Dan, and S.-J. Ko, "Power-Aware Rate Control for Mobile Multimedia Communications," Lecture Notes in Computer Science, vol. 4104, pp. 458-471, Aug. 2006.
[10] D. T. Duong, H.-S. Kim, L. T. Ha, J.-Y. Jeong, and S.-J. Ko, "Adaptive GOP Bit Allocation to Provide Seamless Video Streaming in Vertical Handoff," PSIVT2006, Lecture Notes in Computer Science, vol. 4319, pp. 791-801, Dec. 2006.
[11] C.-S. Park, N.-H. Kim, S.-H. Park, G.-R. Kwon, and S.-J. Ko, "Video Transmission Adopting Scalable Video Coding over Time-varying Networks," IEEE Trans. on Consumer Electronics, vol. 52, Issue 2, pp. 689-695, May 2006.
[12] J.-W. Kim, G.-R. Kwon, J.-S. Lee, N.-H. Kim, and S.-J. Ko, "Spatio-Temporal Video Transcoder for Streaming over Mobile Communications Networks," IEICE Trans. Communications, vol. E89-B, no. 10, pp. 2678-2686, Oct. 2006.
[13] H.-S. Kim, C.-S. Park, S.-H. Park, J.-W. Kim, and S.-J. Ko, "Fast Handoff Scheme for Seamless Multimedia Service in Wireless LAN," NETWORKING 2006, LNCS 3976, pp. 942-953, May. 2006.
[14] C.-S. Park, Y.-S. Kim, K.-W. Lee, S.-K. Kim, and S.-J. Ko, "A Simple Sink Mobility Support Algorithm for Routing Protocols in Wireless Sensor Networks," NETWORKING 2006, LNCS 3976, pp. 1261-1266, May. 2006.
[15] J.-W. Kim, H.-S. Kim, J.-W. Yun, and S.-J. Ko, "An Effective Video Streaming Method for Video on Demand Services in Vertical Handoff," Lecture Notes in Computer Science, vol. 3894, pp. 397-406, Mar. 2006.
[16] J.-W. Kim, S.-Y. Jeon, H.-S Kim, J.-W. Yun, and S.-J. Ko, "Seamless Video Streaming Technique Supporting Error Concealment for VOD Services in Vertical Handoff," IEICE Trans. Fundamentals of Electronics, Communications and Computer Sciences, vol. E89-A, no. 6, pp. 1571-1577, Jun. 2006.
[17] J.-W. Kim, G.-R. Kwon, N.-H. Kim, A. W. Morales, and S.-J. Ko, "Efficient Video Transcoding Technique for QoS-Based Home Gateway Service," IEEE Trans. on Consumer Electronics, vol. 52, Issue 1, pp. 129-137, Feb. 2006.
[18] J.-W. Kim, H.-M. Nam, S.-J. Lee, J.-Y. Lee, and S.-J. Ko, "Probing-Based Channel Adaptive Video Streaming for Wireless 3G Network," IEICE Trans. Communications, vol. E89-B, no. 2, pp. 357-363, Feb. 2006.
[19] J.-W. Yun, H.-S. Kim, J.-W. Kim, Y.-S. Jang, and S.-J. Ko, "Stochastic Rate-Control for Real-Time Video Transmission over Heterogeneous Network," Lecture Notes in Computer Science, vol. 3741, pp. 338-348, Dec. 2005.
[20] J.-W. Kim, H.-S. Kim, J.-W. Yun, H.-M. Nam, and S.-J. Ko, "Seamless Video Streaming for Video on Demand Services in Vertical Handoff," Lecture Notes in Computer Science, vol. 3768, pp. 71-82, Nov. 2005.
[21] S.-H. Park, H.-S. Kim, C.-S. Park, K.-H. Jang, and S.-J. Ko, "QoS Provision Using Dual RF Modules in Wireless Lan," Lecture Notes in Computer Science, vol. 3295, pp. 37-48, Nov. 2004.
[22] C.-S. Park, H.-S. Kim, S.-H. Park, K.-H. Jang, and S.-J. Ko, "Fast Handoff Algorithm Using Access Points with Dual RF Modules," Lecture Notes in Computer Science, vol. 3262, Oct. 2004.
[23] S.-H. Park, H.-S. Kim, C.-S. Park, J.-W. Kim, and S.-J. Ko, "Selective Channel Scanning for Fast Handoff in Wireless LAN Using Neighbor Graph," Lecture Notes in Computer Science, vol. 3260, pp.194-203, Sep. 2004.
[24] Y. Kim, J.-Y. Pyun, J.-H. Jeong, and S.-J. Ko, "Real-Time Frame-Layer Rate Control for Low Bit Rate Video over the Internet," IEICE Trans. Communications, vol. E87-B, no. 3, pp. 598-604, Mar. 2004.
[25] J.-Y. Pyun, Y. Kim, K. H. Jang, J. A. Park, and S.-J. Ko, "Wireless Measurement Based Resource Allocation for QoS Provisioning over IEEE 802.11 Wireless LAN," IEEE Trans. on Consumer Electronics, vol 49, no. 3, pp. 614 -620, Aug, 2003.
[26] Y. Kim, J.-Y. Pyun, H.-S. Kim, S.-H. Park, and S.-J. Ko, "Efficient Real-Time Frame Layer Rate Control Technique for Low Bit Rate Video over WLAN," IEEE Trans. on Consumer Electronics, vol 49, no. 3, pp. 621 -628, Aug. 2003.
[27] J.-Y. Pyun, J.-J. Shim, S.-J. Ko, S.-H. Park, "Packet Loss Resilience for Video Stream over the Internet," IEEE Trans. on Consumer Electronics, vol 48, no. 3, pp. 556 -563, Aug. 2002.
[28] S.-H. Park and S.-J. Ko, "Evaluation of Token Bucket Parameters for VBR MPEG Video Transmission over the Internet," IEICE Transactions on Communications, vol. E85-B, no.1, pp. 43-51, Jan. 2002.
[29] C.-S. Park, H.-M. Nam, S.-W. Jung, S.-J. Baek, and S.-J. Ko, "Practical Error Concealment Strategy for Video Streaming Adopting Scalable Video Coding," IEEE Trans. Consumer Electron., vol. 55, no. 3, pp. 1606-1613, Aug. 2009.
[30] D.T. Duong, M.-C. Hwang, B.-D. Choi, J.-H. Kim, and S.-J. Ko, "Efficient Frame Error Concealment Using Bilateral Motion Estimation for Low Bit-Rate Video Transmission," IEICE Trans. Communications, vol. E92-B, no. 2, pp. 461-472, Feb. 2009.
[31] D.T. Duong, B.-D. Choi, M.-C. Hwang, and S.-J. Ko, "Frame Error Concealment Using Pixel Correlation in Overlapped Motion Compensation Regions," ETRI Journal, vol. 31, no. 1, pp. 21-30, Feb. 2009.
[32] H.-S. Kim, B.-D. Choi, C.-S. Park, S.-H. Park, and S.-J. Ko, "Channel Adaptive Error Resilience Scheme for Video Transmission over MobileWiMAX," IEICE Trans. Communications, vol. E91-B, no. 10, pp. 3052-3059, Oct. 2008.
[33] M.-C. Hwang, J.-H.Kim, H.-Y. Yang, S.-J. Ko, and Aldo W.Morales, "Frame Error Concealment Technique Using Adaptive Inter-Mode Estimation for H.264/AVC," IEEE Trans. on Consumer Electronics, vol. 54, no. 1, pp. 163-170, Feb. 2008.
[34] M.-C. Hwang, J.-H. Kim, D. T. Duong, and S.-J. Ko, “Hybrid Temporal Error Concealment Methods for Block-Based Compressed Video Transmission,” IEEE Trans. on Broadcasting, vol. 54, no. 2, pp. 198-207, Jun. 2008.
[35] M.-C. Hwang, J.-H. Kim, C.-S. Park, and S.-J. Ko, “Improved Fading Scheme for Spatio-Temporal Error Concealment in Video Transmission,” IEICE Trans. Fundamentals, vol. E91-A, no. 3, pp. 740-748, Mar. 2008.
[36] C.-S. Park, T.-S. Wang, and S.-J. Ko, "Error Concealment Using Inter-layer Correlation for Scalable Video Coding," ETRI Journal, vol. 29, no. 3, pp. 390-392, Jun. 2007.
[37] J.-S. Lee, J.-W. Kim, K.-H. Lee, and S.-J. Ko, "Residual Motion Coding Method Supporting Error Concealment in Low Bitrate Video Coding," Electronics Letters, vol. 41, issue 7, pp. 406-408, Mar. 2005.
[38] J.-S. Lee, G.-R. Kwon, J.-W. Kim, J.-Y. Lee, and S.-J. Ko, "Effective Drift Reduction Technique for Reduced Bit-rate Video Adaptation," Lecture Notes in Computer Science, vol. 3333, pp. 689-696, Nov. 2004.
[39] J.-S. Lee, G.-R. Kwon, J.-W. Kim, K.-H. Lee, and S.-J. Ko, "Residual Motion Coding Method for Error Resilient Transcoding System," Lecture Notes in Computer Science, vol. 3311, pp. 165-174, Nov. 2004.
[40] J.-Y. Pyun, J.-S. Lee, J.-W Jeong, J.-H. Jeong, and S.-J Ko, "Robust Error Concealment for Visual Communications in Burst-Packet-Loss Networks," IEEE Trans. on Consumer Electronics, vol. 49, no. 4, pp. 1013-1019, Nov. 2003.
