• 로봇학회논문지
• /
• 제19권2호
• /
• pp.188-195
• /
• 2024

This paper proposes a photorealistic real-time dense 3D mapping system that utilizes a neural network-based image enhancement method and mesh-based map representation. Due to the characteristics of the underwater environment, where problems such as hazing and low contrast occur, it is hard to apply conventional simultaneous localization and mapping (SLAM) methods. At the same time, the behavior of Autonomous Underwater Vehicle (AUV) is computationally constrained. In this paper, we utilize a neural network-based image enhancement method to improve pose estimation and mapping quality and apply a sliding window-based mesh expansion method to enable lightweight, fast, and photorealistic mapping. To validate our results, we utilize real-world and indoor synthetic datasets. We performed qualitative validation with the real-world dataset and quantitative validation by modeling images from the indoor synthetic dataset as underwater scenes.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.615-616
• /
• 2024

현대 야구에서 타자의 스윙 패턴 분석은 상대 투수가 투구 전략을 수립하는데 상당히 중요하다. 이미지 기반의 인간 포즈 추정(HPE)은 대규모 스윙 패턴 분석을 자동화할 수 있다. 그러나 기존의 HPE 방법은 빠르고 가려진 신체 움직임으로 인해 복잡한 스윙 모션을 정확하게 추정하는 데 어려움이 있다. 이러한 문제를 극복하기 위해 스윙 모션에 대한 사전 정보를 활용하여 야구 선수의 포즈를 보정하는 방법(BPPC)을 제안한다. BPPC는 동작 인식, 오프셋 학습, 3D에서 2D 프로젝션 및 동작 인지 손실 함수를 통해 스윙 모션에 대한 사전 정보를 반영하여 기성 HPE 모델 결과를 보정한다. 실험에 따르면 BPPC는 벤치마크 데이터셋에서 기성 HPE 모델의 2D 키포인트 정확도를 정량적 및 정성적으로 향상시키고, 특히 신뢰도 점수가 낮고 부정확한 키포인트를 크게 보정했다.

• Journal of International Society for Simulation Surgery
• /
• 제2권1호
• /
• pp.7-9
• /
• 2015

Purpose In the many face-related application such as head pose estimation, 3D face modeling, facial appearance manipulation, the robust and fast facial feature extraction is necessary. We present the facial feature extraction method based on shape regression and feature selection for real-time facial feature extraction. Materials and Methods The facial features are initialized by statistical shape model and then the shape of facial features are deformed iteratively according to the texture pattern which is selected on the feature pool. Results We obtain fast and robust facial feature extraction result with error less than 4% and processing time less than 12 ms. The alignment error is measured by average of ratio of pixel difference to inter-ocular distance. Conclusion The accuracy and processing time of the method is enough to apply facial feature based application and can be used on the face beautification or 3D face modeling.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.215-217
• /
• 2021

본 논문은 3D 공간에서 사용자를 추출한 뒤, 체적 정보 분석을 통한 3D 스켈레톤(skeleton) 분석 과정을 통해 정확도 높은 다수 사용자의 위치 추적 기술에 대해 연구하였다. 이를 위하여 YOLO(You Only Look Once)를 활용하여 실시간으로 객체를 검출(Real-Time Object Detection)한 뒤 Google의 Mediapipe를 활용해 스켈레톤 추출, 스켈레톤 정규화(normalization)를 통한 스켈레톤의 크기 및 상대적 비율 계산, RGB 영상 스케일링(Scaling) 후 주요 마디 인접 영역의 RGB 색상 정보를 추출하는 방법을 통해 정확도가 개선된 높은 성능의 다중 사용자 추적 기술을 연구하였다.

• 한국멀티미디어학회논문지
• /
• 제10권12호
• /
• pp.1566-1576
• /
• 2007

Camera pose information from 2D face image is very important for making virtual 3D face model synchronize with the real face. It is also very important for any other uses such as: human computer interface, 3D object estimation, automatic camera control etc. In this paper, we have presented a camera position determination algorithm from a single 2D face image using the relationship between mouth position information and face region boundary information. Our algorithm first corrects the color bias by a lighting compensation algorithm, then we nonlinearly transformed the image into $YC_bC_r$ color space and use the visible chrominance feature of face in this color space to detect human face region. And then for face candidate, use the nearly reversed relationship information between $C_b\;and\;C_r$ cluster of face feature to detect mouth position. And then we use the geometrical relationship between mouth position information and face region boundary information to determine rotation angles in both x-axis and y-axis of camera position and use the relationship between face region size information and Camera-Face distance information to determine the camera-face distance. Experimental results demonstrate the validity of our algorithm and the correct determination rate is accredited for applying it into practice.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권3호
• /
• pp.1189-1204
• /
• 2018

Detecting and capturing 3D human structures from the intensity-based image sequences is an inherently arguable problem, which attracted attention of several researchers especially in real-time activity recognition (Real-AR). These Real-AR systems have been significantly enhanced by using depth intensity sensors that gives maximum information, in spite of the fact that conventional Real-AR systems are using RGB video sensors. This study proposed a depth-based routine-logging Real-AR system to identify the daily human activity routines and to make these surroundings an intelligent living space. Our real-time routine-logging Real-AR system is categorized into two categories. The data collection with the use of a depth camera, feature extraction based on joint information and training/recognition of each activity. In-addition, the recognition mechanism locates, and pinpoints the learned activities and induces routine-logs. The evaluation applied on the depth datasets (self-annotated and MSRAction3D datasets) demonstrated that proposed system can achieve better recognition rates and robust as compare to state-of-the-art methods. Our Real-AR should be feasibly accessible and permanently used in behavior monitoring applications, humanoid-robot systems and e-medical therapy systems.

• 한국멀티미디어학회논문지
• /
• 제9권4호
• /
• pp.421-433
• /
• 2006

본 논문에서는 비디오에서 비보정 3차원 좌표의 복원과 카메라의 움직임 추정을 통하여 가상 객체를 비디오에 자연스럽게 합성하는 방법을 제안한다. 비디오의 장면에 부합되도록 가상 객체를 삽입하기 위해서는 장면의 상대적인 구조를 얻어야 하고 비디오 프레임의 흐름에 따른 카메라 움직임의 변화도 추정해야 한다. 먼저 특장점을 추적하고 비보정 절차를 수행하여 카메라 파라메터와 3차원 구조를 복원한다. 각 프레임에서 카메라 파라메터들을 고정시켜 촬영하고 이들 카메라 파라메터는 일정 프레임 동안 불변으로 가정하였다. 제안된 방법으로 세 프레임 이상에서 작은 수의 특징점 만으로도 올바른 3차원 구조를 얻을 수 있었다. 가상객체의 삽입 위치는 초기 프레임에서 특정 면의 모서리점의 대응점을 지정하여 결정한다. 가상 객체의 투사 영역을 계산하고 이 영역에 이음새가 없도록 텍스처를 혼합하여 가상객체와 비디오의 부자연스러운 합성 문제를 해결하였다. 제안 방법은 비보정 절차를 선형으로만 구현하여 기존의 방법에 비해서 안정성과 수행속도의 면에서 우수하다. 실제 비디오 스트림에 대한 다양한 실험을 수행한 결과 여러 증강현실 응용 시스템에 유용하게 사용될 수 있음을 입증하였다.

• 정보처리학회논문지B
• /
• 제17B권5호
• /
• pp.355-362
• /
• 2010

얼굴추적은 3차원 공간상에서 머리(head)와 안면(face)의 움직임을 추정하는 기술로, 얼굴 표정 감정인식과 같은 상위 분석단계의 중요한 기반기술이다. 본 논문에서는 AAM 기반의 얼굴추적 알고리즘을 제안한다. AAM은 변형되는 대상을 분할하고 추적하는데 광범위하게 적용되고 있다. 그러나 여전히 여러 가지 해결해야할 제약사항들이 있다. 특히 자체중첩(self-occlusion)과 부분적인 중첩, 그리고 일시적으로 완전히 가려지는 완전중첩 상황에서 보통 국부해에 수렴(local convergence)하거나 발산하기 쉽다. 본 논문에서는 이러한 중첩상황에 대한 AAM의 강인성을 향상시키기 위해서 SIFT 특징을 이용하고 있다. SIFT는 일부 영상의 특징점으로 안정적인 추적이 가능하기 때문에 자체와 부분중첩에 효과적이며, 완전중첩의 상황에도 SIFT의 전역적인 매칭성능으로 별도의 재초기화 없이 연속적인 추적이 가능하다. 또한 추적과정에서 큰 자세변화에 따른 움직임을 효과적으로 추정하기 위해서 다시점(multi-view) 얼굴영상의 SIFT 특징을 온라인으로 등록하여 활용하고 있다. 제안한 알고리즘의 이러한 강인성은 위 세 가지 중첩상황에 대해서 기존 알고리즘들과의 비교실험을 통해서 보여준다.

• International Journal of Advanced Culture Technology
• /
• 제9권4호
• /
• pp.302-306
• /
• 2021

Indoor localization is one of the basic elements of Location-Based Service, such as indoor navigation, location-based precision marketing, spatial recognition of robotics, augmented reality, and mixed reality. We propose a Voxel Labeling-based visual positioning system using object simultaneous localization and mapping (SLAM). Our method is a method of determining a location through single image 3D cuboid object detection and object SLAM for indoor navigation, then mapping to create an indoor map, addressing it with voxels, and matching with a defined space. First, high-quality cuboids are created from sampling 2D bounding boxes and vanishing points for single image object detection. And after jointly optimizing the poses of cameras, objects, and points, it is a Visual Positioning System (VPS) through matching with the pose information of the object in the voxel database. Our method provided the spatial information needed to the user with improved location accuracy and direction estimation.

• 한국컴퓨터정보학회논문지
• /
• 제28권8호
• /
• pp.95-101
• /
• 2023

Colmap은 혁신적인 인공지능 기술 중 하나로, 3D 재구성 작업에 있어 매우 유용한 도구로 사용된다. 또한, 이미지와 해당 메타데이터를 활용하여 세밀한 3D 모델을 구축하는 데 탁월하다. 2D 이미지, 카메라의 위치 정보, 깊이 정보 등을 결합하여 Colmap은 3D 모델을 생성한다. 이를 통해 실제 세계의 객체들을 포함한 상세하고 정확한 3D 재구성을 이뤄낼 수 있다. 또한, Colmap은 대규모 데이터 세트에서 효율적으로 작동할 수 있도록 GPU를 활용하여 빠른 처리를 제공한다. 본 논문에서는, 우리나라 전통탑의 2D 이미지를 수집하고, Colmap을 사용하여 3D 모델로 재구성하는 방법을 제시했다. 본 연구는 우리나라의 전통적인 석탑 복원 과정에 이 기술을 적용했다. 이로써, 문화재 복원 분야에서의 Colmap의 응용 가능성을 확인했다.