• 인터넷정보학회논문지
• /
• 제21권1호
• /
• pp.33-43
• /
• 2020

Retrieving a 3D model from a 3D database and augmenting the retrieved model in the Augmented Reality system simultaneously became an issue in developing the plausible AR environments in a convenient fashion. It is considered that the sketch-based 3D object retrieval is an intuitive way for searching 3D objects based on human-drawn sketches as query. In this paper, we propose a novel deep learning based approach of retrieving a sketch-based 3D object as for an Augmented Reality Model. For this work, we introduce a new method which uses Sketch CNN, Wasserstein CNN and Wasserstein center loss for retrieving a sketch-based 3D object. Especially, Wasserstein center loss is used for learning the center of each object category and reducing the Wasserstein distance between center and features of the same category. The proposed 3D object retrieval and augmentation consist of three major steps as follows. Firstly, Wasserstein CNN extracts 2D images taken from various directions of 3D object using CNN, and extracts features of 3D data by computing the Wasserstein barycenters of features of each image. Secondly, the features of the sketch are extracted using a separate Sketch CNN. Finally, we adopt sketch-based object matching method to localize the natural marker of the images to register a 3D virtual object in AR system. Using the detected marker, the retrieved 3D virtual object is augmented in AR system automatically. By the experiments, we prove that the proposed method is efficiency for retrieving and augmenting objects.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.443-447
• /
• 2023

검색 증강형 언어 모델은 입력과 연관된 문서들을 검색하고 텍스트 생성 과정에 통합하여 언어 모델의 생성 능력을 강화한다. 본 논문에서는 사전 학습된 대규모 언어 모델의 추가적인 학습 없이 In-Context 검색 증강으로 한국어 언어 모델의 생성 능력을 강화하고 기존 언어 모델 대비 성능이 증가함을 보인다. 특히 다양한 크기의 사전 학습된 언어 모델을 활용하여 검색 증강 결과를 보여 모든 규모의 사전 학습 모델에서 Perplexity가 크게 개선된 결과를 확인하였다. 또한 오픈 도메인 질의응답(Open-Domain Question Answering) 과업에서도 EM-19, F1-27.8 향상된 결과를 보여 In-Context 검색 증강형 언어 모델의 성능을 입증한다.

• 한국게임학회 논문지
• /
• 제11권3호
• /
• pp.63-72
• /
• 2011

본 논문에서는 증강 현실 환경에서 실시간 마커리스 트래킹을 수행하기 위한 특징 서술자 데이터베이스 생성 및 검색 방법을 제안한다. 먼저, 특징 서술자를 효율적으로 검색하기 위하여 특징 서술자의 형태를 기준으로 정수 부호화 하여 총 4 단계의 인덱스 데이터베이스를 구성한다. 특정 특징 서술자의 검색은 데이터베이스에서 각 단계별로 유사성 있는 후보 특징 서술자의 인덱스를 탐색하고 입력된 특징 서술자와 탐색된 모든 후보 특징 서술자들의 유클리드 거리 값 비교를 통해 이루어진다. 본 연구에서 제안한 검색방법은 형태를 기반으로 유사하지 않은 특징 서술자들을 검색 대상에서 제외하여 검색의 효율을 높였다. 제안된 방법은 기존 KD-Tree 방법에 비해서 특징 서술자당 약 16ms의 검색 속도 개선이 있었음을 확인할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권7호
• /
• pp.2407-2424
• /
• 2022

Recently, Transformer has made great progress in video retrieval tasks due to its high representation capability. For the structure of a Transformer, the cascaded self-attention modules are capable of capturing long-distance feature dependencies. However, the local feature details are likely to have deteriorated. In addition, increasing the depth of the structure is likely to produce learning bias in the learned features. In this paper, an improved Transformer structure named TransDCS (Transformer with Dynamic Convolution and Shortcut) is proposed. A Multi-head Conv-Self-Attention module is introduced to model the local dependencies and improve the efficiency of local features extraction. Meanwhile, the augmented shortcuts module based on a dual identity matrix is applied to enhance the conduction of input features, and mitigate the learning bias. The proposed model is tested on MSRVTT, LSMDC and Activity-Net benchmarks, and it surpasses all previous solutions for the video-text retrieval task. For example, on the LSMDC benchmark, a gain of about 2.3% MdR and 6.1% MnR is obtained over recently proposed multimodal-based methods.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.105-108
• /
• 2022

오픈 도메인 질의 응답은 사전학습 언어모델의 파라미터에 저장되는 정보만을 사용하여 답하는 질의 응답 방식과 달리 대량의 문서 등에서 질의에 대한 정답을 찾는 문제이다. 최근 등장한 Dense Retrieval은 BERT 등의 모델을 사용해 질의와 문서들의 벡터 연산으로 질의와 문서간의 유사도를 판별하여 문서를 검색한다. 이러한 Dense Retrieval을 활용하는 방안 중 RAG는 Dense Retrieval을 이용한 외부 지식과 인코더-디코더 모델에 내재된 지식을 결합하여 성능을 향상시킨다. 본 논문에서는 RAG를 한국어 오픈 도메인 질의 응답 데이터에 적용하여 베이스라인에 비해 일부 향상된 성능을 보임을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.141-145
• /
• 2022

다중 문서 기반 대화 시스템에서 응답 시스템은 올바른 답변을 생성하기 위해서 여러 개의 문서 중 질문과 가장 관련 있는 문서를 검색하는 것부터 시작해야 한다. DialDoc 2022 Shared Task[1]를 비롯한 최근의 연구들은 대화 시스템의 문서 검색 과정을 위해 Dense Passage Retrieval(DPR)[2] 모델을 사용하고 있으며 검색기의 성능 개선을 위해 Re-ranking과 Hard negative sampling 같은 방법들이 연구되고 있다. 본 논문에서는 문서에 기반하는 대화 데이터의 양이 적거나 제한될 경우, 주어진 데이터를 효율적으로 활용해 보고자 검색기를 생성 모델을 이용하여 문서의 엔티티를 기반으로 질문을 생성하고 기존 데이터에 증강하는 방법을 제시했으며 실험의 결과로 MRR metric의 경우 0.96 ~ 1.56의 성능 향상을, R@1 metric의 경우 1.2 ~ 1.57의 성능 향상을 확인하였다.

• 한국IT서비스학회지
• /
• 제10권4호
• /
• pp.269-280
• /
• 2011

Mobile Augmented Reality (mobile AR), as one of the most prospective mobile applications, intends to provide richer experiences by annotating tags or virtual objects over the scene observed through camera embedded in a handheld device like smartphone or pad. In this paper, we analyzed the current status of the art of mobile AR and proposed a novel Points of Interest (POIs) data model based on ontology to provide context-aware information retrievals on lots of POIs data. Proposed ontology was expanded from the standard POIs data model of W3C POIs Working Group and established using OWL (Web Ontology Language) and Protege. We also proposed a context-aware mobile AR platform which can resolve three distinguished issues in current platforms : interoperability problem of POI tags, POIs data retrieval issue, and context-aware service issue.

• 한국인터넷방송통신학회논문지
• /
• 제24권2호
• /
• pp.87-92
• /
• 2024

본 논문에서는 치과 상담용 챗봇을 개발하기 위해 기존의 대규모 언어 모델(LLM)과 랭체인 라이브러리를 이용하여 검색 증강 생성(RAG) 시스템을 구현하였다. 이를 위해 국내 치과 대학병원의 웹페이지 게시판에 있는 내용을 수집하고 치과 전문의의 자문과 감수를 받아 상담 데이터를 구축하였다. 입력된 상담용 데이터를 적절한 크기로 분할하기 위해 청크 크기와 각 청크의 겹치는 텍스트의 크기는 각각 1001과 100으로 하였다. 시뮬레이션 결과 검색 증강 LLM은 사용자 입력과 가장 유사한 상담 내용을 검색하여 출력하였다. 구축된 챗봇을 통해 치과 상담의 접근성과 상담 내용의 정확성을 높일 수 있음이 확인되었다.

• Spatial Information Research
• /
• 제20권2호
• /
• pp.59-70
• /
• 2012

정보통신과 IT기술의 발달 특히 스마트폰의 대중화는 정보의 검색과 제공에 큰 가능성을 열었으며 요즘 주목받고 있는 증강현실 기술은 이용자가 실제로 보고 있는 지역의 현장 모습에 추가적인 정보를 제공함으로써 혁신적인 방식의 정보취득을 가능케 하였다. 본 연구에서는 역사관광정보를 스마트폰을 이용하여 효율적으로 전달하기 위한 방안으로 증강현실 기술을 이용한 모바일 어플리케이션 서비스를 설계 및 구현하고 현장에서 테스트하였다. 연구수행결과, 역사관광정보 서비스를 위해서는 수집된 컨텐츠별로 가장 정확하게 정보가 제공될 수 있는 뷰포인트를 찾아야 하고, 이를 효율적으로 제공하는 기능이 필요한 것으로 판단되었다. 본 연구는 스마트폰을 이용하여 일반 업체들에서 연구되고 있는 기술을 공공적인 영역이라고 할 수 있는 지역의 역사관광정보를 제공하는 서비스에 적용하고 구현하여 그 가능성을 탐색하였다는데 의의가 있으며, 이미지 증강 분야에서 향후 더 발달된 증강현실 기술을 적용한 서비스를 제공하기 위한 기초가 될 수 있을 것으로 판단된다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2020년도 제61차 동계학술대회논문집 28권1호
• /
• pp.167-168
• /
• 2020

본 논문에서 제안하는 모바일 어플리케이션은 증강현실 기술을 적용한 정보공유 플랫폼으로 일상 혹은 특별한 여정에서 찍은 사진에 대한 확장 정보를 제공한다. 이 정보들을 통해 자신의 위치를 기준으로 지역을 구체적으로 알아볼 수 있으며 개인의 지역명소를 찾아 공유한다. 누구나 친숙하게 활용할 수 있도록 개발된 모바일 어플리케이션은 지역경제 및 전통시장 활성화에 대한 솔루션으로 제공이 가능하다.