• Title/Summary/Keyword: Semantic annotation

Search Result 105, Processing Time 0.029 seconds

Design and Implementation of Deep-Learning-Based Image Tag for Semantic Image Annotation in Mobile Environment (모바일 환경에서 딥러닝을 활용한 의미기반 이미지 어노테이션을 위한 이미지 태그 설계 및 구현)

  • Shin, YoonMi;Ahn, Jinhyun;Im, Dong-Hyuk
    • Annual Conference of KIPS
    • /
    • 2019.10a
    • /
    • pp.895-897
    • /
    • 2019
  • 모바일의 기술 발전과 소셜미디어 사용의 증가로 수없이 많은 멀티미디어 콘텐츠들이 생성되고 있다. 이러한 많은 양의 콘텐츠 중에서 사용자가 원하는 이미지를 효율적으로 찾기 위해 의미 기반 이미지 검색을 이용한다. 이 검색 기법은 이미지에 의미 있는 정보들을 이용하여 사용자가 찾고 자하는 이미지를 정확하게 찾을 수 있다. 본 연구에서는 모바일 환경에서 이미지가 가질 수 있는 의미적 정보를 어노테이션 하고 이와 더불어 모바일에 있는 이미지에 풍성한 어노테이션을 위해 딥러닝 기술을 이용하여 다양한 태그들을 자동 생성하도록 구현하였다. 이렇게 생성된 어노테이션 정보들은 의미적 기반 태그를 통해 RDF 트리플로 확장된다. SPARQL 질의어를 이용하여 의미 기반 이미지 검색을 할 수 있다.

Domain Specific Annotation of Digital Documents through Keyphrase Extraction (고정키어구 추출을 통한 디지털 문서의 도메인 특정 주석)

  • Fatima, Iram;Lee, Young-Koo;Lee, Sung-Young
    • Annual Conference of KIPS
    • /
    • 2011.04a
    • /
    • pp.1389-1391
    • /
    • 2011
  • In this paper, we propose a methodology to annotate the digital documents through keyphrase extraction using domain specific taxonomy. Limitation of the existing keyphrase extraction algorithms is that output keyphrases may contain irrelevant information along with relevant ones. The quality of the generated keyphrases by the existing approaches does not meet the required level of accuracy. Our proposed approach exploits semantic relationships and hierarchical structure of the classification scheme to filter out irrelevant keyphrases suggested by Keyphrase Extraction Algorithm (KEA++). Our experimental results proved the accuracy of the proposed algorithm through high precision and low recall.

An active learning method with difficulty learning mechanism for crack detection

  • Shu, Jiangpeng;Li, Jun;Zhang, Jiawei;Zhao, Weijian;Duan, Yuanfeng;Zhang, Zhicheng
    • Smart Structures and Systems
    • /
    • v.29 no.1
    • /
    • pp.195-206
    • /
    • 2022
  • Crack detection is essential for inspection of existing structures and crack segmentation based on deep learning is a significant solution. However, datasets are usually one of the key issues. When building a new dataset for deep learning, laborious and time-consuming annotation of a large number of crack images is an obstacle. The aim of this study is to develop an approach that can automatically select a small portion of the most informative crack images from a large pool in order to annotate them, not to label all crack images. An active learning method with difficulty learning mechanism for crack segmentation tasks is proposed. Experiments are carried out on a crack image dataset of a steel box girder, which contains 500 images of 320×320 size for training, 100 for validation, and 190 for testing. In active learning experiments, the 500 images for training are acted as unlabeled image. The acquisition function in our method is compared with traditional acquisition functions, i.e., Query-By-Committee (QBC), Entropy, and Core-set. Further, comparisons are made on four common segmentation networks: U-Net, DeepLabV3, Feature Pyramid Network (FPN), and PSPNet. The results show that when training occurs with 200 (40%) of the most informative crack images that are selected by our method, the four segmentation networks can achieve 92%-95% of the obtained performance when training takes place with 500 (100%) crack images. The acquisition function in our method shows more accurate measurements of informativeness for unlabeled crack images compared to the four traditional acquisition functions at most active learning stages. Our method can select the most informative images for annotation from many unlabeled crack images automatically and accurately. Additionally, the dataset built after selecting 40% of all crack images can support crack segmentation networks that perform more than 92% when all the images are used.

Representation and Management of e-Learning Object Metadata Using ebXML (ebXML 등록저장소를 이용한 이러닝 객체 메타데이터의 표현과 관리)

  • Kim, Hyoung-Do
    • The Journal of the Korea Contents Association
    • /
    • v.6 no.11
    • /
    • pp.249-259
    • /
    • 2006
  • E-learning objects should be appropriately described and classified using standard metadata for facilitating the processes of e-learning resource description, discovery and reuse. These metadata need to be published in a registry to reduce duplication of effort and enhance semantic interoperability. This paper describes how standard ebXML registries can be used for annotating, storing, discovering and retrieving e-learning object metadata. For semantic annotation of e-learning objects, IEEE LOM is adopted as the metadata ontology. In order to support the e-learning metadata ontology in interoperable ebXML registries, a mapping scheme between LOM and ebXML information model is proposed. The usefulness of standard ebXML registries for sharing e-learning metadata is demonstrated by prototyping an e-learning registry called ebRR4LOM based on the scheme.

  • PDF

A Study of Null Instantiated Frame Element Resolution for Construction of Dialog-Level FrameNet (대화 수준 FrameNet 구축을 위한 생략된 프레임 논항 복원 연구)

  • Noh, Youngbin;Heo, Cheolhun;Hahm, Younggyun;Jeong, Yoosung;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.227-232
    • /
    • 2020
  • 본 논문은 의미역 주석(Semantic Role Labeling) 자원인 FrameNet을 준구어 말뭉치인 드라마 대본에 주석하는 과정과 주석 결과에 대해 서술한다. 본 논문에서는 프레임 - 프레임 논항 구조의 주석 범위를 한 문장에서 여러 발화로 이루어진 장면 (Scene) 단위의 대본으로 확장하여 문장 내에서 생략된 프레임 논항(Null-Instantiated Frame Elements)을 장면 단위 대본 내의 다른 발화에서 복원하였다. 본 논문은 프레임 자동 분석기를 통해 동일한 드라마의 한국어, 영어 대본에 FrameNet 주석을 한 드라마 대본을 선발된 주석자에 의해 대상 어휘 적합성 평가, 프레임 적합성 평가, 생략된 프레임 논항 복원을 실시하고, 자동 주석된 대본과 주석자 작업 후의 대본 결과를 비교한 결과와 예시를 제시한다. 주석자가 자동 주석된 대본 중 총 2,641개 주석 (한국어 1,200개, 영어 1,461개)에 대하여 대상 어휘 적합성 평가를 실시하여 한국어 190개 (15.83%), 영어 226개 (15.47%)의 부적합 대상 어휘를 삭제하였다. 프레임 적합성 평가에서는 대상 어휘에 자동 주석된 프레임의 적합성을 평가하여 한국어 622개 (61.68%), 영어 473개 (38.22%)의 어휘에 대하여 새로운 프레임을 부여하였다. 생략된 프레임 논항을 복원한 결과 작업된 평균 프레임 논항 개수가 한국어 0.780개에서 2.519개, 영어 1.290개에서 2.253개로 증가하였다.

  • PDF

The Korean TimeML: A Study of Event and Temporal Information in Korean Text (한국어 TimeML-텍스트의 사건 및 시간 정보 연구)

  • You, Hyun-Jo;Jang, Ha-Yeon;Jo, Yu-Mi;Kim, Yoon-Shin;Nam, Seung-Ho;Shin, Hyo-Pil
    • Language and Information
    • /
    • v.15 no.1
    • /
    • pp.31-62
    • /
    • 2011
  • TimeML is a markup language for events and temporal expressions in natural language, proposed in Pustejovsky et al. (2003) and latter standardized as ISO-TimeML (ISO 24617-1:2009). In this paper, we propose the further specification of ISO-TimeML for the Korean language with the concrete and thorough examination of real world texts. Since Korean differs significantly from English, which is the first and almost only extensively tested language with TimeML, one continuously run into theoretical and practical difficulties in the application of TimeML to Korean. We focus on the discussion for the consistent and efficient application of TimeML: how to consistently apply TimeML in accordance with Korean specificity and what to be annotated and what not to be, i.e. which information is meaningful in the temporal interpretation of Korean text, for efficient application of TimeML.

  • PDF

Multimedia Annotation and Retrieval using Semantic Metadata (의미적 메타데이터를 이용한 멀티미디어 주석 및 검색)

  • An, Hyoung-Keun;Koh, Jae-Jin
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10c
    • /
    • pp.199-204
    • /
    • 2006
  • 최근 멀티미디어의 이용과 멀티미디어 접근을 위한 기술이 많이 증가하고 있다. 그렇지만 멀티미디어 검색엔진과 같은 실용시스템에서 멀티미디어에 대한 유용한 정보 추출과 정보의 응용은 여전히 문제로 있다. 특히, 멀티미디어 이용자는 검색의 효율성을 위하여 저장소를 직관적인 구조로 생성을 하고 있다. 그 예로 "KISS 추계학술 대회 이미지"와 같은 데이터 폴더를 만들거나, 각 멀티미디어 데이터에 Free Text 기반의 주석을 하여 관리를 하였다. 하지만 이러한 검색들에도 한계점을 가지고 있으며 또 다른 지능적인 의미 검색에 있어서도 인간이 바라는 검색의 정확도에 미치지 못하고 있다. 본 논문에서는 이러한 문제점을 해결하기 위한 새로운 접근법을 소개한다. 목적을 위하여 멀티미디어의 의미적인 작업을 위하여 컨텐츠 획득과 분류를 위한 새로운 사용자 도구를 소개하고자 한다. 도구를 이용하는 멀티미디어 사용자는 주어진 컨텐츠를 인간이 생각하고 컨텐츠가 내포하는 의미의 일정한 구조적 단위로 분해하고, 각 단위들에 MPEG-7 표준기반의 추가적인 기술 정보(Description information)를 부여하여 새로운 의미적 메타데이터를 생성할 수 있다. 이러한 의미적 메타데이터는 멀티미디어 검색을 위해 사용자들에게 효율성을 줄 것이라 본다.

  • PDF

Annotation Tool for Construction Korean PropBank and Sejong Semantic Tagged Corpus (한국어 PropBank 및 세종 의미 표지 부착 말뭉치 구축을 위한 도구)

  • Han, Dae-Yong;Choi, Han-Gil;Lee, Jung-Kuk;Kim, Jong-Dae;Park, Chan-Young;Song, Hye-Jung;Kim, Yu-Seop
    • Annual Conference on Human and Language Technology
    • /
    • 2012.10a
    • /
    • pp.35-39
    • /
    • 2012
  • 의미역 결정에 있어 의미 표지 부착 말뭉치는 필수적이지만 한국어 의미 표지 부착 말뭉치는 영어나 중국어와 같은 언어에 비하여 구축이 미비한 상황이다. 본 논문에서는 한국어 의미 분석을 위한 한국어 Proposition Bank(이하 PropBank)와 세종 의미 표지 부착 말뭉치의 구축을 위한 소프트웨어 도구를 개발하였다. 본 논문에서 구현한 도구는 문장 성분의 의존관계를 이용하여 주어진 술어에 대한 논항을 찾아주고, PropBank 프레임 파일과 세종 용언 격틀 사전을 활용하여 사용자가 능률적으로 한국어 PropBank와 세종 의미 표지 부착 말뭉치를 구축할 수 있도록 하였다.

  • PDF

Development of Robust Semantic Segmentation Modeling on Various Wall Cracks (다양한 외벽에 강인한 균열 구획화 모델 개발)

  • Lee, Soo Min;Kim, Gyeong-Yeong;Kim, Dong-Ju
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.07a
    • /
    • pp.49-52
    • /
    • 2022
  • 건물 외벽에 발생하는 균열은 시설물 구조 안전에 영향을 미치며 그 크기에 따라 위험도가 달라진다. 이에 따라 전문검사관의 현장 점검을 통해 발생 균열 두께를 정밀하게 측정할 필요가 있고 최근에는 이러한 현장 안전점검에 인공지능을 도입하려는 추세다. 그러나 기존의 균열 데이터셋은 주로 콘크리트에만 한정되어 다양한 외벽에 강인한 모델을 구축하기 어렵고 균열 두께를 측정하기 위해 정확한 마스크(Mask) 정보가 필요하나 이를 만족하는 데이터셋이 부재하다. 본 논문에서는 다양한 외벽에 강인한 균열 구획화 모델을 목적으로 2,744장의 이미지를 촬영하고 매직 완드 기법으로 라벨링을 진행해 데이터셋을 구축 후, 이를 바탕으로 딥러닝 기반 균열 구획화 모델을 개발했다. UNet-ResNet50을 최종모델로 선정 및 개발 결과, 테스트 데이터셋에 대해 81.22%의 class IoU 성능을 보였다. 본 연구의 기술을 바탕으로 균열 두께를 측정하여 건축물 안전점검에 활용될 수 있기를 기대한다.

  • PDF

Detection Algorithm of Road Damage and Obstacle Based on Joint Deep Learning for Driving Safety (주행 안전을 위한 joint deep learning 기반의 도로 노면 파손 및 장애물 탐지 알고리즘)

  • Shim, Seungbo;Jeong, Jae-Jin
    • The Journal of The Korea Institute of Intelligent Transport Systems
    • /
    • v.20 no.2
    • /
    • pp.95-111
    • /
    • 2021
  • As the population decreases in an aging society, the average age of drivers increases. Accordingly, the elderly at high risk of being in an accident need autonomous-driving vehicles. In order to secure driving safety on the road, several technologies to respond to various obstacles are required in those vehicles. Among them, technology is required to recognize static obstacles, such as poor road conditions, as well as dynamic obstacles, such as vehicles, bicycles, and people, that may be encountered while driving. In this study, we propose a deep neural network algorithm capable of simultaneously detecting these two types of obstacle. For this algorithm, we used 1,418 road images and produced annotation data that marks seven categories of dynamic obstacles and labels images to indicate road damage. As a result of training, dynamic obstacles were detected with an average accuracy of 46.22%, and road surface damage was detected with a mean intersection over union of 74.71%. In addition, the average elapsed time required to process a single image is 89ms, and this algorithm is suitable for personal mobility vehicles that are slower than ordinary vehicles. In the future, it is expected that driving safety with personal mobility vehicles will be improved by utilizing technology that detects road obstacles.