• 한국멀티미디어학회논문지
• /
• 제20권8호
• /
• pp.1258-1270
• /
• 2017

'Semantic gap' has been a year-old problem in automatic video summarization, which refers to the gap between semantics implied in video summarization algorithms and what people actually infer from watching videos. Using the external EEG bio-feedback obtained from video watchers as a solution of this semantic gap problem has several another issues: First, how to define and measure noises against ERP waveforms as signals. Second, whether individual differences among subjects in terms of noise and SNR for conventional ERP studies using still images captured from videos are the same with those differently conceptualized and measured from videos. Third, whether individual differences of subjects by noise and SNR levels help to detect topic-irrelevant shots as signals which are not matched with subject's own semantic topical expectations (mis-match negativity at around 400m after stimulus on-sets). The result of repeated measures ANOVA test clearly shows a 2-way interaction effect between topic-relevance and noise level, implying that subjects of low noise level for video watching session are sensitive to topic-irrelevant visual shots, while showing another 3-way interaction among topic-relevance, noise and SNR levels, implying that subjects of high noise level are sensitive to topic-irrelevant visual shots only if they are of low SNR level.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제16권1호
• /
• pp.85-89
• /
• 2010

대부분의 영상들은 여러 객체 영역들의 시각적인 특징과 각각의 의미들의 조합으로 구성되어 있다. 그러나 일반적으로 영상 처리를 위한 컴퓨터 시스템들은 영상을 특정 객체 영역의 의미 정보 단위로 해석하지 못하기 때문에 사람이 영상을 인지하는 것과 의미적인 차이(semantic gap)가 발생한다. 본 논문에서는 이러한 문제점을 극복하기 위하여 각 객체 영역 단위에서 추출한 고유한 특징점들을 고차원의 의미 정보로 모델링하여 영상을 분류하는 방법을 제안한다. 제안하는 방법은 객체 단위로 추출된 고유한 특징점들의 의미 정보를 특정 객체 영역을 인식하기 위한 의미 단서로 이용한다. 이를 통하여 기존의 영상 분류 방법들에 비하여 인간의 인지 능력과 유사하고 보다 효율적으로 영상을 분류할 수 있는 장점이 있다. 실험 결과는 다양한 카테고리 종류의 영상에 대하여 제안하는 방법의 효과적인 분류 성능을 보여준다.

• 한국인터넷방송통신학회논문지
• /
• 제11권6호
• /
• pp.223-234
• /
• 2011

데이터베이스 보안 기술은 새로운 컴퓨팅 환경에 대응하기 위해 전통적인 접근제어방식을 확장하여 다양한 연구들이 수행되고 있다. 본 연구에서는 보안요소의 의미적 정보를 기반으로 정책 제약조건과 질의 제약조건이 구문적으로 일치하지 않는 경우에도 보안요소의 의미를 파악하여 적절한 보안정책 집행이 가능하도록 하는 접근제어 방식을 제안한다. 의미적 보안정책 집행을 위해 시멘틱 트리계층 구조 상에서 이들 간의 의미적 함의관계를 이용하고 또한 함의에 의해 초래될 수 있는 과도한 권한부여를 방지할 수 있도록 한다. 그리고 제안방식을 구현하는 프로토타입 시스템의 구조와 성능평가를 통해 다른 접근제어 방식들과 비교한다.

• 한국경영과학회지
• /
• 제37권4호
• /
• pp.19-35
• /
• 2012

The Semantic Web technology, purporting to share, to reuse and to process by machines data stored in the Web environment, incessantly evolves to help human decision making; in particular, decision making based on data, or quantitative decision making. This trend drives researchers to fill the gap with strenuous efforts between the current state of the technology and the terminus of this evolution. The Semantic Web Constraint Language (SWCL) together with SWRL is one of these endeavors to achieve the goal. This paper focuses particularly on how to express the piecewise linear form in the context of SWCL. The importance of this ingredient can be fortified by the fact that any nonlinear expression can be approximated in the piecewise linear form. This paper will also provide the information of how it will work in the decision making process through an example of the Internet shopping mall problem.

• 한국멀티미디어학회논문지
• /
• 제22권8호
• /
• pp.874-886
• /
• 2019

To delve into the semantic gap problem of the automatic video summarization, we focused on an endogenous ERP responses at around 400ms and 600ms after the on-set of audio-visual stimulus. Our experiment included two factors: the topic exploration of experimental conditions (Topic Given vs. Topic Exploring) as a between-subject factor and the topic relevance of the shots (Topic-Relevant vs. Topic-Irrelevant) as a within-subject factor. For the Topic Given condition of 22 subjects, 6 short historical documentaries were shown with their video titles and written summaries, while in the Topic Exploring condition of 25 subjects, they were asked instead to explore topics of the same videos with no given information. EEG data were gathered while they were watching videos in real time. It was hypothesized that the cognitive activities to explore topics of videos while watching individual shots increase the amplitude of endogenous ERP at around 600 ms after the onset of topic relevant shots. The amplitude of endogenous ERP at around 400ms after the onset of topic-irrelevant shots was hypothesized to be lower in the Topic Given condition than that in the Topic Exploring condition. The repeated measure MANOVA test revealed that two hypotheses were acceptable.

• Journal of Computing Science and Engineering
• /
• 제2권1호
• /
• pp.1-25
• /
• 2008

Spoken dialog tasks incur many errors including speech recognition errors, understanding errors, and even dialog management errors. These errors create a big gap between the user's intention and the system's understanding, which eventually results in a misinterpretation. To fill in the gap, people in human-to-human dialogs try to clarify the major causes of the misunderstanding to selectively correct them. This paper presents a method of clarification techniques to human-to-machine spoken dialog systems. We viewed the clarification dialog as a two-step problem-Belief confirmation and Clarification strategy establishment. To confirm the belief, we organized the clarification process into three systematic phases. In the belief confirmation phase, we consider the overall dialog system's processes including speech recognition, language understanding and semantic slot and value pairs for clarification dialog management. A clarification expert is developed for establishing clarification dialog strategy. In addition, we proposed a new design of plugging clarification dialog module in a given expert based dialog system. The experiment results demonstrate that the error verifiers effectively catch the word and utterance-level semantic errors and the clarification experts actually increase the dialog success rate and the dialog efficiency.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권1호
• /
• pp.392-412
• /
• 2018

Due to the semantic gap problem across different modalities, automatically retrieval from multimedia information still faces a main challenge. It is desirable to provide an effective joint model to bridge the gap and organize the relationships between them. In this work, we develop a deep image annotation and classification by fusing multi-modal semantic topics (DAC_mmst) model, which has the capacity for finding visual and non-visual topics by jointly modeling the image and loosely related text for deep image annotation while simultaneously learning and predicting the class label. More specifically, DAC_mmst depends on a non-parametric Bayesian model for estimating the best number of visual topics that can perfectly explain the image. To evaluate the effectiveness of our proposed algorithm, we collect a real-world dataset to conduct various experiments. The experimental results show our proposed DAC_mmst performs favorably in perplexity, image annotation and classification accuracy, comparing to several state-of-the-art methods.

• 한국인터넷방송통신학회논문지
• /
• 제10권6호
• /
• pp.215-223
• /
• 2010

새로운 정보기술의 발전으로 인해 정보 접근과 획득 방식이 훨씬 다양하고 용이해지고 있는 반면 다양하고 성능 좋은 도구를 이용한 불법적인 접근이 가능하도록 하는 부작용이 초래되고 있다. 이러한 위협에 대응하는 데이터베이스 기술로는 접근제어가 있고 현재 새로운 컴퓨팅 환경에 대응하기 위해 전통적인 접근제어를 확장한 다양한 연구들이 수행되고 있다. 본 연구에서는 상황정보의 시멘틱 정보를 기반으로 보안정책에 의해 명시된 상황제약조건이 질의에 수반되는 상황제약조건의 구문과 일치하지 않는 경우에도 적절한 보안정책 집행이 가능하도록 하는 접근제어 방식을 제안한다. 상황에 대한 의미적 정책집행을 위해 시멘틱 트리계층구조 상에서 이들 간의 의미적 함의관계를 이용하고 함의관계에 의해 초래될 수 있는 과도한 권한부여를 방지하기 위해 의미 차를 정량적으로 측정할 수 있는 인수를 정의하여 설정된 시스템 정의 임계치 범위 내에서만 의미적 함의에 의한 권한부여가 이루어지도록 한다.

• Journal of Information Processing Systems
• /
• 제9권3호
• /
• pp.349-364
• /
• 2013

The big challenge in current content-based image retrieval systems is to reduce the semantic gap between the low level-features and high-level concepts. In this paper, we have proposed a novel framework for efficient image retrieval to improve the retrieval results significantly as a means to addressing this problem. In our proposed method, we first extracted a strong set of image features by using the dual-tree rotated complex wavelet filters (DT-RCWF) and dual tree-complex wavelet transform (DT-CWT) jointly, which obtains features in 12 different directions. Second, we presented a relevance feedback (RF) framework for efficient image retrieval by employing a support vector machine (SVM), which learns the semantic relationship among images using the knowledge, based on the user interaction. Extensive experiments show that there is a significant improvement in retrieval performance with the proposed method using SVMRF compared with the retrieval performance without RF. The proposed method improves retrieval performance from 78.5% to 92.29% on the texture database in terms of retrieval accuracy and from 57.20% to 94.2% on the Corel image database, in terms of precision in a much lower number of iterations.

• 한국전자통신학회논문지
• /
• 제18권3호
• /
• pp.413-420
• /
• 2023

오래전부터 연구자들은 CBIR에 대한 많은 연구로 인해 이미지 검색 분야에 우수한 결과를 제시하였다. 그러나 이미지에 대한 이러한 검색 결과와 사람이 인식하는 결과 사이에 의미적 격차는 여전히 존재한다. 적은 수의 이미지를 사용하여 사람이 인식하는 수준의 이미지를 분류하는 것은 아직까지 어려운 문제이다. 따라서 본 논문은 이미지 검색에서 사람과 검색 시스템의 이미지의 의미적 격차를 최소화하기 위해 딥 러닝 기반의 전이 학습을 이용한 이미지 분류 모델을 제안한다. 실험 결과, 학습 모델의 손실률은 0.2451%, 정확도는 0.8922%로 제안한 이미지 분류 방법의 구현은 원하는 목표를 달성할 수 있었다. 그리고 딥 러닝에서 CNN의 전이 학습 모델 방법이 새로운 데이터를 추가하여 이미지 데이터베이스를 구축하는데 효과적인 결과를 확인할 수 있었다.