• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권7호
• /
• pp.2407-2424
• /
• 2022

Recently, Transformer has made great progress in video retrieval tasks due to its high representation capability. For the structure of a Transformer, the cascaded self-attention modules are capable of capturing long-distance feature dependencies. However, the local feature details are likely to have deteriorated. In addition, increasing the depth of the structure is likely to produce learning bias in the learned features. In this paper, an improved Transformer structure named TransDCS (Transformer with Dynamic Convolution and Shortcut) is proposed. A Multi-head Conv-Self-Attention module is introduced to model the local dependencies and improve the efficiency of local features extraction. Meanwhile, the augmented shortcuts module based on a dual identity matrix is applied to enhance the conduction of input features, and mitigate the learning bias. The proposed model is tested on MSRVTT, LSMDC and Activity-Net benchmarks, and it surpasses all previous solutions for the video-text retrieval task. For example, on the LSMDC benchmark, a gain of about 2.3% MdR and 6.1% MnR is obtained over recently proposed multimodal-based methods.

• 한국콘텐츠학회논문지
• /
• 제22권1호
• /
• pp.138-147
• /
• 2022

최근 챗봇이 다양한 분야에 적용되어 좋은 성과를 보이면서 쇼핑몰 상품 추천 서비스에도 챗봇을 활용하려는 시도가 많은 이커머스 플랫폼에서 진행되고 있다. 본 논문에서는 사용자와 시스템간의 대화와 패션 이미지 정보에 기반해 사용자가 원하는 패션을 추천하는 챗봇 대화시스템을 위해, 최근 자연어처리, 음성인식, 이미지 인식 등의 다양한 AI 분야에서 좋은 성능을 내고 있는 트랜스포머 모델에 대화 (텍스트) 와 패션 (이미지) 정보를 같이 사용하여 추천의 정확도를 높일 수 있도록 개선한 멀티모달 기반 개선된 트랜스포머 모델을 제안하며, 데이터 전처리(Data preprocessing) 및 학습 데이터 표현(Data Representation)에 대한 분석을 진행하여 데이터 개선을 통한 정확도 향상 방법도 제안한다. 제안 시스템은 추천 정확도는 0.6563 WKT(Weighted Kendall's tau)으로 기존 시스템의 0.3372 WKT를 0.3191 WKT 이상 크게 향상시켰다.

• 한국초등과학교육학회지:초등과학교육
• /
• 제42권1호
• /
• pp.161-177
• /
• 2023

과학적 설명은 글, 도식, 그래프와 같이 다양한 표상들로 구성되는데, 각 표상들은 하나의 '모드'로서 비슷하나 조금씩 다른 의미들을 연결하며 과학적 의미를 확장한다. 이러한 사회기호학의 관점을 토대로, 본 연구에서는 학생들이 구성한 과학글쓰기와 과학그리기가 각각 시각적 모드와 언어적 모드의 표상으로서 지니는 의미 형성의 특징을 파악하고, 다중모드적 표상의 교육적 활용에 대해 논의하였다. 이를 위하여, 초등과학영재 학생들이 공기의 압력에 대해 구성한 과학그리기와 과학글쓰기 각 18편을 수집하고, 과학그리기와 과학글쓰기에서 구성된 설명의 특징을 어포던스 관점에서 분석하였다. 분석 결과, 과학그리기에서 학생들은 시각적 모드가 지니는 어포던스를 통해, 공기입자의 움직임, 공기입자의 수, 입자의 충돌과 같은 입자적 관점에서의 변화를 구체화하여 추론하는 경향을 보였다. 반면, 과학글쓰기에서 학생들은 언어적 모드가 지니는 어포던스를 통해, 공기 압력 개념과 다른 요인들 간의 인과적 관계를 추상적 차원에서 추론하는 경우가 많았다. 이러한 결과를 바탕으로, 각 모드가 가지는 고유한 어포던스를 상호보완적으로 활용할 수 있는 방법에 대해 구체적인 사례를 들어 논의하였다.

• 인터넷정보학회논문지
• /
• 제10권5호
• /
• pp.165-181
• /
• 2009

본 논문은 해마의 형상 분석을 위한 효과적인 모델 표현 방법과 분석 과정에서의 실제감을 향상시키는 스테레오-햅틱 장치 기반의 대화형 가상 환경을 제공한다. 매개변수형 표면 모델과 골격 표현은 해마의 형상을 효과적으로 표현하고 이러한 정보를 옥트리 자료 구조에 저장하여 대화형의 형상 분석 작업을 가능하게 한다. 그리고 골격 기반 정규화 방법은 다양한 모달리티를 갖는 의료 영상으로부터 생성된 3차원 해마 모델들의 위치와 방위를 정확하게 맞추어주는 기능을 수행한다. 또한 본 논문에서는 정상인 해마 형상 집단과 간질 환자 해마 형상 집단의 정확한 분류 작업을 수행하기 위하여 SVM 알고리즘 기반의 분류기 모델을 구축하였다. 실험 결과를 통하여 본 논문에서 제안한 표현 구조는 다양한 단계의 형상 표현을 제공하며 SVM 기반 분류기는 두 집단간 형상 차이를 분석하기 위한 효과적이었음을 확인하였다. 또한 스테레오 디스플레이 장치와 햅틱 장치를 결합한 가상환경은 사용자에게 향상된 공간 인지와 조작력을 제공하기 때문에 의료 분야에서의 해마 모델과 같은 다양한 해부학적 구조에 대한 분석 작업에 효과적으로 활용될 수 있다.

• International Journal of Computer Science & Network Security
• /
• 제21권4호
• /
• pp.103-114
• /
• 2021

A conceptual model can be used to manage complexity in both the design and implementation phases of the system development life cycle. Such a model requires a firm grasp of the abstract principles on which a system is based, as well as an understanding of the high-level nature of the representation of entities and processes. In this context, models can have distinct architectural characteristics. This paper discusses model multiplicity (e.g., unified modeling language [UML]), model singularity (e.g., object-process methodology [OPM], thinging machine [TM]), and a heterogeneous model that involves multiplicity and singularity. The basic idea of model multiplicity is that it is not possible to present all views in a single representation, so a number of models are used, with each model representing a different view. The model singularity approach uses only a single unified model that assimilates its subsystems into one system. This paper is concerned with current approaches, especially in software engineering texts, where multimodal UML is introduced as the general-purpose modeling language (i.e., UML is modeling). In such a situation, we suggest raising the issue of multiplicity versus singularity in modeling. This would foster a basic appreciation of the UML advantages and difficulties that may be faced during modeling, especially in the educational setting. Furthermore, we advocate the claim that a multiplicity of views does not necessitate a multiplicity of models. The model singularity approach can represent multiple views (static, behavior) without resorting to a collection of multiple models with various notations. We present an example of such a model where the static representation is developed first. Then, the dynamic view and behavioral representations are built by incorporating a decomposition strategy interleaved with the notion of time.

• 한국소음진동공학회논문집
• /
• 제24권4호
• /
• pp.324-331
• /
• 2014

The sensor configuration of the magnetostrictive guided wave system can be described as a single continuous transducing element which makes it difficult to separate the individual modes from the reflected signal. In this work we develop the mode decomposition technique employing chirplet transform based on the maximum likelihood estimation, which is able to separate the individual modes from dispersive and multimodal waveform measured with the magnetostrictive sensor, and estimate the time-frequency centers and individual energies of the reflection, which would be used to locate and characterize defects. Simulation results on a carbon steel pipe are presented, which show the accurate mode separation and more discernible time-frequency representation could become enabled using the proposed technique.

• International journal of advanced smart convergence
• /
• 제12권4호
• /
• pp.434-442
• /
• 2023

The relationship between acute kidney injury (AKI) prediction and nephrotoxic drugs, or drugs that adversely affect kidney function, is one that has yet to be explored in the critical care setting. One contributing factor to this gap in research is the limited investigation of drug modalities in the intensive care unit (ICU) context, due to the challenges of processing prescription data into the corresponding drug representations and a lack in the comprehensive understanding of these drug representations. This study addresses this gap by proposing a novel approach that leverages patient prescription data as a modality to improve existing models for AKI prediction. We base our research on Electronic Health Record (EHR) data, extracting the relevant patient prescription information and converting it into the selected drug representation for our research, the extended-connectivity fingerprint (ECFP). Furthermore, we adopt a unique multimodal approach, developing machine learning models and 1D Convolutional Neural Networks (CNN) applied to clinical drug representations, establishing a procedure which has not been used by any previous studies predicting AKI. The findings showcase a notable improvement in AKI prediction through the integration of drug embeddings and other patient cohort features. By using drug features represented as ECFP molecular fingerprints along with common cohort features such as demographics and lab test values, we achieved a considerable improvement in model performance for the AKI prediction task over the baseline model which does not include the drug representations as features, indicating that our distinct approach enhances existing baseline techniques and highlights the relevance of drug data in predicting AKI in the ICU setting.

• 한국전자거래학회지
• /
• 제27권1호
• /
• pp.15-28
• /
• 2022

최근 의류 등의 특정 쇼핑몰의 온라인 시장이 크게 확대되면서, 사용자의 리뷰를 활용하는 것이 주요한 마케팅 방안이 되었다. 이를 이용한 감성분석에 대한 연구들도 많이 진행되고 있다. 감성분석은 사용자의 리뷰를 긍정과 부정 그리고 필요에 따라서 중립으로 분류하는 방법이다. 이 방법은 크게 머신러닝 기반의 감성분석과 사전기반의 감성분석으로 나눌 수 있다. 머신러닝 기반의 감성분석은 사용자의 리뷰 데이터와 그에 대응하는 감성 라벨을 이용해서 분류 모델을 학습하는 방법이다. 감성분석 분야의 연구가 발전하면서 리뷰와 함께 제공되는 이미지나 영상 데이터 등을 함께 고려하여 학습하는 멀티모달 방식의 모델들이 연구되고 있다. 리뷰 데이터에서 제품의 카테고리와 사용자별로 사용되는 단어 등의 특징이 다르다. 따라서 본 논문에서는 리뷰데이터와 제품 정보를 동시에 고려하여 감성분석을 진행한다. 리뷰를 분류하는 모델로는 기본 순환신경망 구조에서 Gate 방식을 도입한 Gated Recurrent Unit(GRU), Long Short-Term Memory(LSTM) 그리고 Self Attention 기반의 Multi-head Attention 모델, Bidirectional Encoder Representation from Transformer(BERT)를 사용해서 각각 성능을 비교하였다. 제품 정보는 모두 동일한 Multi-Layer Perceptron(MLP) 모델을 이용하였다. 본 논문에서는 사용자 리뷰를 활용한 Baseline Classifier의 정보와 제품 정보를 활용한 MLP모델의 결과를 결합하는 방법을 제안하며 실제 데이터를 통해 성능의 우수함을 보인다.

• 한국과학교육학회지
• /
• 제35권3호
• /
• pp.353-361
• /
• 2015

이 연구에서는, 과학적 논의에서 학생들의 참여를 향상시킬 수 있는 방법으로 논의 기반 탐구 과학수업에 동료평가 활동을 적용하였으며, 글쓰기에서 나타나는 학생들의 논의를 분석하여 프로그램의 효과를 알아보았다. 이 연구는 광역시의 과학중점고등학교 학생들을 대상으로 1학년 두 학급(58명)을 실험집단으로, 다른 두 학급(58명)을 비교집단으로 선정하여 총 5개의 주제를 적용하였다. 논의 기반 탐구 과학수업의 전략을 바탕으로 동료평가를 적용한 수업 프로그램을 개발하고, 학생들에게 프로그램을 적용한 후, 학생들의 글쓰기에서 나타나는 'Big idea', '과학 개념', '논의', '수사적 구조' 항목을 비교하였다. 실험집단 학생들은 동료평가 활동을 적용한 논의 기반 탐구 과학수업을 처치하였으며, 비교집단 학생들은 동료평가 활동을 적용하지 않은 논의 기반 탐구 과학수업을 처치하였다. 사전과 사후 요약 글쓰기 검사(Summary Writing Test)에서 나타난 'Big idea', '과학 개념', '논의', '수사적 구조'의 평균을 공변량 분석으로 비교한 결과, 논의 항목의 평균이 비교집단에 비해 실험집단이 통계적으로 유의미하게 높은 것으로 나타났다. '논의' 항목의 세부 요소에 대한 평균에서 증거와 보장/보강요소가 비교집단에 비해 실험집단에서 통계적으로 유의미하게 높았다. 이러한 결과로부터 동료평가 활동을 적용한 논의 기반 탐구 과학수업은 논의 능력의 발달에 있어서 기존의 논의 기반 탐구 과학수업 비해 더 효과적임을 알 수 있었다. 동료평가 활동을 통해 지속적인 피드백을 받는 것이 논의와 글쓰기를 수행하는 학생들의 논의능력향상에 도움이 될 것으로 보이며, 동료평가 활동이 학생 논의의 스캐폴딩 도구로써 활용 가능성이 있다고 볼 수 있다.

• 한국과학교육학회지
• /
• 제32권7호
• /
• pp.1099-1108
• /
• 2012

이 연구의 목적은 학생들의 글쓰기에 나타난 논의 구조의 특징을 통해 탐구적 과학 글쓰기 활동의 효과를 심층적으로 살펴보고자 하는 것이다. 이를 위해 탐구적 과학 글쓰기 전략을 바탕으로 개발된 중학교 2학년 프로그램 7개 주제를 적용한 후 학생들의 글쓰기에 나타난 논의 구조의 특징을 비교해 보았다. 이 연구를 위해 광역시 소재 중학교 2학년 2개 학급을 실험집단으로, 1개 학급을 비교집단으로 선정하여, 실험집단에는 탐구적 과학 글쓰기 활동을 실시하였고, 비교집단에는 전통적인 강의 및 실험 수업을 실시하였다. 프로그램의 처치 후 두 집단에게 요약 글쓰기를 실시하였고, 요약 글쓰기를 통해 학생들의 글쓰기에 나타나는 논의 구조의 특징을 살펴보았다. 프로그램의 처치 결과 탐구적 과학 글쓰기 활동을 실시한 실험집단 학생들이 전통적 강의 및 실험 수업을 실시한 비교 집단에 비해 요약 글쓰기에서 논의 구조를 많이 사용하는 것으로 나타났고, 실험집단 학생들의 증거에서 설명과 함께 그림, 그래프, 예시 등의 다양한 표현 제시되어 있었다. 그리고 증거 제시 수준에서도 비교집단은 증거를 제시할 경우 단순한 용어 나열하는 반면 실험집단의 경우 상대방이 이해하기 쉽게 용어에 대한 설명을 하거나 예를 적절히 사용하고 있었다. 이러한 결과로부터 탐구적 과학 글쓰기 활동이 학생들의 글쓰기에서 논의 구조에 긍정적인 영향을 미치고 비교집단과 구별되는 특징을 나타냄을 알 수 있었다.