• ETRI Journal
• /
• 제44권4호
• /
• pp.599-612
• /
• 2022

This study focuses on improving a word embedding model to enhance the performance of downstream tasks, such as those of dialog systems. To improve traditional word embedding models, such as skip-gram, it is critical to refine the word features and expand the context model. In this paper, we approach the word model from the perspective of subword embedding and attempt to extend the context model by integrating various sentence models. Our proposed sentence model is a subword-based skip-thought model that integrates self-attention and relative position encoding techniques. We also propose a clustering-based dialog model for downstream task verification and evaluate its relationship with the sentence-model-based subword embedding technique. The proposed subword embedding method produces better results than previous methods in evaluating word and sentence similarity. In addition, the downstream task verification, a clustering-based dialog system, demonstrates an improvement of up to 4.86% over the results of FastText in previous research.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.11-12
• /
• 2023

본 논문에서는 상점 내 캡티브 포털을 활용하여 수집된 주문 정보 데이터를 바탕으로 사용자가 선호하는 메뉴를 추천하는 시스템을 제안한다. 이 시스템은 식품 관련 공공 데이터셋으로 학습된 단어 임베딩 모델(Word Embedding Model)로 메뉴명을 벡터화하여 그와 유사한 벡터를 가지는 메뉴를 추천한다. 이 기법은 캡티브 포털에서 수집되는 데이터 특성상 사용자의 개인정보가 비식별화 되고 선택 항목에 대한 정보도 제한되므로 기존의 단어 임베딩 모델을 추천 시스템에 적용하는 경우에 비해 유리하다. 본 논문에서는 실제 동일한 시스템을 사용하는 상점들의 구매 기록 데이터를 활용한 검증 데이터를 확보하여 제안된 추천 시스템이 Precision@k(k=3) 구매 예측에 유의미함을 보인다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2001년도 The Pacific Aisan Confrence On Intelligent Systems 2001
• /
• pp.230-236
• /
• 2001

In this paper, we explored the possibilities of embedding Qualitative Reasoning techniques, the Qualitative Process Theory (QPT), and its implementation in the field of inorganic chemistry. The target field of implementation is Qualitative Chemical Analysis and Laboratory Simulation. By embedding such technique in this education software we aim to combine theory and practice into a single package. The system, are able to generate reasoning and explanation based on chemical theories, helping student in mastering basic chemistry knowledge and practical skill as well. We also review the suitability of embedding QPT techniques into chemistry in general, by comparing some examples from both fields.

• 제어로봇시스템학회논문지
• /
• 제11권4호
• /
• pp.314-321
• /
• 2005

In this paper an intelligence embedding quadruped pet robot is described. It has 15 degrees of freedom and consists of various sensors such as CMOS image, voice recognition and sound localization, inclinometer, thermistor, real-time clock, tactile touch, PIR and IR to allows owners to interact with pet robot according to human's intention as well as the original features of pet animals. The architecture is flexible and adopts various embedded processors for handling sensors to provide modular structure. The pet robot is also used for additional purpose such like security, gaming visual tracking, and research platform. It is possible to generate various actions and behaviors and to download voice or music files to maintain a close relation of users. With cost-effective sensor, the pet robot is able to find its recharge station and recharge itself when its battery runs low. To facilitate programming of the robot, we support several development environments. Therefore, the developed system is a low-cost programmable entertainment robot platform.

• Journal of Multimedia Information System
• /
• 제9권2호
• /
• pp.93-102
• /
• 2022

Dependency parsing is a decision problem of the syntactic relation between words in a sentence. Recently, deep learning models are used for dependency parsing based on the word representations in a continuous vector space. However, it causes a mislabeled tagging problem for the proper nouns that rarely appear in the training corpus because it is difficult to express out-of-vocabulary (OOV) words in a continuous vector space. To solve the OOV problem in dependency parsing, we explored the proper noun embedding method according to the embedding unit. Before representing words in a continuous vector space, we replace the proper nouns with a special token and train them for the contextual features by using the multi-layer bidirectional LSTM. Two models of the syllable-based and morpheme-based unit are proposed for proper noun embedding and the performance of the dependency parsing is more improved in the ensemble model than each syllable and morpheme embedding model. The experimental results showed that our ensemble model improved 1.69%p in UAS and 2.17%p in LAS than the same arc-eager approach-based Malt parser.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권6호
• /
• pp.1620-1634
• /
• 2023

This paper studies the task of embedding nodes with multiple graphs representing multiple information channels, which is useful in a large volume of network clustering tasks. By learning a node using multiple graphs, various characteristics of the node can be represented and embedded stably. Existing studies using multi-channel networks have been conducted by integrating heterogeneous graphs or limiting common nodes appearing in multiple graphs to have similar embeddings. Although these methods effectively represent nodes, it also has limitations by assuming that all networks provide the same amount of information. This paper proposes a method to overcome these limitations; The proposed method gives different weights according to the source graph when embedding nodes; the characteristics of the graph with more important information can be reflected more in the node. To this end, a novel method incorporating a multi-channel gate layer is proposed to weigh more important channels and ignore unnecessary data to embed a node with multiple graphs. Empirical experiments demonstrate the effectiveness of the proposed multi-channel-based embedding methods.

• Journal of Information Science Theory and Practice
• /
• 제10권spc호
• /
• pp.86-95
• /
• 2022

Online recruitment websites discuss job demands in various fields, and job postings contain detailed job specifications. Analyzing this text can elucidate the features that determine job salaries. Text embedding models can learn the contextual information in a text, and explainable artificial intelligence frameworks can be used to examine in detail how text features contribute to the models' outputs. We collected 733,625 job postings using the WORKNET API and classified them into low, mid, and high-range salary groups. A text embedding model that predicts job salaries based on the text in job postings was trained with the collected data. Then, we applied the SHapley Additive exPlanations (SHAP) framework to the trained model and discovered the significant words that determine each salary class. Several limitations and remaining words are also discussed.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
• /
• pp.225-227
• /
• 2017

본 논문은 한국어 서브워드 기반 워드 임베딩 기술을 다룬다. 미등록어 문제를 가진 기존 워드 임베딩 기술을 대체할 수 있는 새로운 워드 임베딩 기술을 한국어에 적용하기 위해, 음소열 기반 서브워드 자질 검증을 진행한다. 기존 서브워드 자질은 문자 n-gram을 사용한다. 한국어의 경우 특정 단음절 발음은 단어에 따라 달라진다. 여기서 음소열 n-gram은 특정 서브워드 자질의 변별력을 확보할 수 있다는 장점이 있다. 본 논문은 서브워드 임베딩 기술을 재구현하여, 영어 환경에서 기존 워드 임베딩 사례와 비교하여 성능 우위를 확보한다. 또한, 한국어 음소열 자질을 활용한 실험 결과에서 의미적으로 보다 유사한 어휘를 벡터 공간상에 근접시키는 결과를 보여 준다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
• /
• pp.225-227
• /
• 2017

본 논문은 한국어 서브워드 기반 워드 임베딩 기술을 다룬다. 미등록어 문제를 가진 기존 워드 임베딩 기술을 대체할 수 있는 새로운 워드 임베딩 기술을 한국어에 적용하기 위해, 음소열 기반 서브워드 자질 검증을 진행한다. 기존 서브워드 자질은 문자 n-gram을 사용한다. 한국어의 경우 특정 단음절 발음은 단어에 따라 달라진다. 여기서 음소열 n-gram은 특정 서브워드 자질의 변별력을 확보할 수 있다는 장점이 있다. 본 논문은 서브워드 임베딩 기술을 재구현하여, 영어 환경에서 기존 워드 임베딩 사례와 비교하여 성능 우위를 확보한다. 또한, 한국어 음소열 자질을 활용한 실험 결과에서 의미적으로 보다 유사한 어휘를 벡터 공간상에 근접시키는 결과를 보여 준다.

• 생물환경조절학회지
• /
• 제33권1호
• /
• pp.1-11
• /
• 2024

이 연구에서는 Inception V3, SqueezeNet(local), VGG-16, Painters 및 DeepLoc의 다섯 가지 인공지능(AI) 모델을 사용하여 차나무 잎의 병해를 분류하였다. 여덟 가지 이미지 카테고리를 사용하였는데, healthy, algal leaf spot, anthracnose, bird's eye spot, brown blight, gray blight, red leaf spot, and white spot였다. 이 연구에서 사용한 소프트웨어는 데이터 시각적 프로그래밍을 위한 파이썬 라이브러리로 작동하는 Orange3였다. 이는 데이터를 시각적으로 조작하여 분석하기 위한 워크플로를 생성하는 인터페이스를 통해 작동되었다. 각 AI 모델의 정확도로 최적의 AI 모델을 선택하였다. 모든 모델은 Adam 최적화, ReLU 활성화 함수, 은닉 레이어에 100개의 뉴런, 신경망의 최대 반복 횟수가 200회, 그리고 0.0001 정규화를 사용하여 훈련되었다. Orange3 기능을 확장하기 위해 새로운 이미지 분석 Add-on을 설치하였다. 훈련 모델에서는 이미지 가져오기(import image), 이미지 임베딩(image embedding), 신경망(neural network), 테스트 및 점수(test and score), 혼동 행렬(confusion matrix) 위젯이 사용되었으며, 예측에는 이미지 가져오기(import image), 이미지 임베딩(image embedding), 예측(prediction) 및 이미지 뷰어(image viewer) 위젯이 사용되었다. 다섯 AI 모델[Inception V3, SqueezeNet(로컬), VGG-16, Painters 및 DeepLoc]의 신경망 정밀도는 각각 0.807, 0.901, 0.780, 0.800 및 0.771이었다. 결론적으로 SqueezeNet(local) 모델이 차나무 잎 이미지를 사용하여 차병해 탐색을 위한 최적 AI 모델로 선택되었으며, 정확도와 혼동 행렬을 통해 뛰어난 성능을 보였다.