• 제목/요약/키워드: 비지도 학습.

Search Result 225, Processing Time 0.027 seconds

Bias Detection on Opposition Issue (대립 관계에 있는 이슈에서의 바이어스 탐지)

  • Kwon, A-Rong;Tsolmon, Bayar;Lee, Kyung-Soon
    • Annual Conference of KIPS
    • /
    • 2012.04a
    • /
    • pp.398-401
    • /
    • 2012
  • 사람들은 기업이나 제품에 대해 자신의 생각이 긍정적인지 부정적인지 표현하고자 한다. 트위터 사용자들은 트윗을 통해 자신의 생각을 표현한다. 본 논문에서는 트위터 데이터를 대상으로 대립관계에 있는 이슈에서의 바이어스 탐지 방법을 제안한다. 비지도학습 방법을 이용하여 트윗 패턴을 통해 세부자질을 추출하며, 세부자질에 대한 감정에 따른 확률 테이블을 구축하여 바이어스 탐지를 수행한다. 제안 방법의 유효성을 검증하기 위해 4 개의 대립 이슈에 대해 평가를 하였으며, 제안 모델이 기존의 모델보다 우수한 성능을 보였다.

A method for creating the Scene closed-caption metadata based on RNN-LSTM (RNN-LSTM 기반 장면 자막 메타데이터 생성 방법)

  • Kwak, Chang-Uk;Kim, Sun-Joong
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2018.11a
    • /
    • pp.153-155
    • /
    • 2018
  • 정확한 영상 검색을 지원하기 위해 다양한 데이터와 방법들을 통한 메타데이터 생성 연구들이 이루어지고 있다. 자막 데이터를 기존의 키워드 기반의 메타데이터 생성 방법을 이용했을 경우, 구어체, 불완전 문장의 특징을 가진 특징을 반영하는데 어려움이 있었다. 또한, 단순히 키워드 매칭에 의존하기 때문에 문장에 중의적 단어가 포함되어 있을 경우에 검색 정확도가 떨어진다는 한계점이 있다. 따라서, 본 논문에서는 이러한 문제를 해결하기 위해 문장 전체를 특정 단위로 표현한 메타데이터를 생성한다. 이를 위해 비지도 학습인 RNN-LSTM 기반 네트워크를 이용하여 자막을 인코딩하고 장면 지식으로 생성하는 방법을 제안한다. 실험에서는 본 시스템을 통해 임의의 자막을 입력하고 유사도 기반의 결과 비교를 통해 자막 메타데이터의 정성적 평가를 수행하였다.

  • PDF

Knowledge Distillation for Unsupervised Depth Estimation (비지도학습 기반의 뎁스 추정을 위한 지식 증류 기법)

  • Song, Jimin;Lee, Sang Jun
    • IEMEK Journal of Embedded Systems and Applications
    • /
    • v.17 no.4
    • /
    • pp.209-215
    • /
    • 2022
  • This paper proposes a novel approach for training an unsupervised depth estimation algorithm. The objective of unsupervised depth estimation is to estimate pixel-wise distances from camera without external supervision. While most previous works focus on model architectures, loss functions, and masking methods for considering dynamic objects, this paper focuses on the training framework to effectively use depth cue. The main loss function of unsupervised depth estimation algorithms is known as the photometric error. In this paper, we claim that direct depth cue is more effective than the photometric error. To obtain the direct depth cue, we adopt the technique of knowledge distillation which is a teacher-student learning framework. We train a teacher network based on a previous unsupervised method, and its depth predictions are utilized as pseudo labels. The pseudo labels are employed to train a student network. In experiments, our proposed algorithm shows a comparable performance with the state-of-the-art algorithm, and we demonstrate that our teacher-student framework is effective in the problem of unsupervised depth estimation.

Cognitive characteristics of artificial intelligence techniques for searching and interpreting disaster information (재난 정보 검색 및 해석을 위한 인공지능 기법의 인지 특성)

  • SeokHwan Hwang;Jeongha Lee;Byoung-Hwa Oh
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.450-450
    • /
    • 2023
  • 인공지능 기법의 급격한 발달에 따라 다양한 분야에서 인공지능 기법을 활용하기 위한 노력이 이루어지고 있다. 재난은 발생하기 전에 다양한 전조 현상을 나타내나 수많은 정보 속에서 전조 증상을 정확히 인지하는 것은 매우 어렵다. 따라서 인공지능은 방대한 사전 정보의 해석을 통해 재난 발생의 전조를 신속 정확하게 감지하는데 최적의 기술이다. 최근 OpenAI의 딥러닝 기반의 언어모델인 GPT(Generative Pre-trained Transformer)의 성능이 기대 이상을 나타내면서 많은 분야에서 GPT에 대한 관심과 실험이 시작되고 있다. 본 실험에서는 GPT를 이용하여 재난 검색 및 해석의 특징을 검토하여 보았다. 정확한 재난 기록은 정확한 재난 예측을 위해 반드시 필요한 자료이나 부정확한 재난 기록은 그 기록이 비록 방대하더라도 오히려 예측의 신뢰도를 크게 떨어뜨린 수 있다. 따라서 비지도학습 기반의 대화형 인공지능을 재난 검색에 활용하기 위해서는 인공지능 기법의 인지 특성을 반드시 가늠해 봐야 한다. 향후 보다 많은 연구자가 이에 관심을 가진다면 보다 정확한 인공지능 기반의 재난 탐지 기술의 개발이 가능할 것으로 기대된다.

  • PDF

A System for Keyword Extraction and Keyword-based Sentiment Analysis for Topic Analysis in Discussion (토론 대화에서의 토픽 분석을 위한 키워드 추출 및 키워드 기반 감성분석 시스템)

  • Yong-Bin Jeong;Yu-Jin Oh;Jae-Wan Park;Sae-Mi Jang;Young-Gyun Hahm
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.164-169
    • /
    • 2022
  • 토픽 모델링은 비즈니스 분석이나 기술 동향 파악 등 다방면에서 많이 사용되고 있는 기술이다. 하지만 대표적인 방법인 LDA와 같은 비지도학습의 경우, 그 알고리즘 구조상 문서의 수가 많을 때 토픽 모델링이 가능하다. 본 논문에서는 문서의 수가 적은 경우도, 키워드 및 키프레이즈를 이용한 군집화를 통해 토픽 모델링을 하고 감성분석을 통해 토픽에 대한 분석도 제시하였다. 이에 필요한 데이터 제작 및 키워드 추출, 키워드 기반 감성분석, 키워드 임베딩 및 군집화를 구현하였고, 결과를 정성적으로 보았을 때 유의미한 분석이 되는 것을 확인하였다.

  • PDF

Analysis on Temporal Pattern of Location Data with Time Series Model (시계열 모델을 활용한 위치 데이터의 시간적 패턴 분석)

  • Song, Ha Yoon;Lee, Da Som;Jung, Jun Woo
    • Annual Conference of KIPS
    • /
    • 2021.11a
    • /
    • pp.768-771
    • /
    • 2021
  • 시계열 분석은 이전 시점들의 데이터를 기반으로 미래 시점의 데이터를 예측하는 기술을 제공하며, SARIMA는 이러한 시계열 분석에서 활용되는 통계 모델의 일종이다. 본 연구는 직접 수집한 실시간 위치 데이터에 SARIMA를 적용하여 개인의 이동 패턴을 추출하고 이를 예측에 활용하는 전반적인 프로세스를 제작하였다. 첫째, DB에 업로드된 위치 데이터를 비지도 학습의 일종인 EM-clustering을 활용해 핵심 방문 장소들로부터의 거리에 따라 군집화했다. 둘째, 해당 장소에 입장하고 퇴장하는 시간 간격에 SARIMA를 적용해 주기성을 추출했다. 마지막으로, 이 주기성들을 군집의 중요도에 따라 순차적으로 분석하여 유의미한 예측 결과를 도출해냈다.

Research on Normalizing Flow-Based Time Series Anomaly Detection System (정규화 흐름 기반 시계열 이상 탐지 시스템 연구)

  • Younghoon Jeon;Jeonghwan Gwak
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.07a
    • /
    • pp.283-285
    • /
    • 2023
  • 이상 탐지는 데이터에서 일반적인 범주에서 크게 벗어나는 인스턴스 또는 패턴을 식별하는 중요한 작업이다. 본 연구에서는 시계열 데이터의 특징 추출을 위한 비지도 학습 기반 방법과 정규화 흐름의 결합을 통한 이상 탐지 프레임워크를 제안한다. 특징 추출기는 1차원 합성곱 신경망 기반의 오토인코더로 구성되며, 정상적인 시퀀스로만 구성된 훈련 데이터를 압축하고 복원하는 과정을 통해 최적화된다. 추출된 시계열 데이터의 특징 맵은 가능도를 최대화하도록 훈련된 정규화 흐름의 입력으로 사용된다. 이와 같은 방식으로 훈련된 이상 탐지 시스템은 테스트 샘플에 대한 이상치를 계산하며, 최종적으로 임계값과의 비교를 통해 이상 여부를 예측한다. 성능 평가를 위해 시계열 이상 탐지를 위한 공개 데이터셋을 이용하여 공정하게 이상 탐지 성능을 비교하였으며, 실험 결과는 제안하는 정규화 흐름 기법이 시계열 이상 탐지 시스템에 활용될수 있는 잠재성을 시사한다.

  • PDF

K-means를 활용한 항로표지 센서 데이터 군집화

  • 김두환;성상하;최형림
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2022.06a
    • /
    • pp.54-55
    • /
    • 2022
  • 해양에 설치된 항로표지는 선박의 안전한 항해를 위해 위치 정보를 제공하고, 항로표지에 부착된 센서를 통해 다양한 해양 정보를 수집하고 있다. 하지만 항로표지는 육지와 멀리 떨어진 해상이라는 특수한 작업환경으로 인해 항로표지 유지보수를 위한 많은 시간과 비용이 발생하게 된다. 현재 항로표지에 부착된 센서를 통해 다양한 정보를 수집하고 있지만, 정상 데이터와 비정상 데이터를 구분할 수 있는 정보가 없어 고장진단에 어려움이 있다. 따라서 본 연구에서는 항로표지 센서 고장진단을 위해 머신러닝 비지도학습 중 하나인 K-means 알고리즘을 활용하여 정상 데이터와 비정상 데이터로 군집화하였으며, 분류가 잘 되는 것을 확인할 수 있었다. 향후 연구방향으로는 2개의 클러스터로 구분된 데이터가 실제로 정상 데이터인지, 비정상 데이터인지에 대한 비교·분석이 필요하다.

  • PDF

Credit Card Fraud Detection Based on SHAP Considering Time Sequences (시간대를 고려한 SHAP 기반의 신용카드 이상 거래 탐지)

  • Soyeon yang;Yujin Lim
    • Annual Conference of KIPS
    • /
    • 2023.05a
    • /
    • pp.370-372
    • /
    • 2023
  • 신용카드 부정 사용은 고객 및 기업의 신용과 재산에 막대한 손실을 미치고 있다. 이에 따라 금융사들은 이상금융거래탐지시스템을 도입하였으나 이상 거래 발생 여부를 지속적으로 모니터링하고 있기 때문에 시스템 유지에 많은 비용이 따른다. 따라서 본 논문에서는 컴퓨팅 리소스를 절약함과 동시에 성능 개선 효과를 보인 신용카드 이상 거래 탐지 알고리즘을 제안한다. CTGAN 을 활용하여 정상 거래와 이상 거래의 비율을 일부 완화하였고 XAI 기법인 SHAP 를 활용하여 유의미한 속성값을 선택하였다. 이것을 기반으로 LSTM Autoencoder를 사용하여 이상데이터를 탐지하였다. 그 결과 전통적인 비지도 학습 기법에 비해 제안 알고리즘이 우수한 성능을 보였음을 확인하였다.

Font Classification of English Printed Character using Non-negative Matrix Factorization (NMF를 이용한 영문자 활자체 폰트 분류)

  • Lee, Chang-Woo;Kang, Hyun;Jung, Kee-Chul;Kim, Hang-Joon
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.41 no.2
    • /
    • pp.65-76
    • /
    • 2004
  • Today, most documents are electronically produced and their paleography is digitalized by imaging, resulting in a tremendous number of electronic documents in the shape of images. Therefore, to process these document images, many methods of document structure analysis and recognition have already been proposed, including font classification. Accordingly, the current paper proposes a font classification method for document images that uses non-negative matrix factorization (NMF), which is able to learn part-based representations of objects. In the proposed method, spatially total features of font images are automatically extracted using NMF, then the appropriateness of the features specifying each font is investigated. The proposed method is expected to improve the performance of optical character recognition (OCR), document indexing, and retrieval systems, when such systems adopt a font classifier as a preprocessor.