• 제목/요약/키워드: Hierarchical neural network

검색결과 127건 처리시간 0.024초

정보 증류 및 재귀적인 방식을 이용한 심층 학습법 기반 경량화된 초해상도 네트워크 (Lightweight Super-Resolution Network Based on Deep Learning using Information Distillation and Recursive Methods)

  • 우희조;심지우;김응태
    • 방송공학회논문지
    • /
    • 제27권3호
    • /
    • pp.378-390
    • /
    • 2022
  • 최근 심층 합성 곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들을 좋은 성과를 보여주고 있으며 깊은 네트워크의 강한 표현 능력으로 저해상도 영상과 고해상도 영상 사이의 복잡한 비선형 매핑이 가능해졌다. 하지만 과도한 합성곱 신경망의 사용으로 인해 증가하는 파라미터와 연산량으로 실시간 또는 저전력 장치에 적용하는데 제한이 있다. 본 논문은 정보 증류 방식을 이용하여 계층적인 특징을 조금씩 추출해내는 블록을 재귀적인 방식으로 사용하며 고주파수 잔여 정제 블록을 통해 더 정확한 고주파수 성분을 만들어 성능을 향상시키는 경량화된 네트워크인 Recursive Distillation Super Resolution Network (RDSRN) 를 제안한다. 제안하는 네트워크는 RDN과 비교했을 때 비슷한 화질의 영상을 복원하며 약 32배 적은 파라미터와 약 10배 적은 연산량을 가지고 약 3.5배 더 빠르게 영상을 복원하며 기존 경량화 네트워크 CARN과 비교했을 때 약 2.2배 적은 파라미터와 약 1.8배 빠른 처리시간으로 평균 0.16dB 더 좋은 성능을 만들어 냄을 확인 하였다.

GNN을 이용한 웹사이트 Hierarchy 유사도 분석 기반 해외 침해 사이트 분류 모델 연구 (A Study on the Classification Model of Overseas Infringing Websites based on Web Hierarchy Similarity Analysis using GNN)

  • 서주현;유선모;박종화;박진주;이태진
    • 융합보안논문지
    • /
    • 제23권2호
    • /
    • pp.47-54
    • /
    • 2023
  • 전 세계적으로 한류 콘텐츠가 유행하며 국내뿐만 아니라 해외에서도 국내 저작물의 저작권 침해 사례가 지속적으로 증가하고 있다. 이에 대응하기 위한 국내 불법 저작물 유통 사이트를 탐지하는 기술에 대한 연구가 활발하게 진행되고 있으며 최근 연구는 국내 불법 저작물 유통 사이트들이 광고 배너를 상당수 포함하고 있는 특징을 활용한 연구가 존재한다. 그러나 해외 불법 저작물 유통 사이트의 경우 광고 배너를 포함하지 않거나 국내 사이트에 비해 적은 양의 광고를 포함하고 있어 국내와 같은 탐지 기술의 적용이 제한적이다. 본 연구에서는 저작물 불법 공유 사이트가 게시물과 저작물의 이미지를 유사한 계층 구조로 포함하는 특징을 이용하여 링크 트리 및 텍스트 유사도 비교 기반의 탐지 기술을 제안한다. 대량의 링크로 작성된 대규모 트리의 정확한 유사도 비교를 위해 GNN(Graph Neural Network)를 활용한다. 본 연구의 실험에서 일반 사이트와 저작물 불법 유통 사이트를 분류에 95% 이상의 높은 정확도를 보였고 해당 알고리즘을 적용하여 불법 유통 사이트의 자동화된 탐지를 통해 신속한 저작권 침해 대응이 가능할 것으로 기대된다.

다중 클래스 이상치 탐지를 위한 계층 CNN의 효과적인 클래스 분할 방법 (Effective Classification Method of Hierarchical CNN for Multi-Class Outlier Detection)

  • 김지현;이세영;김예림;안서영;박새롬
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.81-84
    • /
    • 2022
  • 제조 산업에서의 이상치 검출은 생산품의 품질과 운영비용을 절감하기 위한 중요한 요소로 최근 딥러닝을 사용하여 자동화되고 있다. 이상치 검출을 위한 딥러닝 기법에는 CNN이 있으며, CNN을 계층적으로 구성할 경우 단일 CNN 모델에 비해 상대적으로 성능의 향상을 보일 수 있다는 것이 많은 선행 연구에서 나타났다. 이에 MVTec-AD 데이터셋을 이용하여 계층 CNN이 다중 클래스 이상치 판별 문제에 대해 효과적인지를 탐구하고자 하였다. 실험 결과 단일 CNN의 정확도는 0.7715, 계층 CNN의 정확도는 0.7838로 다중 클래스 이상치 판별 문제에 있어 계층 CNN 방식 접근이 다중 클래스 이상치 탐지 문제에서 알고리즘의 성능을 향상할 수 있음을 확인할 수 있었다. 계층 CNN은 모델과 파라미터의 개수와 리소스의 사용이 단일 CNN에 비하여 기하급수적으로 증가한다는 단점이 존재한다. 이에 계층 CNN의 장점을 유지하며 사용 리소스를 절약하고자 하였고 K-means, GMM, 계층적 클러스터링 알고리즘을 통해 제작한 새로운 클래스를 이용해 계층 CNN을 구성하여 각각 정확도 0.7930, 0.7891, 0.7936의 결과를 얻을 수 있었다. 이를 통해 Clustering 알고리즘을 사용하여 적절히 물체를 분류할 경우 물체에 따른 개별 상태 판단 모델을 제작하는 것과 비슷하거나 더 좋은 성능을 내며 리소스 사용을 줄일 수 있음을 확인할 수 있었다.

  • PDF

복수 패턴 인식을 위한 변형된 네오코그니트론 (Modified neocognitron for recognizing multi-patterns)

  • 김태우;최병욱
    • 전자공학회논문지B
    • /
    • 제31B권10호
    • /
    • pp.140-148
    • /
    • 1994
  • 본 논문에서는 입력영상에 존재하는 복수 패턴을 한번의 패스(pass)로 인식할 수 있는 변형된 네오코그니트론을 제안한다. 변형된 네오코그니트론은 특징을 추출하는 S세포층 및 V세포층과 패턴의 크기, 이동, 회전 등 변형에 덜 민감하게 하는 C세포층으로 구성된 계층적 신경망이다. S세포와 V세포들은 DCC(don't care condition)을 적용하여 영상에 존재하는 모든 패턴에 대한 특징을 추출하는 역할을 하며, S세포와 C세포는 추출된 패턴에 대한 위치정보도 함께 가진다. 위치정보는 추출된 특징들이 서로 간섭을 받지 않고 올바른 특징만이 추출되도록 하는 데 이용된다. 제안한 방법은 피드백이 존재하는 선택적 주의 방법과는 달리 단일패스로 인식이 가능하므로 인식시간이 짧으며, DCC와 위치정보를 이용하므로 서로 접촉되어 있는 복수 패턴의 인식도 가능하다.

  • PDF

한국형 디지털 마모그래피에서 SVM을 이용한 계층적 미세석회화 검출 방법 (A Hierarchical Microcalcification Detection Algorithm Using SVM in Korean Digital Mammography)

  • 권주원;강호경;노용만;김성민
    • 대한의용생체공학회:의공학회지
    • /
    • 제27권5호
    • /
    • pp.291-299
    • /
    • 2006
  • A Computer-Aided Diagnosis system has been examined to reduce the effort of radiologist. In this paper, we propose the algorithm using Support Vector Machine(SVM) classifier to discriminate whether microcalcifications are malignant or benign tumors. The proposed method to detect microcalcifications is composed of two detection steps each of which uses SVM classifier. The coarse detection step finds out pixels considered high contrasts comparing with neighboring pixels. Then, Region of Interest(ROI) is generated based on microcalcification characteristics. The fine detection step determines whether the found ROIs are microcalcifications or not by merging potential regions using obtained ROIs and SVM classifier. The proposed method is specified on Korean mammogram database. The experimental result of the proposed algorithm presents robustness in detecting microcalcifications than the previous method using Artificial Neural Network as classifier even when using small training data.

Neural Networks을 이용한 Reactive Ion Etching 공정의 실시간 오류 검출에 관한 연구 (Real-time Fault Detection and Classification of Reactive Ion Etching Using Neural Networks)

  • 유경한;이송재;소대화;홍상진
    • 한국정보통신학회논문지
    • /
    • 제9권7호
    • /
    • pp.1588-1593
    • /
    • 2005
  • 본 논문은 정수장에서 사용하는 응집제의 종류를 결정하기 위한 시스템 개발에 관한 내용이다. 정수장은 여러 단위 처리장으로 구성되며, 불순물을 제거하기 위하여 혼화지에서 응집제를 주입하여 침전을 시킨다. 현재까지 응집제 결정을 위해 Jar-test를 이용하는데, 이 방법은 사람의 주관적인 판단에 의존하므로 실험 오차가 발생할 수 있다. 특히 정수장의 자동화를 위한 시스템 개발에서 가장 큰 걸림돌로 작용하고 있다. 본 논문은 이러한 문제점을 해결하기 위하여 로드맵에 기초한 데이터마이닝 기법을 이용하여 응집제를 선택할 수 있는 제어기를 개발하였다. 제어 규칙은 클러스터링 기법으로 도출하였는데, 군집의 초기 값과 개수는 통계적 지수 값을 사용하여 결정하였다.

빅데이터 분류 기법에 따른 벤처 기업의 성장 단계별 차이 분석 (The Difference Analysis between Maturity Stages of Venture Firms by Classification Techniques of Big Data)

  • 정병호
    • 디지털산업정보학회논문지
    • /
    • 제15권4호
    • /
    • pp.197-212
    • /
    • 2019
  • The purpose of this study is to identify the maturity stages of venture firms through classification analysis, which is widely used as a big data technique. Venture companies should develop a competitive advantage in the market. And the maturity stage of a company can be classified into five stages. I will analyze a difference in the growth stage of venture firms between the survey response and the statistical classification methods. The firm growth level distinguished five stages and was divided into the period of start-up and declines. A classification method of big data uses popularly k-mean cluster analysis, hierarchical cluster analysis, artificial neural network, and decision tree analysis. I used variables that asset increase, capital increase, sales increase, operating profit increase, R&D investment increase, operation period and retirement number. The research results, each big data analysis technique showed a large difference of samples sized in the group. In particular, the decision tree and neural networks' methods were classified as three groups rather than five groups. The groups size of all classification analysis was all different by the big data analysis methods. Furthermore, according to the variables' selection and the sample size may be dissimilar results. Also, each classed group showed a number of competitive differences. The research implication is that an analysts need to interpret statistics through management theory in order to interpret classification of big data results correctly. In addition, the choice of classification analysis should be determined by considering not only management theory but also practical experience. Finally, the growth of venture firms needs to be examined by time-series analysis and closely monitored by individual firms. And, future research will need to include significant variables of the company's maturity stages.

Word2Vec과 가속화 계층적 밀집도 기반 클러스터링을 활용한 효율적 봇넷 탐지 기법 (An Efficient BotNet Detection Scheme Exploiting Word2Vec and Accelerated Hierarchical Density-based Clustering)

  • 이태일;김관현;이지현;이수철
    • 인터넷정보학회논문지
    • /
    • 제20권6호
    • /
    • pp.11-20
    • /
    • 2019
  • 수많은 기업체, 기관, 개인 사용자가 대규모 DDos(Distributed Denial of Service)공격에 의한 피해에 노출되고 있다. DDoS 공격은 좀비PC라 불리는 수많은 컴퓨터들과 계층적 지령구조를 좀비PC들을 제어하는 네트워크인 봇넷을 통하여 수행된다. 통상의 악성코드 탐지 소프트웨어나 백신은 멀웨어를 탐지하기 위해서 사전에 심층 분석을 통한 멀웨어 시그니처를 밝혀야 하며, 이를 탐지 소프트웨어나 백신에 업데이트하여야 한다. 이 과정은 방대한 시간과 비용이 소모된다. 본고에서는 인공신경망 모델을 이용하여 주기적인 시그니처 사전 업데이트가 필요 없는 봇넷 탐지기법을 제안한다. 제안하는 인공신경망 모델은 Word2Vec과 가속화 계층적 밀집도 기반 클러스터링을 활용한다. 제안기법의 봇넷 탐지성능은 CTU-13 데이터셋을 이용하여 평가하였다. 성능평가 결과, 분류 정확도 99.9%로 기존 방법에 비해 우수한 멀웨어 탐지율을 보인다.

오토인코더 기반의 잡음에 강인한 계층적 이미지 분류 시스템 (A Noise-Tolerant Hierarchical Image Classification System based on Autoencoder Models)

  • 이종관
    • 인터넷정보학회논문지
    • /
    • 제22권1호
    • /
    • pp.23-30
    • /
    • 2021
  • 본 논문은 다수의 오토인코더 모델들을 이용한 잡음에 강인한 이미지 분류 시스템을 제안한다. 딥러닝 기술의 발달로 이미지 분류의 정확도는 점점 높아지고 있다. 하지만 입력 이미지가 잡음에 의해서 오염된 경우에는 이미지 분류 성능이 급격히 저하된다. 이미지에 첨가되는 잡음은 이미지의 생성 및 전송 과정에서 필연적으로 발생할 수밖에 없다. 따라서 실제 환경에서 이미지 분류기가 사용되기 위해서는 잡음에 대한 처리 및 대응이 반드시 필요하다. 한편 오토인코더는 입력값과 출력값이 유사하도록 학습되어지는 인공신경망 모델이다. 입력데이터가 학습데이터와 유사하다면 오토인코더의 출력데이터와 입력데이터 사이의 오차는 작을 것이다. 하지만 입력 데이터가 학습데이터와 유사성이 없다면 오토인코더의 출력데이터와 입력데이터 사이의 오차는 클 것이다. 제안하는 시스템은 오토인코더의 입력데이터와 출력데이터 사이의 관계를 이용한다. 제안하는 시스템의 이미지 분류 절차는 2단계로 구성된다. 1단계에서 분류 가능성이 가장 높은 클래스 2개를 선정하고 이들 클래스의 분류 가능성이 서로 유사하면 2단계에서 추가적인 분류 절차를 거친다. 제안하는 시스템의 성능 분석을 위해 가우시안 잡음으로 오염된 MNIST 데이터셋을 대상으로 분류 정확도를 실험하였다. 실험 결과 잡음 환경에서 제안하는 시스템이 CNN(Convolutional Neural Network) 기반의 분류 기법에 비해 높은 정확도를 나타냄을 확인하였다.

잔여 밀집 및 채널 집중 기법을 갖는 재귀적 경량 네트워크 기반의 단일 이미지 초해상도 기법 (Single Image Super Resolution Based on Residual Dense Channel Attention Block-RecursiveSRNet)

  • 우희조;심지우;김응태
    • 방송공학회논문지
    • /
    • 제26권4호
    • /
    • pp.429-440
    • /
    • 2021
  • 최근 심층 합성 곱 신경망 학습의 발전에 따라 단일 이미지 초해상도에 적용되는 심층 학습 기법들은 좋은 성과를 보여주고 있다. 현존하는 딥러닝 기반 초해상도 기법들 중 하나로 잔여 밀집 블록을 이용하여 초기의 특징 정보를 마지막 계층에 전달하여 이후의 계층들이 이전의 계층들의 입력정보를 사용하여 복원하는 RDN(Residual Dense Network)이 있다. 하지만 계층적인 모든 특징을 연결하여 학습하고 다수의 잔여 밀집 블록을 쌓게 되면 좋은 성능에도 불구하고 많은 파라미터의 수와 연산량을 가지게 되어 느린 처리 속도와 네트워크를 학습하는데 많은 시간이 소요되고 모바일 시스템에 적용이 어렵다는 단점을 가지고 있다. 본 논문에서는 이전의 정보를 다시 사용하는 연속 메모리 구조인 잔여 밀집 구조와 이미지의 특징맵에 따라 중요도를 결정해주는 채널 집중 기법을 이용한 잔여밀집 채널 집중 블록을 재귀적인 방식으로 사용하여 추가적인 파라미터 없이 네트워크의 깊이를 늘려 큰 수용 영역을 얻으며 동시에 간결한 모델을 유지할 수 있는 방식을 제안한다. 실험 결과 제안하는 네트워크는 RDN과 비교 하였을 때 4배 확대 배율에서 평균적으로 PSNR 0.205dB만큼 낮지만 약 1.8배 더 빠른 처리속도, 약 10배 더 적은 파라미터의 수와 약 1.74배 더 적은 연산량을 갖는 것을 실험을 통해 확인하였다.