• 제목/요약/키워드: Fully connected network

검색결과 143건 처리시간 0.031초

윈도우 주의 모듈 기반 트랜스포머를 활용한 이미지 분류 방법 (Window Attention Module Based Transformer for Image Classification)

  • 김상훈;김원준
    • 방송공학회논문지
    • /
    • 제27권4호
    • /
    • pp.538-547
    • /
    • 2022
  • 최근 소개된 트랜스포머(Transformer)를 이용한 이미지 분류 방법들은 기존 합성곱 신경망 기반 방법 대비 괄목할 만한 성능 향상을 보여주고 있다. 지역적 특성을 효과적으로 고려하기 위해 이미지 영역을 복수의 윈도우 영역으로 나누어 트랜스포머를 적용하는 방법에 대한 연구가 활발히 진행되어 왔으나, 윈도우 간 관계 및 중요도에 대한 학습은 여전히 부족한 상황이다. 본 논문에서는 이러한 문제점을 극복하기 위해 각 윈도우의 중요도를 학습에 반영할 수 있는 트랜스포머 구조를 제안한다. 제안하는 방법은 각 윈도우 영역에 대한 자기주의(Self-attention) 연산을 기반으로 압축과 완전 연결 계층(Fully Connected Layer)을 통해 각 윈도우 영역의 중요도를 계산한다. 계산된 중요도는 윈도우 영역들 간의 관계를 학습한 가중치로써 각 윈도우 영역에 곱해져 특징 값을 재조정 한다. 실험 결과를 통해 제안하는 방법이 기존 트랜스포머 기반 방법의 성능을 효과적으로 향상 시킬 수 있음을 보인다.

NDMP를 사용한 디스크 기반 백업 소프트웨어 (A Disk based Backup Software using NDMP)

  • 윤종현;복경수;유재수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제11권6호
    • /
    • pp.488-502
    • /
    • 2005
  • 최근 데이타 통신 기술 및 저장 장치의 발전과 더불어 대용량의 데이타를 가공 처리하기 위한 많은 연구들이 진행되고 있다. 이와 함께 NAS와 SAN 등의 보급으로 저장 매체의 대용량화가 가속화되면서 대용량의 데이타를 효과적으로 백업하기 위한 요구가 증가되고 있다. 본 논문에서는 네트워크 기반의 백업을 위해서 제안된 개방형 표준 프로토콜인 NDMP를 이용하여 디스크 기반 백업 소프트웨어를 설계하고 구현한다. 제안하는 백업 소프트웨어는 다양한 백업 및 복구 타입을 지원한다. 또한 네트워크에 연결된 다수의 장치들을 관리하고, NDMP 프로토콜을 확장하여 디스크 백업을 지원한다.

A study on estimating the interlayer boundary of the subsurface using a artificial neural network with electrical impedance tomography

  • Sharma, Sunam Kumar;Khambampati, Anil Kumar;Kim, Kyung Youn
    • 전기전자학회논문지
    • /
    • 제25권4호
    • /
    • pp.650-663
    • /
    • 2021
  • Subsurface topology estimation is an important factor in the geophysical survey. Electrical impedance tomography is one of the popular methods used for subsurface imaging. The EIT inverse problem is highly nonlinear and ill-posed; therefore, reconstructed conductivity distribution suffers from low spatial resolution. The subsurface region can be approximated as piece-wise separate regions with constant conductivity in each region; therefore, the conductivity estimation problem is transformed to estimate the shape and location of the layer boundary interface. Each layer interface boundary is treated as an open boundary that is described using front points. The subsurface domain contains multi-layers with very complex configurations, and, in such situations, conventional methods such as the modified Newton Raphson method fail to provide the desired solution. Therefore, in this work, we have implemented a 7-layer artificial neural network (ANN) as an inverse problem algorithm to estimate the front points that describe the multi-layer interface boundaries. An ANN model consisting of input, output, and five fully connected hidden layers are trained for interlayer boundary reconstruction using training data that consists of pairs of voltage measurements of the subsurface domain with three-layer configuration and the corresponding front points of interface boundaries. The results from the proposed ANN model are compared with the gravitational search algorithm (GSA) for interlayer boundary estimation, and the results show that ANN is successful in estimating the layer boundaries with good accuracy.

Application of the machine learning technique for the development of a condensation heat transfer model for a passive containment cooling system

  • Lee, Dong Hyun;Yoo, Jee Min;Kim, Hui Yung;Hong, Dong Jin;Yun, Byong Jo;Jeong, Jae Jun
    • Nuclear Engineering and Technology
    • /
    • 제54권6호
    • /
    • pp.2297-2310
    • /
    • 2022
  • A condensation heat transfer model is essential to accurately predict the performance of the passive containment cooling system (PCCS) during an accident in an advanced light water reactor. However, most of existing models tend to predict condensation heat transfer very well for a specific range of thermal-hydraulic conditions. In this study, a new correlation for condensation heat transfer coefficient (HTC) is presented using machine learning technique. To secure sufficient training data, a large number of pseudo data were produced by using ten existing condensation models. Then, a neural network model was developed, consisting of a fully connected layer and a convolutional neural network (CNN) algorithm, DenseNet. Based on the hold-out cross-validation, the neural network was trained and validated against the pseudo data. Thereafter, it was evaluated using the experimental data, which were not used for training. The machine learning model predicted better results than the existing models. It was also confirmed through a parametric study that the machine learning model presents continuous and physical HTCs for various thermal-hydraulic conditions. By reflecting the effects of individual variables obtained from the parametric analysis, a new correlation was proposed. It yielded better results for almost all experimental conditions than the ten existing models.

A fully deep learning model for the automatic identification of cephalometric landmarks

  • Kim, Young Hyun;Lee, Chena;Ha, Eun-Gyu;Choi, Yoon Jeong;Han, Sang-Sun
    • Imaging Science in Dentistry
    • /
    • 제51권3호
    • /
    • pp.299-306
    • /
    • 2021
  • Purpose: This study aimed to propose a fully automatic landmark identification model based on a deep learning algorithm using real clinical data and to verify its accuracy considering inter-examiner variability. Materials and Methods: In total, 950 lateral cephalometric images from Yonsei Dental Hospital were used. Two calibrated examiners manually identified the 13 most important landmarks to set as references. The proposed deep learning model has a 2-step structure-a region of interest machine and a detection machine-each consisting of 8 convolution layers, 5 pooling layers, and 2 fully connected layers. The distance errors of detection between 2 examiners were used as a clinically acceptable range for performance evaluation. Results: The 13 landmarks were automatically detected using the proposed model. Inter-examiner agreement for all landmarks indicated excellent reliability based on the 95% confidence interval. The average clinically acceptable range for all 13 landmarks was 1.24 mm. The mean radial error between the reference values assigned by 1 expert and the proposed model was 1.84 mm, exhibiting a successful detection rate of 36.1%. The A-point, the incisal tip of the maxillary and mandibular incisors, and ANS showed lower mean radial error than the calibrated expert variability. Conclusion: This experiment demonstrated that the proposed deep learning model can perform fully automatic identification of cephalometric landmarks and achieve better results than examiners for some landmarks. It is meaningful to consider between-examiner variability for clinical applicability when evaluating the performance of deep learning methods in cephalometric landmark identification.

무선 애드혹 망을 위한 연결 지배 집합 다중-링 위상의 분산적 구성-볼츠만 기계적 접근 (Distributed Construction of the Multiple-Ring Topology of the Connected Dominating Set for the Mobile Ad Hoc Networks: Boltzmann Machine Approach)

  • 박재현
    • 한국정보과학회논문지:정보통신
    • /
    • 제34권3호
    • /
    • pp.226-238
    • /
    • 2007
  • 본 논문은 연결 지배 집합에 속하는 노드들로 애드혹 망의 위상을 구성하는 완전 분산형 위상 제어 프로토콜을 제시한다. 제안한 프로토콜은 가능한 최소의 노드 수로 위상을 구성할 수 있게 하여 패킷 전송 시 발생하는 간섭을 줄일 수 있다. 제안한 프로토콜의 알고리즘 복잡도는 O(1)이다. 각 노드는 분산된 병렬 볼츠만 기계의 한 노드로서 동작한다. 이 볼츠만 기계의 목적 함수를 연결의 차수와 연결 지배 정도를 표현하는 두 개의 볼츠만 인수로 구성한다. 이 볼츠만 인수들을 정의하기 위해 두 개의 퍼지 집합을 정의한다. 하나는 연결 지배 노드로 이루어진 퍼지 집합이며, 다른 하나는 다중-링 위상 구성이 가능한 노드로 이루어진 퍼지 집합이다. 제안한 프로토콜은 이 두 퍼지 집합의 강한 원소 노드들을 애드혹 망의 클러스터 헤드로 선택한다. 모의 실험을 통해 패킷 손실율과 에너지 소비율 측면에서 제안 프로토콜이 기존 방법에 비해 우수함을 확인하였다.

다변량 입력이 딥러닝 기반 저수율 예측에 미치는 영향 분석과 중장기 예측 방안 (Analyzing the Impact of Multivariate Inputs on Deep Learning-Based Reservoir Level Prediction and Approaches for Mid to Long-Term Forecasting)

  • 박혜승;윤종욱;이호준;양현호
    • 정보처리학회 논문지
    • /
    • 제13권4호
    • /
    • pp.199-207
    • /
    • 2024
  • 지역 저수지들은 농업용수 공급의 중요한 수원공으로 가뭄과 같은 극단적 기후 조건을 대비하여 안정적인 저수율 관리가 필수적이다. 저수율 예측은 국지적 강우와 같은 지역적 기후 특성뿐만 아니라 작부시기를 포함하는 계절적 요인 등에 크게 영향을 받기 때문에 적절한 예측 모델을 선정하는 것만큼 입/출력 데이터 간 상관관계 파악이 무엇보다 중요하다. 이에 본 연구에서는 1991년부터 2022년까지의 전라북도 400여 개 저수지의 광범위한 다변량 데이터를 활용하여 각 저수지의 복잡한 수문학·기후학적 환경요인을 포괄적으로 반영한 저수율 예측 모델을 학습 및 검증하고, 각 입력 특성이 저수율 예측 성능에 미치는 영향력을 분석하고자 한다. 신경망 구조에 따른 저수율 예측 성능 개선이 아닌 다변량의 입력 데이터와 예측 성능 간의 상관관계에 초점을 맞추기 위하여 실험에 사용된 예측 모델로 합성곱신경망 또는 순환신경망과 같은 복잡한 형태가 아닌 완전연결계층, 배치정규화, 드롭아웃, 활성화 함수 등의 조합으로 구성된 기본적인 순방향 신경망을 채택하였다. 추가적으로 대부분의 기존 연구에서는 하루 단위의 단기 예측 성능만을 제시하고 있으며 이러한 단기 예측 방식은 10일, 한 달 단위 등 중장기적 예측이 필요한 실무환경에 적합하지 않기 때문에, 본 연구에서는 하루 단위 예측값을 다음 입력으로 사용하는 재귀적 방식을 통해 최대 한 달 뒤 저수율 예측 성능을 측정하였다. 실험을 통해 예측 기간에 따른 성능 변화 양상을 파악하였으며, Ablation study를 바탕으로 예측 모델의 각 입력 특성이 전체 성능에 끼치는 영향을 분석하였다.

ATM 망에 적용 가능한 출력단 버퍼형 Batcher-Banyan 스위치의 성능분석 (Performance Analysis of Output Queued Batcher-Banyan Switch for ATM Network)

  • Keol-Woo Yu;Kyou Ho Lee
    • 한국시뮬레이션학회논문지
    • /
    • 제8권4호
    • /
    • pp.1-8
    • /
    • 1999
  • This paper proposes an ATM switch architecture called Output Queued Batcher-Banyan switch (OQBBS). It consists of a Sorting Module, Expanding Module, and Output Queueing Modules. The principles of channel grouping and output queueing are used to increase the maximum throughput of an ATM switch. One distinctive feature of the OQBBS is that multiple cells can be simultaneously delivered to their desired output. The switch architecture is shown to be modular and easily expandable. The performance of the OQBBS in terms of throughput, cell delays, and cell loss rate under uniform random traffic condition is evaluated by computer simulation. The throughput and the average cell delay are close to the ideal performance behavior of a fully connected output queued crossbar switch. It is also shown that the OQBBS meets the cell loss probability requirement of $10^{-6}$.

  • PDF

DESIGN OF DESIRABLE LOUDNESS RATINGS FOR ISDN TELEPHONE

  • Hong, Jin-Woo;Kang, Kyeong-Ok;Kang, Seong-Hoon
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1994년도 FIFTH WESTERN PACIFIC REGIONAL ACOUSTICS CONFERENCE SEOUL KOREA
    • /
    • pp.1070-1075
    • /
    • 1994
  • This paper describes the method for designing loudness ratings as transmission quality for ISDN telephone connected to fully digital network. To design the desirable loudness ratings for ISDN telephone, the model system of digital speech communication for subjective test is developed and opinion tests for establishing the optimal CODEC input level, the range of overall loudness rating, and sidetone masking rating are performed. As the results, the desirable ranges of loudness ratings are proposed as 6 to 8dB for sending, 0 to 2dB for receiving, and 10 to 14dB for sidetone masking rating.

  • PDF

Voting and Ensemble Schemes Based on CNN Models for Photo-Based Gender Prediction

  • Jhang, Kyoungson
    • Journal of Information Processing Systems
    • /
    • 제16권4호
    • /
    • pp.809-819
    • /
    • 2020
  • Gender prediction accuracy increases as convolutional neural network (CNN) architecture evolves. This paper compares voting and ensemble schemes to utilize the already trained five CNN models to further improve gender prediction accuracy. The majority voting usually requires odd-numbered models while the proposed softmax-based voting can utilize any number of models to improve accuracy. The ensemble of CNN models combined with one more fully-connected layer requires further tuning or training of the models combined. With experiments, it is observed that the voting or ensemble of CNN models leads to further improvement of gender prediction accuracy and that especially softmax-based voters always show better gender prediction accuracy than majority voters. Also, compared with softmax-based voters, ensemble models show a slightly better or similar accuracy with added training of the combined CNN models. Softmax-based voting can be a fast and efficient way to get better accuracy without further training since the selection of the top accuracy models among available CNN pre-trained models usually leads to similar accuracy to that of the corresponding ensemble models.