• 제목/요약/키워드: Memory efficiency

검색결과 721건 처리시간 0.031초

Twin models for high-resolution visual inspections

  • Seyedomid Sajedi;Kareem A. Eltouny;Xiao Liang
    • Smart Structures and Systems
    • /
    • 제31권4호
    • /
    • pp.351-363
    • /
    • 2023
  • Visual structural inspections are an inseparable part of post-earthquake damage assessments. With unmanned aerial vehicles (UAVs) establishing a new frontier in visual inspections, there are major computational challenges in processing the collected massive amounts of high-resolution visual data. We propose twin deep learning models that can provide accurate high-resolution structural components and damage segmentation masks efficiently. The traditional approach to cope with high memory computational demands is to either uniformly downsample the raw images at the price of losing fine local details or cropping smaller parts of the images leading to a loss of global contextual information. Therefore, our twin models comprising Trainable Resizing for high-resolution Segmentation Network (TRS-Net) and DmgFormer approaches the global and local semantics from different perspectives. TRS-Net is a compound, high-resolution segmentation architecture equipped with learnable downsampler and upsampler modules to minimize information loss for optimal performance and efficiency. DmgFormer utilizes a transformer backbone and a convolutional decoder head with skip connections on a grid of crops aiming for high precision learning without downsizing. An augmented inference technique is used to boost performance further and reduce the possible loss of context due to grid cropping. Comprehensive experiments have been performed on the 3D physics-based graphics models (PBGMs) synthetic environments in the QuakeCity dataset. The proposed framework is evaluated using several metrics on three segmentation tasks: component type, component damage state, and global damage (crack, rebar, spalling). The models were developed as part of the 2nd International Competition for Structural Health Monitoring.

댐 일유입량 예측을 위한 데이터 전처리와 머신러닝&딥러닝 모델 조합의 비교연구 (Comparative Study of Data Preprocessing and ML&DL Model Combination for Daily Dam Inflow Prediction)

  • 조영식;정관수
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.358-358
    • /
    • 2023
  • 본 연구에서는 그동안 수자원분야 강우유출 해석분야에 활용되었던 대표적인 머신러닝&딥러닝(ML&DL) 모델을 활용하여 모델의 하이퍼파라미터 튜닝뿐만 아니라 모델의 특성을 고려한 기상 및 수문데이터의 조합과 전처리(lag-time, 이동평균 등)를 통하여 데이터 특성과 ML&DL모델의 조합시나리오에 따른 일 유입량 예측성능을 비교 검토하는 연구를 수행하였다. 이를 위해 소양강댐 유역을 대상으로 1974년에서 2021년까지 축적된 기상 및 수문데이터를 활용하여 1) 강우, 2) 유입량, 3) 기상자료를 주요 영향변수(독립변수)로 고려하고, 이에 a) 지체시간(lag-time), b) 이동평균, c) 유입량의 성분분리조건을 적용하여 총 36가지 시나리오 조합을 ML&DL의 입력자료로 활용하였다. ML&DL 모델은 1) Linear Regression(LR), 2) Lasso, 3) Ridge, 4) SVR(Support Vector Regression), 5) Random Forest(RF), 6) LGBM(Light Gradient Boosting Model), 7) XGBoost의 7가지 ML방법과 8) LSTM(Long Short-Term Memory models), 9) TCN(Temporal Convolutional Network), 10) LSTM-TCN의 3가지 DL 방법, 총 10가지 ML&DL모델을 비교 검토하여 일유입량 예측을 위한 가장 적합한 데이터 조합 특성과 ML&DL모델을 성능평가와 함께 제시하였다. 학습된 모형의 유입량 예측 결과를 비교·분석한 결과, 소양강댐 유역에서는 딥러닝 중에서는 TCN모형이 가장 우수한 성능을 보였고(TCN>TCN-LSTM>LSTM), 트리기반 머신러닝중에서는 Random Forest와 LGBM이 우수한 성능을 보였으며(RF, LGBM>XGB), SVR도 LGBM수준의 우수한 성능을 나타내었다. LR, Lasso, Ridge 세가지 Regression모형은 상대적으로 낮은 성능을 보였다. 또한 소양강댐 댐유입량 예측에 대하여 강우, 유입량, 기상계열을 36가지로 조합한 결과, 입력자료에 lag-time이 적용된 강우계열의 조합 분석에서 세가지 Regression모델을 제외한 모든 모형에서 NSE(Nash-Sutcliffe Efficiency) 0.8이상(최대 0.867)의 성능을 보였으며, lag-time이 적용된 강우와 유입량계열을 조합했을 경우 NSE 0.85이상(최대 0.901)의 더 우수한 성능을 보였다.

  • PDF

트랜스포머 기반 효율적인 자연어 처리 방안 연구 (A Study on Efficient Natural Language Processing Method based on Transformer)

  • 임승철;윤성구
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권4호
    • /
    • pp.115-119
    • /
    • 2023
  • 현재의 인공지능에서 사용되는 자연어 처리 모델은 거대하여 실시간으로 데이터를 처리하고 분석하는 것은 여러가지 어려움들을 야기하고 있다. 이런 어려움을 해결하기 위한 방법으로 메모리를 적게 사용해 처리의 효율성을 개선하는 방법을 제안하고 제안된 모델의 성능을 확인하였다. 본 논문에서 제안한 모델의 성능평가를 위해 적용한 기법은 BERT[1] 모델의 어텐션 헤드 개수와 임베딩 크기를 작게 조절해 큰 말뭉치를 나눠서 분할 처리 후 출력값의 평균을 통해 결과를 산출하였다. 이 과정에서 입력 데이터의 다양성을 주기위해 매 에폭마다 임의의 오프셋을 문장에 부여하였다. 그리고 모델을 분류가 가능하도록 미세 조정하였다. 말뭉치를 분할 처리한 모델은 그렇지 않은 모델 대비 정확도가 12% 정도 낮았으나, 모델의 파라미터 개수는 56% 정도 절감되는 것을 확인하였다.

Dental-derived cells for regenerative medicine: stem cells, cell reprogramming, and transdifferentiation

  • Young-Dan Cho;Kyoung-Hwa Kim;Yong-Moo Lee;Young Ku;Yang-Jo Seol
    • Journal of Periodontal and Implant Science
    • /
    • 제52권6호
    • /
    • pp.437-454
    • /
    • 2022
  • Embryonic stem cells have been a popular research topic in regenerative medicine owing to their pluripotency and applicability. However, due to the difficulty in harvesting them and their low yield efficiency, advanced cell reprogramming technology has been introduced as an alternative. Dental stem cells have entered the spotlight due to their regenerative potential and their ability to be obtained from biological waste generated after dental treatment. Cell reprogramming, a process of reverting mature somatic cells into stem cells, and transdifferentiation, a direct conversion between different cell types without induction of a pluripotent state, have helped overcome the shortcomings of stem cells and raised interest in their regenerative potential. Furthermore, the potential of these cells to return to their original cell types due to their epigenetic memory has reinforced the need to control the epigenetic background for successful management of cellular differentiation. Herein, we discuss all available sources of dental stem cells, the procedures used to obtain these cells, and their ability to differentiate into the desired cells. We also introduce the concepts of cell reprogramming and transdifferentiation in terms of genetics and epigenetics, including DNA methylation, histone modification, and non-coding RNA. Finally, we discuss a novel therapeutic avenue for using dental-derived cells as stem cells, and explain cell reprogramming and transdifferentiation, which are used in regenerative medicine and tissue engineering.

Real-time prediction on the slurry concentration of cutter suction dredgers using an ensemble learning algorithm

  • Han, Shuai;Li, Mingchao;Li, Heng;Tian, Huijing;Qin, Liang;Li, Jinfeng
    • 국제학술발표논문집
    • /
    • The 8th International Conference on Construction Engineering and Project Management
    • /
    • pp.463-481
    • /
    • 2020
  • Cutter suction dredgers (CSDs) are widely used in various dredging constructions such as channel excavation, wharf construction, and reef construction. During a CSD construction, the main operation is to control the swing speed of cutter to keep the slurry concentration in a proper range. However, the slurry concentration cannot be monitored in real-time, i.e., there is a "time-lag effect" in the log of slurry concentration, making it difficult for operators to make the optimal decision on controlling. Concerning this issue, a solution scheme that using real-time monitored indicators to predict current slurry concentration is proposed in this research. The characteristics of the CSD monitoring data are first studied, and a set of preprocessing methods are presented. Then we put forward the concept of "index class" to select the important indices. Finally, an ensemble learning algorithm is set up to fit the relationship between the slurry concentration and the indices of the index classes. In the experiment, log data over seven days of a practical dredging construction is collected. For comparison, the Deep Neural Network (DNN), Long Short Time Memory (LSTM), Support Vector Machine (SVM), Random Forest (RF), Gradient Boosting Decision Tree (GBDT), and the Bayesian Ridge algorithm are tried. The results show that our method has the best performance with an R2 of 0.886 and a mean square error (MSE) of 5.538. This research provides an effective way for real-time predicting the slurry concentration of CSDs and can help to improve the stationarity and production efficiency of dredging construction.

  • PDF

풍력터빈 상태진단에 적용된 다양한 신경망 모델의 유효성 비교 (Comparison of the effectiveness of various neural network models applied to wind turbine condition diagnosis)

  • 응고만투안;김창현;딘민차우;박민원
    • 한국산업정보학회논문지
    • /
    • 제28권5호
    • /
    • pp.77-87
    • /
    • 2023
  • 재생 에너지 생성에서 중요한 역할을 하는 풍력 터빈은 작동 상태를 정확하게 평가하는 것이 에너지 생산을 극대화하고 가동 중지 시간을 최소화하는 데 매우 중요하다. 이 연구는 풍력 터빈 상태 진단을 위한 다양한 신경망 모델의 비교 분석을 수행하고 센서 측정 및 과거 터빈 데이터가 포함된 데이터 세트를 사용하여 효율성을 평가하였다. 분석을 위해 2MW 이중 여자 유도 발전기 기반 풍력 터빈 시스템(모델 HQ2000)에서 수집된 감시 제어 및 데이터 수집 데이터를 활용했다. 활성화함수, 은닉층 등을 고려하여 인공신경망, 장단기기억, 순환신경망 등 다양한 신경망 모델을 구축하였다. 대칭 평균 절대 백분율 오류는 모델의 성능을 평가하는 데 사용되었다. 평가를 바탕으로 풍력 터빈 상태 진단을 위한 신경망 모델의 상대적 효율성에 관한 결론이 도출되었다. 본 연구결과는 풍력발전기의 상태진단을 위한 모델선정의 길잡이가 되며, 고도의 신경망 기반 기법을 통한 신뢰성 및 효율성 향상에 기여하고, 향후 관련연구의 방향을 제시하는데 기여한다.

MAGICal Synthesis: 반도체 패키지 이미지 생성을 위한 메모리 효율적 접근법 (MAGICal Synthesis: Memory-Efficient Approach for Generative Semiconductor Package Image Construction)

  • 창윤빈;최원용;한기준
    • 마이크로전자및패키징학회지
    • /
    • 제30권4호
    • /
    • pp.69-78
    • /
    • 2023
  • 산업 인공지능의 발달과 함께 반도체의 수요가 크게 증가하고 있다. 시장 수요에 대응하기 위해 패키징 공정에서 자동 결함 검출의 중요성 역시 증가하고 있다. 이에 따라, 패키지의 자동 불량 검사를 위한 딥러닝 기반의 방법론들의 연구가 활발히 이루어 지고 있다. 딥러닝 기반의 모델은 학습을 위해서 대량의 고해상도 데이터를 필요로 하나, 보안이 중요한 반도체 분야의 특성상 관련 데이터의 공유 및 레이블링이 쉽지 않아 모델의 학습이 어려운 한계를 지니고 있다. 또한 고해상도 이미지를 생성하기 위해 상당한 컴퓨팅 자원이 요구되는데, 본 연구에서는 분할정복 접근법을 통해 적은 컴퓨팅 자원으로 딥러닝 모델 학습을 위한 충분한 양의 데이터를 확보하는 방법을 소개한다. 제안된 방법은 높은 해상도의 이미지를 분할하고 각 영역에 조건 레이블을 부여한 후, 독립적인 부분 영역과 경계를 학습시켜, 경계 손실이 일관적인 이미지를 생성하도록 유도한다. 이후, 분할된 이미지를 하나로 통합하여, 최종적으로 모델이 고해상도의 이미지를 생성하도록 구성하였다. 실험 결과, 본 연구를 통해 증강된 이미지들은 높은 효율성, 일관성, 품질 및 범용성을 보였다.

Configurable Smart Contracts Automation for EVM based Blockchains

  • ZAIN UL ABEDIN;Muhammad Shujat Ali;Ashraf Ali;Sana Ejaz
    • International Journal of Computer Science & Network Security
    • /
    • 제23권10호
    • /
    • pp.147-156
    • /
    • 2023
  • Electronic voting machines (EVMs) are replacing research ballots due to the errors involved in the manual counting process and the lengthy time required to count the votes. Even though these digital recording electronic systems are advancements, they are vulnerable to tampering and electoral fraud. The suspected vulnerabilities in EVMs are the possibility of tampering with the EVM's memory chip or replacing it with a fake one, their simplicity, which allows them to be tampered with without requiring much skill, and the possibility of double voting. The vote data is shared among all network devices, and peer-to-peer verification is performed to ensure the vote data's authenticity. To successfully tamper with the system, all of the data stored in the nodes must be changed. This improves the proposed system's efficiency and dependability. Elections and voting are fundamental components of a democratic system. Various attempts have been made to make modern elections more flexible by utilizing digital technologies. The fundamental characteristics of free and fair elections are intractability, immutability, transparency, and the privacy of the actors involved. This corresponds to a few of the many characteristics of blockchain-like decentralized ownership, such as chain immutability, anonymity, and distributed ledger. This working research attempts to conduct a comparative analysis of various blockchain technologies in development and propose a 'Blockchain-based Electronic Voting System' solution by weighing these technologies based on the need for the proposed solution. The primary goal of this research is to present a robust blockchain-based election mechanism that is not only reliable but also adaptable to current needs.

영상 기반 항만시설물 손상 위치 추정 및 외관조사망도 작성 (Estimation of Image-based Damage Location and Generation of Exterior Damage Map for Port Structures)

  • 김방현;소상윤;조수진
    • 한국구조물진단유지관리공학회 논문집
    • /
    • 제27권5호
    • /
    • pp.49-56
    • /
    • 2023
  • 본 연구에서는 영상 기반 자동화된 항만시설물 점검을 위한 손상 위치 정보 추정 기법을 제안하였다. 3D 모델링 과정을 거치지 않고 특징 탐지 기술 및 이상치 제거 기술을 활용하여 호모그래피 행렬을 계산하고 손상 정보만 저장함으로써 메모리 효율을 높였다. 항만시설물에 특화된 손상 위치 정보 추정 알고리즘 개발을 위해 항만시설물 이미지를 이용하여 제작한 참값 좌표쌍을 통해 알고리즘을 최적화하였다. 이를 샘플 및 실제 콘크리트 벽체에 적용하여 구한 위치 오차는 각각 (X: 6.5cm, Y: 1.3cm), (X: 12.7cm, Y: 6.4cm)로 나타났다. 또한, 실제 콘크리트벽체를 대상으로 알고리즘을 적용하여 외관조사망도 형태로 표출함으로써 제안 기법의 현장 활용 가능성을 보였다.

트랜스포머 알고리즘의 멀티 헤드 어텐션과 피드포워드 네트워크에서 활용 가능한 효율적인 행렬 곱셈기 (An Efficient Matrix Multiplier Available in Multi-Head Attention and Feed-Forward Network of Transformer Algorithms)

  • 장석우;김동순
    • 전기전자학회논문지
    • /
    • 제28권1호
    • /
    • pp.53-64
    • /
    • 2024
  • 자연어 처리 모델이 발전함에 따라 챗 GPT와 같은 대화형 언어 생성 AI 모델이 널리 사용되고 있다. 따라서 자연어 처리 최신 모델의 기반이 되는 트랜스포머 알고리즘을 하드웨어로 구현하여 연산 속도와 전력 소비량을 개선하는 것은 중요하다고 할 수 있다. 특히, 행렬 곱셈을 통해 문장에서 서로 다른 단어 간의 관계를 분석하는 멀티 헤드 어텐션과 피드 포워드 네트워크는 트랜스포머에서 연산량이 가장 큰 핵심적인 알고리즘이다. 본 논문에서는 기존의 시스톨릭 어레이를 변형하여 행렬 곱 연산 속도를 개선하고, 입력 단어 개수 변동에 따라 지연시간도 변동되는 유동적인 구조를 제안한다. 또한, 트랜스포머 알고리즘의 정확도를 유지하는 형태로 양자화를 하여 메모리 효율성과 연산 속도를 높였다. 본 논문은 평가를 위해 멀티헤드어텐션과 피드포워드 네트워크에서 소요되는 클럭사이클을 검증하고 다른 곱셈기와 성능을 비교하였다.