• 문화기술의 융합
• /
• 제9권3호
• /
• pp.845-850
• /
• 2023

본 논문에서는 전이학습을 이용하여 볼베어링의 진동진단을 수행하는 방법을 제안한다. 고장을 진단하기 위해 진동신호를 시간-주파수로 분석할 수 있는 STFT을 CNN의 입력으로 이용하였다. CNN 기반의 딥러닝 인공신경망을 빠르게 학습하고 진단 성능을 높이기 위해 전이학습 기반의 딥러닝 학습 기법을 제안하였다. 전이학습은 VGG 기반의 영상 분류 모델을 이용하여 특징 추출기와 분류기를 선택적으로 학습하였고, 학습에 사용한 데이터 세트는 Case Western Reserve University 대학에서 제공하는 공개된 볼베어링 진동 데이터를 사용하였으며, 성능평가는 기존의 CNN 모델과 비교하는 방법으로 수행하였다. 실험 결과 전이학습이 볼베어링 진동 데이터에서 상태 진단에 유용하다는 것을 증명할 수 있을 뿐만 아니라 이를 통해 다른 산업에서도 전이학습을 사용하여 상태 진단을 개선할 수 있다.

• 스마트미디어저널
• /
• 제12권5호
• /
• pp.28-35
• /
• 2023

본 연구에서는 음성감정인식의 적용 가능성과 실용성 향상을 위해 적은 수의 파라미터를 가지는 새로운 경량화 모델 RoutingConvNet(Routing Convolutional Neural Network)을 제안한다. 제안모델은 학습 가능한 매개변수를 줄이기 위해 양방향 MFCC(Mel-Frequency Cepstral Coefficient)를 채널 단위로 연결해 장기간의 감정 의존성을 학습하고 상황 특징을 추출한다. 저수준 특징 추출을 위해 경량심층 CNN을 구성하고, 음성신호에서의 채널 및 공간 신호에 대한 정보 확보를 위해 셀프어텐션(Self-attention)을 사용한다. 또한, 정확도 향상을 위해 동적 라우팅을 적용해 특징의 변형에 강인한 모델을 구성하였다. 제안모델은 음성감정 데이터셋(EMO-DB, RAVDESS, IEMOCAP)의 전반적인 실험에서 매개변수 감소와 정확도 향상을 보여주며 약 156,000개의 매개변수로 각각 87.86%, 83.44%, 66.06%의 정확도를 달성하였다. 본 연구에서는 경량화 대비 성능 평가를 위한 매개변수의 수, 정확도간 trade-off를 계산하는 지표를 제안하였다.

• 국제학술발표논문집
• /
• The 9th International Conference on Construction Engineering and Project Management
• /
• pp.877-885
• /
• 2022

Vision-based activity recognition has been widely attempted at construction sites to estimate productivity and enhance workers' health and safety. Previous studies have focused on extracting an individual worker's postural information from sequential image frames for activity recognition. However, various trades of workers perform different tasks with similar postural patterns, which degrades the performance of activity recognition based on postural information. To this end, this research exploited a concept of human-object interaction, the interaction between a worker and their surrounding objects, considering the fact that trade workers interact with a specific object (e.g., working tools or construction materials) relevant to their trades. This research developed an approach to understand the context from sequential image frames based on four features: posture, object, spatial features, and temporal feature. Both posture and object features were used to analyze the interaction between the worker and the target object, and the other two features were used to detect movements from the entire region of image frames in both temporal and spatial domains. The developed approach used convolutional neural networks (CNN) for feature extractors and activity classifiers and long short-term memory (LSTM) was also used as an activity classifier. The developed approach provided an average accuracy of 85.96% for classifying 12 target construction tasks performed by two trades of workers, which was higher than two benchmark models. This experimental result indicated that integrating a concept of the human-object interaction offers great benefits in activity recognition when various trade workers coexist in a scene.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.232-234
• /
• 2022

빅데이터는 고객 관계 관리, 관계 마케팅, 금융 업무 개선, 신용정보 및 위험 관리 분야에서 크게 활용되고 있다. 더욱이 최근에 COVID-19 바이러스로 인하여 비대면 금융거래가 보다 활발해지면서 고객과의 관계 측면에서 금융 빅데이터의 활용이 더 요구되고 있다. 고객 관계 측면에서 금융 빅데이터는 기술적인 접근보다 감성적적인 접근이 필요한 시기가 도래하였다. 관계 마케팅 측면에서도 인지적, 이성적, 합리적인 면보다는 감성적인 면을 중요시 할 필요성이 대두되었다. 하지만, 기존의 금융 데이터는 텍스트 형태의 고객 거래 데이터, 기업재무정보, 설문지등을 통하여 수집되고 활용되었다. 본 연구는 SNS를 통하여 고객의 문화 활동, 여가 활동 기반의 고객의 감성적인 이미지 데이터 즉, 비정형 데이터를 획득하여 고객의 활동 이미지를 인공지능 CNN 알고리즘으로 분석한다. 활동 분석은 다시 주석을 달은 인공지능에 적용하고, 주석에 나타난 행동 모델을 분석하는 인공지능 빅데이터 모델을 설계한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.81-84
• /
• 2022

제조 산업에서의 이상치 검출은 생산품의 품질과 운영비용을 절감하기 위한 중요한 요소로 최근 딥러닝을 사용하여 자동화되고 있다. 이상치 검출을 위한 딥러닝 기법에는 CNN이 있으며, CNN을 계층적으로 구성할 경우 단일 CNN 모델에 비해 상대적으로 성능의 향상을 보일 수 있다는 것이 많은 선행 연구에서 나타났다. 이에 MVTec-AD 데이터셋을 이용하여 계층 CNN이 다중 클래스 이상치 판별 문제에 대해 효과적인지를 탐구하고자 하였다. 실험 결과 단일 CNN의 정확도는 0.7715, 계층 CNN의 정확도는 0.7838로 다중 클래스 이상치 판별 문제에 있어 계층 CNN 방식 접근이 다중 클래스 이상치 탐지 문제에서 알고리즘의 성능을 향상할 수 있음을 확인할 수 있었다. 계층 CNN은 모델과 파라미터의 개수와 리소스의 사용이 단일 CNN에 비하여 기하급수적으로 증가한다는 단점이 존재한다. 이에 계층 CNN의 장점을 유지하며 사용 리소스를 절약하고자 하였고 K-means, GMM, 계층적 클러스터링 알고리즘을 통해 제작한 새로운 클래스를 이용해 계층 CNN을 구성하여 각각 정확도 0.7930, 0.7891, 0.7936의 결과를 얻을 수 있었다. 이를 통해 Clustering 알고리즘을 사용하여 적절히 물체를 분류할 경우 물체에 따른 개별 상태 판단 모델을 제작하는 것과 비슷하거나 더 좋은 성능을 내며 리소스 사용을 줄일 수 있음을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.478-480
• /
• 2022

This paper studies human activity image classification using deep transfer learning techniques focused on the inception convolutional neural networks (InceptionV3) model. For this, we used UFC-101 public datasets containing a group of students' behaviors in mathematics classrooms at a school in Thailand. The video dataset contains Play Sitar, Tai Chi, Walking with Dog, and Student Study (our dataset) classes. The experiment was conducted in three phases. First, it extracts an image frame from the video, and a tag is labeled on the frame. Second, it loads the dataset into the inception V3 with transfer learning for image classification of four classes. Lastly, we evaluate the model's accuracy using precision, recall, F1-Score, and confusion matrix. The outcomes of the classifications for the public and our dataset are 1) Play Sitar (precision = 1.0, recall = 1.0, F1 = 1.0), 2), Tai Chi (precision = 1.0, recall = 1.0, F1 = 1.0), 3) Walking with Dog (precision = 1.0, recall = 1.0, F1 = 1.0), and 4) Student Study (precision = 1.0, recall = 1.0, F1 = 1.0), respectively. The results show that the overall accuracy of the classification rate is 100% which states the model is more powerful for learning UCF-101 and our dataset with higher accuracy.

• 대한원격탐사학회지
• /
• 제40권1호
• /
• pp.9-18
• /
• 2024

Small streams, despite their rich ecosystems, face challenges in vegetation assessment due to the limitations of traditional, time-consuming methods. This study presents a groundbreaking approach, combining unmanned aerial vehicles(UAVs), convolutional neural networks(CNNs), and the vegetation differential vegetation index (VDVI), to revolutionize both assessment and management of stream vegetation. Focusing on Idong Stream in South Korea (2.7 km long, 2.34 km² basin area)with eight diverse revetment methods, we leveraged high-resolution RGB images captured by UAVs across five dates (July-December). These images trained a ResNeXt101 CNN model, achieving an impressive 89% accuracy in classifying vegetation cover(soil,water, and vegetation). This enabled detailed spatial and temporal analysis of vegetation distribution. Further, VDVI calculations on classified vegetation areas allowed assessment of vegetation vitality. Our key findings showcase the power of this approach:(a) TheCNN model generated highly accurate cover maps, facilitating precise monitoring of vegetation changes overtime and space. (b) August displayed the highest average VDVI(0.24), indicating peak vegetation growth crucial for stabilizing streambanks and resisting flow. (c) Different revetment methods impacted vegetation vitality. Fieldstone sections exhibited initial high vitality followed by decline due to leaf browning. Block-type sections and the control group showed a gradual decline after peak growth. Interestingly, the "H environment block" exhibited minimal change, suggesting potential benefits for specific ecological functions.(d) Despite initial differences, all sections converged in vegetation distribution trends after 15 years due to the influence of surrounding vegetation. This study demonstrates the immense potential of UAV-based remote sensing and CNNs for revolutionizing small-stream vegetation assessment and management. By providing high-resolution, temporally detailed data, this approach offers distinct advantages over traditional methods, ultimately benefiting both the environment and surrounding communities through informed decision-making for improved stream health and ecological conservation.

• Smart Structures and Systems
• /
• 제32권3호
• /
• pp.135-151
• /
• 2023

Using 3D asphalt pavement surface data, a deep and multiscale network named CrackNet-M is proposed in this paper for pixel-level crack detection for improvements in both accuracy and robustness. The CrackNet-M consists of four function-specific architectural modules: a central branch net (CBN), a crack map enhancement (CME) module, three pooling feature pyramids (PFP), and an output layer. The CBN maintains crack boundaries using no pooling reductions throughout all convolutional layers. The CME applies a pooling layer to enhance potential thin cracks for better continuity, consuming no data loss and attenuation when working jointly with CBN. The PFP modules implement direct down-sampling and pyramidal up-sampling with multiscale contexts specifically for the detection of thick cracks and exclusion of non-crack patterns. Finally, the output layer is optimized with a skip layer supervision technique proposed to further improve the network performance. Compared with traditional supervisions, the skip layer supervision brings about not only significant performance gains with respect to both accuracy and robustness but a faster convergence rate. CrackNet-M was trained on a total of 2,500 pixel-wise annotated 3D pavement images and finely scaled with another 200 images with full considerations on accuracy and efficiency. CrackNet-M can potentially achieve crack detection in real-time with a processing speed of 40 ms/image. The experimental results on 500 testing images demonstrate that CrackNet-M can effectively detect both thick and thin cracks from various pavement surfaces with a high level of Precision (94.28%), Recall (93.89%), and F-measure (94.04%). In addition, the proposed CrackNet-M compares favorably to other well-developed networks with respect to the detection of thin cracks as well as the removal of shoulder drop-offs.

• 한국컴퓨터정보학회논문지
• /
• 제28권11호
• /
• pp.43-52
• /
• 2023

고무생산업체에서 생산된 고무는 레오미터 측정을 통해 품질 적합성 검사가 이루어진 후, 자동차 부품을 위한 2차 가공으로 이어진다. 그러나 레오미터 검사는 인간에 의해 진행되고 있으며, 숙련된 작업자에게 매우 의존적이라는 단점이 존재한다. 이러한 문제점을 해결하기 위해 본 논문에서는 딥러닝 기반 레오미터 품질 검사 시스템을 제안한다. 제안된 시스템은 레오미터의 시간적, 공간적 특성을 활용하기 위해 LSTM과 CNN을 조합하였고, 각 고무의 배합재료를 보조(Auxiliary) 데이터 입력으로 사용해 하나의 모델에서 다양한 고무 제품의 품질 적합성 검사가 가능하도록 구현하였다. 제안된 기법은 30,000개의 데이터셋으로 그 성능을 학습 및 검사하였으며, 평균 f1-점수를 0.9942 달성하여 그 우수성을 증명하였다.

• 무역학회지
• /
• 제48권2호
• /
• pp.27-43
• /
• 2023

해양 산업은 글로벌 경제 성장에 매우 중요한 역할을 하고 있다. 특히 벌크운임지수인 BDI는 글로벌 상품 가격과 매우 밀접한 상관 관계를 지니고 있기 때문에 BDI 예측 연구의 중요성이 증가하고 있다. 본연구에서는 글로벌 시장 상황 불안정성으로 인한 정확한 BDI 예측 어려움을 해결하고자 머신러닝 전략을 도입하였다. CNN과 LSTM의 이점을 결합한 예측 모델을 설정하였고, 모델 적합도를 위해 27년간의 일일 BDI 데이터를 수집하였다. 연구 결과, CNN을 통해 추출된 BDI 특징을 기반으로 LSTM이 BDI를 R² 값 94.7%로 정확하게 예측할 수 있었다. 본 연구는 해운 경제지표 연구 분야에서 새로운 머신 러닝 통합 접근법을 적용했을 뿐만 아니라 해운 관련기관과 금융 투자 분야의 위험 관리 의사결정에 대한 시사점을 제공한다는 점에서 그 의의가 있다.