• Smart Structures and Systems
• /
• 제31권4호
• /
• pp.335-349
• /
• 2023

Bridges constantly undergo deterioration and damage, the most common ones being concrete damage and exposed rebar. Periodic inspection of bridges to identify damages can aid in their quick remediation. Likewise, identifying components can provide context for damage assessment and help gauge a bridge's state of interaction with its surroundings. Current inspection techniques rely on manual site visits, which can be time-consuming and costly. More recently, robotic inspection assisted by autonomous data analytics based on Computer Vision (CV) and Artificial Intelligence (AI) has been viewed as a suitable alternative to manual inspection because of its efficiency and accuracy. To aid research in this avenue, this study performs a comparative assessment of different architectures, loss functions, and ensembling strategies for the autonomous segmentation of bridge components and damages. The experiments lead to several interesting discoveries. Nested Reg-UNet architecture is found to outperform five other state-of-the-art architectures in both damage and component segmentation tasks. The architecture is built by combining a Nested UNet style dense configuration with a pretrained RegNet encoder. In terms of the mean Intersection over Union (mIoU) metric, the Nested Reg-UNet architecture provides an improvement of 2.86% on the damage segmentation task and 1.66% on the component segmentation task compared to the state-of-the-art UNet architecture. Furthermore, it is demonstrated that incorporating the Lovasz-Softmax loss function to counter class imbalance can boost performance by 3.44% in the component segmentation task over the most employed alternative, weighted Cross Entropy (wCE). Finally, weighted softmax ensembling is found to be quite effective when used synchronously with the Nested Reg-UNet architecture by providing mIoU improvement of 0.74% in the component segmentation task and 1.14% in the damage segmentation task over a single-architecture baseline. Overall, the best mIoU of 92.50% for the component segmentation task and 84.19% for the damage segmentation task validate the feasibility of these techniques for autonomous bridge component and damage segmentation using RGB images.

• 스마트미디어저널
• /
• 제12권11호
• /
• pp.1-9
• /
• 2023

스트레스는 감당하기 어려운 외부 또는 내부 요인으로부터 유발되는 것으로 현대 사회의 주요한 문제 중 하나이다. 높은 스트레스가 장기적으로 지속되면 만성적으로 발전할 수 있으며, 건강 및 생활 전반에 큰 악영향을 초래할 수 있다. 그러나 만성적인 스트레스를 겪는 사람들은 자신이 스트레스를 받고 있는지 알아차리기 어렵기 때문에 사전에 스트레스를 인지하고 관리하는 것이 중요하다. 웨어러블 기기로부터 측정된 생체 신호를 이용하여 스트레스를 탐지한다면, 스트레스를 효율적으로 관리할 수 있을 것이다. 그러나 생체 신호를 이용하는 데에는 두 가지 문제점이 있다. 첫째로 생체 신호에서 수작업 특징을 추출하는 것은 바이어스를 발생시킬 수 있으며, 두 번째는 실험 주체에 따라 분류 모델 성능의 변이가 클 수 있다는 것이다. 본 논문에서는 데이터의 핵심적인 특징을 표현할 수 있는 합성곱 오토인코더를 이용해 바이어스를 줄이고 앙상블 학습 중 하나인 소프트 보팅을 이용해 일반화 능력을 높여 성능의 변이를 줄이는 모델을 제안한다. 모델의 일반화 성능을 확인하기 위하여 LOSO 교차 검증 방법을 이용하여 성능을 평가한다. 본 논문에서 제안한 모델은 WESAD 데이터셋을 이용하여 높은 성능을 보여주었던 기존의 연구들보다 우수한 정확도를 보임을 확인하였다.

• 대한원격탐사학회지
• /
• 제38권5_2호
• /
• pp.707-723
• /
• 2022

위성기반 해수면온도는 광역 모니터링이 가능한 장점이 있지만, 다양한 환경적 그리고 기계적 이유로 인한 시공간적 자료공백이 발생한다. 자료공백으로 인한 활용성의 한계가 있으므로, 공백이 없는 자료 생산이 필수적이다. 따라서 본 연구에서는 한반도 주변 해역에 대해 극궤도와 정지궤도 위성에서 생산되는 해수면온도 자료를 두 단계의 기계학습을 통해 융합하여 4 km의 공간해상도를 가지는 일별 해수면온도 합성장을 만들었다. 첫번째 복원 단계에서는 Data INterpolate Convolutional AutoEncoder (DINCAE) 모델을 이용하여 다종 위성기반 해수면온도 자료를 합성하여 복원하였고, 두번째 보정 단계에서는 복원된 해수면온도 자료를 현장관측자료에 맞춰 Light Gradient Boosting Machine (LGBM) 모델로 학습시켜 최종적인 일별 해수면온도 합성장을 만들었다. 개발된 모델의 검증을 위해 복원 단계에서 무작위 50일의 자료 중 일부분을 제거하여 복원한 뒤 제거된 영역에 대해 검증하였으며, 보정 단계에서는 Leave One Year Out Cross Validation (LOYOCV) 기법을 이용하여 현장자료와의 정확도를 검증하였다. DINCAE 모델의 해수면온도 복원 결과는 상당히 높은 정확도(R²=0.98, bias=0.27℃, RMSE=0.97℃, MAE=0.73℃)를 보였다. 두번째 단계의 LGBM 보정 모델의 정확도 개선은 표층 뜰개 부이와 계류형 부이 현장자료와의 비교에서 모두 상당한 향상(RMSE=∆0.21-0.29℃, rRMSE=∆0.91-1.65%, MAE=∆0.17-0.24℃)을 보여주었다. 특히, 모든 현장 자료를 이용한 보정 모델의 표층 뜰개 부이와의 정확도는 동일한 현장 자료가 동화된 기존 해수면온도 합성장보다 나은 정확도를 보였다. 또한 LGBM 보정 모델은 랜덤포레스트(random forest)를 사용한 선행연구에서 보고된 과적합의 문제를 상당부분 해결하였다. 보정된 해수면온도는 기존의 초고해상도 해수면온도 합성장들과 유사한 수준으로 수온 전선과 와동 등의 중규모 해양현상을 뚜렷하게 모의하였다. 본 연구는 다종위성 자료와 기계학습 기법을 사용해 시공간적 공백 없는 고해상도 해수면온도 합성장 제작 방법을 제시하였다는 점에서 가치가 있다.

• 정보처리학회논문지B
• /
• 제16B권2호
• /
• pp.123-130
• /
• 2009

움직임 추정은 동영상 압축에서 영상 화질과 인코더 속도에 대하여 중요한 역할을 하지만, 많은 수행 시간을 요구한다. H.264/AVC에서 움직임 추정에 소요되는 수행 시간을 줄이면서 화질을 유지하기 위하여 본 논문에서는 정화소와 부화소 움직임 추정 기법을 제안하였다. 본 논문에서는 정화소 움직임 추정을 위하여 계층적인 탐색 기법을 사용하였고, 정확한 움직임 추정을 위하여 블록 크기에 따라 부화소 움직임 추정 패턴을 적응적으로 결정하였다. 제안한 정화소 움직임 추정 탐색 기법은 대칭적 십자가-엑스 탐색 패턴, 다중 사각형 탐색 패턴, 다이아몬드 탐색 패턴들로 이루어져 있다. 이 탐색 패턴들은 블록 움직임이 수직으로 크거나 블록 움직임이 크면서 규칙적인 영상에서 국부적 최소화 문제를 해결하고 움직임 추정에 소요되는 시간을 줄이기 위하여 탐색 영역 내에 탐색 점들을 규칙적, 대칭적으로 배치하였다. 제안한 부화소 움직임 추정 탐색 기법은 부화소 움직임 추정을 위하여 기존의 전역 부화소 탐색 패턴, 중앙 편향적 부화소 탐색 패턴과 제안한 부화소 움직임 탐색패턴들을 사용한다. 그리고 블록의 크기에 따라 3가지의 부화소 탐색 패턴들 중 한 패턴이 부화소 움직임 추정을 위해 적응적으로 결정된다. 블록의 크기에 따라 적응적으로 부화소 탐색 패턴이 결정되므로 보다 정확하게 부화소 움직임 추정을 수행할 수 있다. 제안한 기법을 전역 탐색 기법과 비교하였을 때 약 5.2배의 속도 향상을 가져왔으며, 영상 화질에 있어서 약 0.01 (dB)정도 성능 저하를 보였다. 반면에, 비대칭 다중육각형 탐색 기법과 비교하였을 때 움직임 추정 속도와 화질에 있어서 각각 약 1.2배와 약 0.02 (dB)정도 향상을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권12호
• /
• pp.505-518
• /
• 2023

3차원 포인트 클라우드 의미적 분할은 각 포인트별로 해당 포인트가 속한 물체나 영역의 분류 레이블을 예측함으로써, 포인트 클라우드를 서로 다른 물체들이나 영역들로 나누는 컴퓨터 비전 작업이다. 기존의 3차원 의미적 분할 모델들은 RGB 영상들에서 추출하는 2차원 시각적 특징과 포인트 클라우드에서 추출하는 3차원 기하학적 특징의 특성을 충분히 고려한 특징 융합을 수행하지 못한다는 한계가 있다. 따라서, 본 논문에서는 2차원-3차원 멀티-모달 특징을 이용하는 새로운 3차원 의미적 분할 모델 MMCA-Net을 제안한다. 제안 모델은 중기 융합 전략과 멀티-모달 교차 주의집중 기반의 융합 연산을 적용함으로써, 이질적인 2차원 시각적 특징과 3차원 기하학적 특징을 효과적으로 융합한다. 또한 3차원 기하학적 인코더로 PTv2를 채용함으로써, 포인트들이 비-정규적으로 분포한 입력 포인트 클라우드로부터 맥락정보가 풍부한 3차원 기하학적 특징을 추출해낸다. 본 논문에서는 제안 모델의 성능을 분석하기 위해 벤치마크 데이터 집합인 ScanNetv2을 이용한 다양한 정량 및 정성 실험들을 진행하였다. 성능 척도 mIoU 측면에서 제안 모델은 3차원 기하학적 특징만을 이용하는 PTv2 모델에 비해 9.2%의 성능 향상을, 2차원-3차원 멀티-모달 특징을 사용하는 MVPNet 모델에 비해 12.12%의 성능 향상을 보였다. 이를 통해 본 논문에서 제안한 모델의 효과와 유용성을 입증하였다.