• 인터넷정보학회논문지
• /
• 제22권2호
• /
• pp.59-68
• /
• 2021

최근 급속도로 성장하고 있는 인공지능 기술이 자율운항선박과 같은 해상 환경에서도 적용되기 시작하면서 디지털 영상에 특화된 CNN 기반의 모델을 적용하는 관련 연구가 활발히 진행되고 있다. 이러한 해상 서비스의 경우 인적 과실을 줄이기 위해 충돌 위험이 있는 부유물을 감지하거나 선박 내부의 화재 등 여러 가지 기술이 접목되기에 실시간 처리가 매우 중요하다. 그러나 기능이 추가될수록 프로세서의 제품 가격이 증가하는 문제가 존재해 소형 선박의 선주들에게는 비용적인 측면에서 부담이 된다. 또한 대형 선박의 경우 자율운항선박의 시스템을 감안할 때, 연산 속도의 성능 향상을 위해 복잡도가 높은 딥러닝 모델의 성능을 개선하는 방법이 필요하다. 따라서 본 논문에서는 딥러닝 모델에 경량화 기법을 적용해 정확도를 유지하면서 고속으로 처리할 수 있는 방법에 대해 제안한다. 먼저 해상 부유물 검출에 적합한 영상 전처리를 진행하여 효율적으로 CNN 기반 신경망 모델 입력에 영상 데이터가 전달될 수 있도록 하였다. 또한, 신경망 모델의 알고리즘 경량화 기법 중 하나인 학습 후 파라미터 양자화 기법을 적용하여 모델의 메모리 용량을 줄이면서 추론 부분의 처리 속도를 증가시켰다. 양자화 기법이 적용된 모델을 저전력 임베디드 보드에 적용시켜 정확도와 처리 속도를 사용하는 임베디드 성능을 고려하여 설계하는 방법을 제안한다. 제안하는 방법 중 정확도 손실이 제일 최소화되는 모델을 활용해 저전력 임베디드 보드에 비교하여 기존보다 최대 4~5배 처리 속도를 개선할 수 있었다.

• 인터넷정보학회논문지
• /
• 제22권1호
• /
• pp.51-63
• /
• 2021

스토리에서 등장하는 인물들을 식별하고 인물들 간의 관계를 분석하는 것은 스토리 이해를 위해 중요한 과정이다. 본 논문은 그레마스의 행위소 모델(Actantial model)에 기반하여 스토리 속에서 등장하는 인물들 중에서 주체자(Subject,또는 주인공)를 식별하고, 등장인물들간의 상호작용으로 생성되는 관계에 기반한 감정 흐름을 분석하여 조력자(Helper)/반대자(Opponent)의 관계를 자동으로 식별하는 것을 목표로 한다. 본 논문에서 제안하는 방법은 3단계로 구성된다. 먼저, 텍스트 스토리에서 등장하는 객체(인물)를 식별한다. 다음으로, 이들의 상호관계를 통한 관계 정보를 추출하여 관계정보로 표현되는 텍스트에서 감정을 분류한다. 마지막으로, 등장인물들간 감정의 흐름을 방향성 그래프로 도출한다. 그래프에서 차수가 가장 높은 노드 (즉, 가장 많은 관계 정보를 형성하는 노드)는 주체자로 간주하며, 주체자에 긍정적/부정적인 감정을 가장 많이 보내는 노드를 조력자/반대자로 각각 간주한다. 본 연구는 텍스트 스토리로부터 행위소 모델의 세 가지 구성요소들(즉, 주체자, 조력자, 반대자)을 자동으로 추출하는 계산 모델을 제공함으로써 컴퓨터를 이용한 서사 이해에 기여한다.

• 인터넷정보학회논문지
• /
• 제19권6호
• /
• pp.41-51
• /
• 2018

최근 영상 감시 분야에서는 지능형 영상 감시 시스템에 딥 러닝 기반 학습 방법이 적용되어 범죄, 화재, 이상 현상과 같은 다양한 이벤트들을 강건하게 탐지 할 수 있게 되었다. 그러나 3차원 실세계를 2차원 영상으로 투영시키면서 발생하는 3차원 정보의 손실로 인하여 폐색 문제가 발생하기 때문에 올바르게 객체를 탐지하고, 자세를 추정하기 위해서는 폐색 문제를 고려하는 것이 필요하다. 따라서 본 연구에서는 기존 RGB 정보에 깊이 정보를 추가하여 객체 탐지 과정에서 나타나는 폐색 문제를 해결하여 움직이는 객체를 탐지하고, 탐지된 영역에서 컨볼루션 신경망을 이용하여 인간의 관절 부위인 14개의 키포인트의 위치를 예측한다. 그 다음 자세 추정 과정에서 발생하는 자가 폐색 문제를 해결하기 위하여 2차원 키포인트 예측 결과와 심층 신경망을 이용하여 자세 추정의 범위를 3차원 공간상으로 확장함으로써 3차원 인간 자세 추정 방법을 설명한다. 향후, 본 연구의 2차원 및 3차원 자세 추정 결과는 인간 행위 인식을 위한 용이한 데이터로 사용되어 산업 기술 발달에 기여 할 수 있다.

• 한국측량학회지
• /
• 제39권3호
• /
• pp.141-148
• /
• 2021

본 논문은 SegNet과 ResNet을 조합한 딥러닝을 이용하여 횡단보도를 검출하는 방법을 제안한다. 시각 장애인의 경우 횡단보도가 어디에 있는지 정확히 아는 게 안전한 교통 시스템에서 중요하다. 딥러닝에 의한 횡단보도 검출은 이 문제에 대한 좋은 해결책이 될 수 있다. 로봇 시각 기반 보조 기술은 지난 몇년 동안 카메라를 사용하는 특정 장면에 초점을 두고 제안되어 왔다. 이러한 전통적인 방법은 비교적 긴 처리 시간으로 의미있는 결과를 얻었으며 횡단보도 인식을 크게 향상시켰다. 그러나 전통적인 방법은 지연 시간이 길고 웨어러블 장비에서 실시간을 만족시킬 수 없다. 본 연구에서 제안하는 방법은 취득한 영상에서 횡단보도를 빠르고 안정적으로 검출하기 위한 모델을 제안한다. 모델은 SegNet과 ResNet을 기반으로 개선되었으며 3단계로 구성된다. 첫째, 입력 영상을 서브샘플링하여 이미지 특징을 추출하고 ResNet의 컨벌루션 신경망을 수정하여 새로운 인코더로 만든다. 둘째, 디코딩 과정에서 업샘플링 네트워크를 통해 특징맵을 원영상 크기로 복원한다. 셋째, 모든 픽셀을 분류하고 각 픽셀의 정확도를 계산한다. 이 실험의 결과를 통하여 수정된 시맨틱 분할 알고리즘의 적격한 정확성을 검증하는 동시에 결과 출력 속도가 비교적 빠른 것으로 파악되었다.

• 인터넷정보학회논문지
• /
• 제23권5호
• /
• pp.47-58
• /
• 2022

최근 몇 년 사이 바다 신호등 역할을 하는 항로표지 시설이 디지털화되면서 단순한 표지판 기능을 넘어 해양 정보 수집, 감독, 관제 등 다양한 기능을 제공하는 방향으로 발전하고 있다. 국내에서도 울산항과 부산항이 부표 일부에 카메라를 설치하고 영상정보를 수집하여 충돌을 감독하는 등 선도 기술 적용을 주도하고 있다. 그러나, 이 첨단기술은 장기간 배터리 운용이 필요하고 관리·유지 등이 해양 특성에 지장을 받기 때문에 주요 기능을 수행하는 것이 어렵다. 이러한 문제들은 육상시설과 해양시설의 특성 차이를 극복하기 위한, 해양 분야의 풍부한 연구의 필요성을 제기한다. 본 연구에서는 표지 주변을 지나가는 해양 객체를 영상정보로 분석해 자동으로 알림을 줄 수 있는 시스템을 제안한다. 기존 시스템들은 표지와 해양 객체가 충돌하면 센서를 기반으로 객체를 포착해 서버로 전송하지만, 이 방식은 사고가 발생한 뒤에야 안전사고 대처가 가능해 개선의 여지가 필요하다. 따라서, 제안하는 시스템은 이러한 한계점을 극복하기 위해, 해양 특성을 기반으로 해상 객체 감지 시스템을 설계하였다. 이는 기존의 해양 영상처리 감지 시스템과 유사한 성능을 보였으며, 보다 효율적인 모니터링을 위해 약 5배 빠른 처리 속도를 기록한 해상 안전 시스템을 제안한다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제11권10호
• /
• pp.323-332
• /
• 2022

AI 기술을 활용한 다양한 서비스가 개발되면서, AI 서비스 운영에 많은 관심이 집중되고 있다. 최근에는 AI 기술도 하나의 ICT 서비스를 보고, 범용적인 AI 서비스 운영을 위한 연구가 많이 진행되고 있다. 본 논문에서는 일반적인 기계학습 개발 절차의 마지막 단계인 기계학습 모델 배포 및 운영에 초점을 두고 AI 서비스 운영을 위한 시스템 측면에서의 연구 결과를 기술하였다. 3대의 서로 다른 Ubuntu 시스템을 구축하고, 이 시스템상에서 서로 다른 AI 모델(RFCN, SSD-Mobilenet)과 서로 다른 통신 방식(gRPC, REST)의 조합으로 2017 validation COCO dataset의 데이터를 이용하여 객체 검출 서비스를 Tensorflow serving을 통하여 AI 서비스를 요청하는 부분과 AI 서비스를 수행하는 부분으로 나누어 실험하였다. 다양한 실험을 통하여 AI 모델의 종류가 AI 머신의 통신 방식보다 AI 서비스 추론 시간에 더 큰 영향을 미치고, 객체 검출 AI 서비스의 경우 검출하려는 이미지의 파일 크기보다는 이미지 내의 객체 개수와 복잡도에 따라 AI 서비스 추론 시간이 더 큰 영향을 받는다는 것을 알 수 있었다. 그리고, AI 서비스를 로컬이 아닌 원격에서 수행하면 성능이 좋은 머신이라고 하더라도 로컬에서 수행하는 경우보다 AI 서비스 추론 시간이 더 걸린다는 것을 확인할 수 있었다. 본 연구 결과를 통하여 서비스 목표에 적합한 시스템 설계와 AI 모델 개발 및 효율적인 AI 서비스 운영이 가능해질 것으로 본다.

• 인터넷정보학회논문지
• /
• 제23권4호
• /
• pp.57-64
• /
• 2022

화재, 붕괴, 자연재해 등의 재난 발생으로 건물 내부가 붕괴하는 경우, 기존의 건물 내부의 물리적 보안이 무력해질 확률이 높다. 이때, 붕괴 건물 내의 인명피해와 물적 피해를 최소화하기 위한 물리적 보안이 필요하다. 따라서 본 논문은 기존 연구되었던 장애물을 탐지하고 건물 내 붕괴된 지역을 탐지하는 연구와 인명피해를 최소화하기 위한 딥러닝 기반 객체 탐지 알고리즘을 융합하여 재난 상황의 피해를 최소화하기 위한 알고리즘을 제안한다. 기존 연구에서 단일 카메라만을 활용하여 현재 로봇이 있는 복도 환경의 붕괴 여부를 판단하고 구조 및 수색 작업에 방해가 되는 장애물을 탐지했다. 이때, 붕괴 건물 내 물체는 건물의 잔해나 붕괴로 인해 비정형의 형태를 가지며 이를 장애물로 분류하여 탐지하였다. 또한, 재난 상황에서 자원 중 가장 중요한 요구조자를 탐지하고 인적 피해를 최소화하기 위한 방법을 제안하고 있다. 이를 위해, 본 연구는 공개된 재난 영상과 재난 상황의 이미지 데이터를 수집하여 다양한 딥러닝 기반 객체 탐지 알고리즘을 통해 재난 상황에서 요구조자를 탐지하는 정확도를 구했다. 본 연구에서 재난 상황에 요구조자를 탐지하는 알고리즘을 분석한 결과 YOLOv4 알고리즘의 정확도가 0.94로 실제 재난 상황에서 활용하기 가장 적합하다는 것을 증명하였다. 본 논문을 통해 재난 상황의 효율적인 수색과 구조에 도움을 주며 붕괴된 건물 내에서도 높은 수준의 물리적 보안을 이룰 수 있을 것이다.

• Smart Structures and Systems
• /
• 제29권1호
• /
• pp.1-16
• /
• 2022

Despite recent breakthroughs in deep learning and computer vision fields, the pixel-wise identification of tiny objects in high-resolution images with complex disturbances remains challenging. This study proposes a modified U-net for tiny crack segmentation in real-world steel-box-girder bridges. The modified U-net adopts the common U-net framework and a novel Self-Attention-Self-Adaption (SASA) neuron as the fundamental computing element. The Self-Attention module applies softmax and gate operations to obtain the attention vector. It enables the neuron to focus on the most significant receptive fields when processing large-scale feature maps. The Self-Adaption module consists of a multiplayer perceptron subnet and achieves deeper feature extraction inside a single neuron. For data augmentation, a grid-based crack random elastic deformation (CRED) algorithm is designed to enrich the diversities and irregular shapes of distributed cracks. Grid-based uniform control nodes are first set on both input images and binary labels, random offsets are then employed on these control nodes, and bilinear interpolation is performed for the rest pixels. The proposed SASA neuron and CRED algorithm are simultaneously deployed to train the modified U-net. 200 raw images with a high resolution of 4928 × 3264 are collected, 160 for training and the rest 40 for the test. 512 × 512 patches are generated from the original images by a sliding window with an overlap of 256 as inputs. Results show that the average IoU between the recognized and ground-truth cracks reaches 0.409, which is 29.8% higher than the regular U-net. A five-fold cross-validation study is performed to verify that the proposed method is robust to different training and test images. Ablation experiments further demonstrate the effectiveness of the proposed SASA neuron and CRED algorithm. Promotions of the average IoU individually utilizing the SASA and CRED module add up to the final promotion of the full model, indicating that the SASA and CRED modules contribute to the different stages of model and data in the training process.

• 인터넷정보학회논문지
• /
• 제22권6호
• /
• pp.141-150
• /
• 2021

인공지능(Artificial Intelligence) 기술을 활용하여 인공지능 기반의 전쟁 (AI-enabled warfare)가 미래전의 핵심이 될 것으로 예상한다. 자연어 처리 기술은 이러한 AI 기술의 핵심 기술로 지휘관 및 참모들이 자연어로 작성된 보고서, 정보 및 첩보를 일일이 열어확인하는 부담을 줄이는데 획기적으로 기여할 수 있다. 본 논문에서는 지휘관 및 참모의 정보 처리 부담을 줄이고 신속한 지휘결심을 지원하기 위해 언어 모델 기반의 다출처 정보 통합 (Language model-based Multi-source Information Integration, LAMII) 프레임워크를 제안한다. 제안된 LAMII 프레임워크는 자기지도 학습법을 활용한 언어 모델에 기반한 표현학습과 오토인코더를 활용한 문서 통합의 핵심 단계로 구성되어 있다. 첫 번째 단계에서는, 자기지도 학습 기법을 활용하여 구조적으로 이질적인 두 문장간의 유사 관계를 식별할 수 있는 표현학습을 수행한다. 두 번째 단계에서는, 앞서 학습된 모델을 활용하여 다출처로부터 비슷한 내용 혹은 토픽을 함양하는 문서들을 발견하고 이들을 통합한다. 이 때, 중복되는 문장을 제거하기 위해 오토인코더를 활용하여 문장의 중복성을 측정한다. 본 논문의 우수성을 입증하기 위해, 우리는 언어모델들과 이의 성능을 평가할 때 활용되는 대표적인 벤치마크 셋들을 함께 활용하여 이질적인 문장간의 유사 관계를 예측의 비교 실험하였다. 실험 결과, 제안된 LAMII 프레임워크가 다른 언어 모델에 비하여 이질적인 문장 구조간의 유사 관계를 효과적으로 예측할 수 있음을 입증하였다.

• 인터넷정보학회논문지
• /
• 제24권5호
• /
• pp.29-35
• /
• 2023

CCTV는 범죄 예방, 공공 안전 강화, 교통 관리 등 다양한 목적으로 사용된다. 그러나 카메라의 범위와 해상도가 향상됨에 따라 영상에서 개인의 신상정보가 노출되는 위험성이 있다. 따라서 영상에서 개인 정보를 보호함과 동시에 개인을 식별할 수 있는 새로운 기술의 필요성이 존재한다. 본 논문에서는 객체 식별 및 추적을 위한 히스토그램 기반 특이값 분해를 제안한다. 제안하는 방법은 객체의 색상 정보를 이용하여 영상에 존재하는 서로 다른 객체를 구분한다. 객체 인식을 위하여 YOLO와 DeepSORT를 이용해 영상에 존재하는 사람을 탐지 및 추출한다. 탐지된 사람의 위치 정보를 이용해 흑백 히스토그램으로 색상 값을 추출한다. 추출한 색상 값 중 유의미한 정보만을 추출하여 사용하기 위해 특이값 분해를 이용한다. 특이값 분해를 이용할 때 결과에서 상위 특이값의 평균을 이용함으로 객체 색상 추출의 정확도를 높인다. 특이값 분해를 이용해 추출한 색상 정보를 다른 영상에 존재하는 색상과 비교하며 서로 다른 영상에 존재하는 동일 인물을 탐지한다. 색상 정보 비교를 위해 유클리드 거리를 이용하며 정확도 평가는 Top-N을 이용한다. 평가 결과 흑백 히스토그램과 특이값 분해를 사용하여 동일 인물을 탐지할 때 최대 100%에서 최소 74%를 기록하였다.