정보처리학회논문지:소프트웨어 및 데이터공학 (KIPS Transactions on Software and Data Engineering)

  • 제12권12호
  • /
  • Pages.525-534
  • /
  • 2023
  • /
  • 2287-5905(pISSN)
  • /
  • 2734-0503(eISSN)
한국정보처리학회 (Korea Information Processing Society)
권호 표지
DOI QR코드

DOI QR Code

멀티모달 방식을 통한 가스 종류 인식 딥러닝 모델 개발

Development of Gas Type Identification Deep-learning Model through Multimodal Method

  • 안서희 (포항공과대학교 인공지능연구원) ;
  • 김경영 (포항공과대학교 인공지능연구원) ;
  • 김동주 (포항공과대학교 인공지능연구원)
  • 투고 : 2023.08.28
  • 심사 : 2023.11.20
  • 발행 : 2023.12.31
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

가스 누출 감지 시스템은 가스의 폭발성과 독성으로 인한 인명 피해를 최소화할 핵심적인 장치이다. 누출 감지 시스템은 대부분 단일 센서를 활용한 방식으로, 가스 센서나 열화상 카메라를 통한 검출 방식으로 진행되고 있다. 이러한 단일 센서 활용의 가스 누출감지 시스템 성능을 고도화하기 위하여, 본 연구에서는 가스 센서와 열화상 이미지 데이터에 멀티모달형 딥러닝을 적용한 연구를 소개한다. 멀티모달 공인 데이터셋인 MultimodalGasData를 통해 기존 논문과의 성능을 비교하였고, 가스 센서와 열화상 카메라의 단일모달 모델을 기반하여 네 가지 멀티모달 모델을 설계 및 학습하였다. 이를 통해 가스 센서와 열화상 카메라는 각각 1D CNN, GasNet 모델이 96.3%와 96.4%의 가장 높은 성능을 보였다. 앞선 두 단일모달 모델을 기반한 Early Fusion 형식의 멀티모달 모델 성능은 99.3%로 가장 높았으며, 또한 기존 논문의 멀티모달 모델 대비 3.3% 높았다. 본 연구의 높은 신뢰성을 갖춘 가스 누출 감지 시스템을 통해 가스 누출로 인한 추가적인 피해가 최소화되길 기대한다.

Gas leak detection system is a key to minimize the loss of life due to the explosiveness and toxicity of gas. Most of the leak detection systems detect by gas sensors or thermal imaging cameras. To improve the performance of gas leak detection system using single-modal methods, the paper propose multimodal approach to gas sensor data and thermal camera data in developing a gas type identification model. MultimodalGasData, a multimodal open-dataset, is used to compare the performance of the four models developed through multimodal approach to gas sensors and thermal cameras with existing models. As a result, 1D CNN and GasNet models show the highest performance of 96.3% and 96.4%. The performance of the combined early fusion model of 1D CNN and GasNet reached 99.3%, 3.3% higher than the existing model. We hoped that further damage caused by gas leaks can be minimized through the gas leak detection system proposed in the study.

키워드

과제정보

이 논문은 2023년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구이며(No. 2022R1A6A1A03052954), 2023년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(No.RS-2023-00231158, 비전기술을 활용한 편물 검단 및 환편기 예지 보전 원격제어 통합모니터링 플랫폼).

참고문헌

  1. 화학물질 사고현황 및 사례 [Internet], https://icis.me.go.kr/search/searchType2.do(화학물질안전원).
  2. 가스사고 발생현황 및 사고일람표 [Internet], https://www.kgs.or.kr/kgs/abcc/board.do(한국가스안전공사).
  3. A. M. Adesina, W. K. Fung, and A. Karnik, "Recent advances in pipeline monitoring and oil leakage detection technologies: Principles and approaches," in Sensors, Vol.19, No.11, pp.2548, 2019.
  4. P. Narkhede, R. Walambe, P. Chandel, S. Mandaokar, and K. Kotecha, "MultimodalGasData: Multimodal dataset for gas detection and classification," Data, Vol.7, No.8, pp.112, 2022.
  5. M. M. Khan, "Sensor-based gas leakage detector system," in Engineering Proceedings, Vol.2, No.1, pp.28, 2020.
  6. J. M. Ahn, G. Y. Kim, and D. J. Kim, "A real time urban gas leakage prediction and monitoring system based on deep learning," Journal of the Korean Institute of Plant Engineering, Vol.26, No.4, pp.45-53, 2021.
  7. J. Shi, Y. Chang, C. Xu, F. I. Khan, G. Chen, and C. Li, "Real-time leak detection using an infrared camera and Faster R-CNN technique," Computers & Chemical Engineering, Vol.135, pp.106780, 2020.
  8. R. Xiao, Q. Hu, and J. Li, "Leak detection of gas pipelines using acoustic signals based on wavelet transform and Support Vector Machine," Measurement, Vol.146, pp.479-489, 2019. https://doi.org/10.1016/j.measurement.2019.06.050
  9. P. Narkhede, R. Walambe, S. Mandaokar, P. Chandel, K. Kotecha, and G. Ghinea, "Gas detection and identification using multimodal artificial intelligence based sensor fusion," Applied System Innovation, Vol.4, No.1, pp.3, 2021.
  10. S. Hochreiter and J. Schmidhuber, "Long short-term memory," Neural Computation, Vol.9, No.8, pp.1735-1780, 2010.
  11. L. Eren, T. Ince, and S. Kiranyaz, "A generic intelligent bearing fault diagnosis system using compact adaptive 1D CNN classifier," Journal of Signal Processing Systems, Vol.91, pp.179-189, 2019. https://doi.org/10.1007/s11265-018-1378-3
  12. K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," arXiv preprint, arXiv:1409.1556, 2014.
  13. B. Koonce, "Convolutional neural networks with swift for tensorflow: Image recognition and dataset categorization," Springer, 1st ed., CA: Apress Berkeley, pp.51-61, 2021.
  14. C. Szegedy et al., "Going deeper with convolutions," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, pp.1-9, 2015.
  15. T. Baltrusaitis, C. Ahuja, and L. P. Morency, "Multimodal machine learning: A survey and taxonomy," in IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.41, No.2, pp.423-443, 2019. https://doi.org/10.1109/TPAMI.2018.2798607
  16. K. Gadzicki, R. Khamsehashari, and C. Zetzsche, "Early vs late fusion in multimodal convolutional neural networks," in IEEE 23rd international conference on information fusion (FUSION2020), Virtual, pp.1-6, 2020.
  17. K. Liu, Y. Li , N. Xu, and P. Natarajan, "Learn to combine modalities in multimodal deep learning," in arXiv preprint, arXiv:1805.11730, 2018.
  18. P. K. Atrey, M. A. Hossain, A. E. Saddik, and M. Kankanhalli, "Multimodal fusion for multimedia analysis: A survey," Multimedia Systems, Vol.16, pp.345-379, 2010. https://doi.org/10.1007/s00530-010-0182-0
  19. R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh, and D. Batra, "Grad-cam: Visual explanations from deep networks via gradient-based localization," in Proceedings of the IEEE International Conference on Computer Vision, Venecia, pp.618-626, 2017.