한국전자통신학회논문지 (The Journal of the Korea institute of electronic communication sciences)

한국전자통신학회 (Korea Institute of Electronic Communication Science)
권호 표지
DOI QR코드

DOI QR Code

대형 언어 모델 기반 신경망을 활용한 강구조물 부재 중량비 예측

Predicting Steel Structure Product Weight Ratios using Large Language Model-Based Neural Networks

  • 박종혁 (포항공과대학교 IT융합공학과) ;
  • 유상현 (포항공과대학교 IT융합공학과) ;
  • 한수희 (포항공과대학교 IT융합공학과) ;
  • 김경준 (포항공과대학교 IT융합공학과)
  • 투고 : 2023.11.21
  • 심사 : 2024.02.17
  • 발행 : 2024.02.29
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

건물 정보 모델(BIM: Building Information Model)은 관련 기업의 개별화된 프로젝트와 학습 데이터양 부족으로 인해 인공지능(AI: Artificial Intelligence) 기반 BIM 애플리케이션 개발이 쉽지 않다. 본 연구에서는 데이터가 제한적인 상황에서 BIM의 강구조물 부재 중량비를 예측하기 위해 사전 학습이 된 대형 언어 모델을 기반으로 신경망을 학습하는 방법을 제시하고 실험하였다. 제안된 모델은 대형 언어 모델을 활용하여 BIM에 내재하는 데이터 부족 문제를 극복할 수 있어 데이터의 양이 부족한 상황에서도 성공적인 학습이 가능하며 대형 언어 모델과 연계된 신경망을 활용하여 자연어와 더불어 숫자 데이터까지 처리할 수 있다. 실험 결과는 제안된 대형 언어 모델 기반 신경망이 기존 소형 언어 모델 기반보다 높은 정확도를 보였다. 이를 통해, 대형 언어 모델이 BIM에 효과적으로 적용될 수 있음이 확인되었으며, 향후 건물 사고 예방 및 건설 비용의 효율적인 관리가 기대된다.

In building information model (BIM), it is difficult to train an artificial intelligence (AI) model due to the lack of sufficient data about individual projects in an architecture firm. In this paper, we present a methodology to correctly train an AI neural network model based on a large language model (LLM) to predict the steel structure product weight ratios in BIM. The proposed method, with the aid of the LLM, can overcome the inherent problem of limited data availability in BIM and handle a combination of natural language and numerical data. The experimental results showed that the proposed method demonstrated significantly higher accuracy than methods based on a smaller language model. The potential for effectively applying large language models in BIM is confirmed, leading to expectations of preventing building accidents and efficiently managing construction costs.

키워드

과제정보

본 논문은 2022년도 중소벤처기업부 스마트 제조 혁신기술개발사업 (R&D) 사업(No.RS-2022-00140739)과 2022년도 정부(교육부)의 재원으로 한국 연구재단의 지원을 받아 수행되었음(No. NRF-2022R111A1A01066264).

참고문헌

  1. S. Kim, J. Kong, S. Lee, and S. Lee, "Recent advances of artificial intelligence in manufacturing industrial sectors: A review," Int. J. of Precision Eng. and Manuf., vol. 23, 2022, pp. 111-129. https://doi.org/10.1007/s12541-021-00600-3
  2. R. Cioffi, M. Travaglioni, and G. Piscitelli, A. Petrillo, and F. Felice, "Artificial intelligence and machine learning applications in smart production: Progress, trends, and directions," Sustainability, vol. 12. no. 2, 2020, pp. 492-518. https://doi.org/10.3390/su12020492
  3. B. Kim, J. Park, K. Kim, S. Han, and K. Kim, "An Artificial Inteligent based Learning Model for BIM Elements Usage," J. of the Korea Institute of Electronic Communication Sciences, vol. 18, no. 1, 2023, pp. 107-114.
  4. J. Kang, J. Park, S. Han, and K. Kim, "Development of Machine Learning-based Flood Depth and Location Prediction Model.", J. of the Korea Institute of Electronic Communication Sciences, vol. 18, no. 1, 2023, pp. 91-98.
  5. A. Zabin, V. Gonzalez, Y. Zou, and R. Amor, "Applications of machine learning to BIM: A systematic literature review," Adv. Eng. Informatics, vol. 51, 2022, pp. 101474.
  6. S. Hashemi, O. Ebadati, and H. Kaur, "Cost estimation and prediction in construction projects: a systematic review on machine learning techniques," SN Applied Sciences, vol. 2, no. 10, 2020, pp 1-27. https://doi.org/10.1007/s42452-019-1685-8
  7. T. Van and T. Quoc, "Research trends on machine learning in construction management: A scientometric analysis," J. Applied Sci. and Tech. Trends, vol. 2, no. 3, 2021, pp. 96-104.
  8. N. Wang, R. Issa, and C. Anumba, "Transfer learning-based query classification for intelligent building information spoken dialogue," Automation in Construction, vol. 141, 2022, pp. 104403.
  9. F. Elghaish, J. K. Chauhan, S. Matarneh, F. P. Rahimian, and M. R. Hosseini, "Artificial intelligence-based voice assistant for BIM data management," Automation in Construction, vol. 140, 2022, pp. 104320.
  10. T. H. Lin, Y. Huang, and A. Putranto, "Intelligent question and answer system for building information modeling and artificial intelligence of things based on the bidirectional encoder representations from transformers model," Automation in Construction, vol. 142, 2022, pp. 104483.
  11. J. Devlin, M. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of deep bidirectional transformers for language understanding," arXiv preprint arXiv:1810.04805, Oct. 2018.
  12. T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. Henighan, R. Child, A. Ramesh, D. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwin, S. Gray, B. Chess, J. Clark, C. Berner, S. McCandlish, A. Radford, I. Sutskever, and D. Amodei, "Language models are few-shot learners," Adv. Neural Inf. Process. Syst., vol. 33, 2020, pp. 1877-1901.
  13. L. Ouyang, J. Wu, X. Jiang, D. Almeida, C. Wainwright, P. Mishkin, C. Zhang, S. Agarwal, K. Slama, A. Ray, J. Schulman, J. Hilton, F. Kelton, L. Miller, M. Simens, A. Askell, P. Welinder, P. Christiano, J. Leike, and R. Lowe, "Training language models to follow instructions with human feedback," Adv. Neural Inf. Process. Syst., vol. 35, 2022, pp. 27730-27744.
  14. M. Abadi, A. Agarwal, P. Barham, E. Brevdo, Z. Chen, C. Citro, and X. Zheng, "Tensorflow: Large-scale machine learning on heterogeneous distributed systems," arXiv preprint arXiv:1603.04467, Mar. 2016.
  15. D. P. Kingma and J. Ba, "Adam: A method for stochastic optimization," arXiv preprint arXiv:1412.6980, Dec. 2014.