• 제목/요약/키워드: . transformer

검색결과 4,311건 처리시간 0.03초

Prompt engineering to improve the performance of teaching and learning materials Recommendation of Generative Artificial Intelligence

  • Soo-Hwan Lee;Ki-Sang Song
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권8호
    • /
    • pp.195-204
    • /
    • 2023
  • 본 연구에서는 GPT, Stable Diffusion과 같은 생성형 인공지능을 이용한 교수·학습 자료 추천 성능 향상을 위해 프롬프트를 개선하는 프롬프트 엔지니어링에 대해 탐색하였다. 분석할 교수·학습 자료의 종류는 그림 자료이다. 프롬프트 구성에 따른 영향을 탐색하기 위해 명령만 담긴 Zero-Shot 프롬프트, 학습 대상 학년 정보가 담긴 프롬프트, 학습 목표가 담긴 프롬프트, 학습 대상 학년과 학습 목표가 모두 담긴 프롬프트를 설계하여 각각을 GPT-3.5모델에 입력하고 응답을 수집하였다. 수집한 응답을 Sentence Transformers로 임베딩 하고 t-SNE를 활용하여 차원 축소하여 시각화 한 다음 프롬프트와 응답 간의 관계를 탐색하였다. 그리고 각 응답을 k-means clustering algorithm을 활용하여 군집화 한 다음 가장 넓은 클러스터의 첫 번째 값을 대표로 선택하여 Stable Diffusion을 이용하여 이미지화 한 다음 교수·학습자료 평가 기준에 따라 초등학교 교사 30명에게 평가 받았다. 초등학교 교사 30인은 추천한 4종의 그림 자료 중 3종은 교육적 가치가 있다고 판단하였으며, 그 중 2종은 실제 수업에 사용할 수 있다고 하였다. 가장 가치 있는 그림 자료를 추천한 프롬프트는 대상 학년과 학습 목표가 모두 담긴 프롬프트로 나타났다.

텍스트 기반 생성형 인공지능의 이해와 과학교육에서의 활용에 대한 논의 (Understanding of Generative Artificial Intelligence Based on Textual Data and Discussion for Its Application in Science Education)

  • 조헌국
    • 한국과학교육학회지
    • /
    • 제43권3호
    • /
    • pp.307-319
    • /
    • 2023
  • 본 연구는 최근 주목받고 있는 텍스트 기반 생성형 인공지능에 대해 관심과 활용이 증가함에 따라 과학교육적 측면에서의 활용을 위해 생성형 인공지능의 주요 개념과 원리를 설명하고, 이를 효과적으로 활용할 수 있는 방안과 그 한계를 지적하며 이를 토대로 과학교육의 실행과 연구의 측면에서 시사점을 제공하는 것을 목적으로 한다. 최근 들어 증가하고 있는 생성형 인공지능은 대체로 인코더와 디코더로 이뤄진 트랜스포머 모델을 기반으로 하고 있으며, 인간의 피드백을 활용한 강화학습과 보상 모델에 대한 최적화, 문맥에 대한 이해 등을 통해 놀라운 발전을 이루고 있다. 특히, 다양한 사용자의 질문이나 의도를 이해하는 능력과 이를 바탕으로 한 글쓰기, 요약, 제시어 추출, 평가와 피드백 등 다양한 기능을 수행할 수 있다. 또한 교수자가 제시하는 예를 토대로 주어진 응답을 평가하거나 질문과 적절한 답변을 생성하는 등 학습자에 대한 진단과 실질적 교육내용의 구성 등 많은 유용성을 가지고 있다. 그러나 생성형 인공지능이 가지고 있는 한계로 인해 정확한 사실이나 지식에 대한 잘못된 전달, 과도한 확신으로 인한 편향, 사용자의 태도나 감정 등에 미칠 영향의 불확실성 등에 대한 문제 등에 대해 해가 없는지 검토가 필요하다. 특히, 생성형 인공지능이 제공하는 응답은 많은 사람들의 응답 데이터를 기반으로 한 확률적 접근이므로 매우 거리가 멀거나 새로운 관점을 제시하는 통찰적 사고나 혁신적 사고를 제한할 우려도 있다. 이에 따라 본 연구는 과학교수학습을 위해 인공지능의 긍정적 활용을 위한 여러 실천적 제언을 제시하였다.

ChatGPT을 활용한 디지털회로 설계 능력에 대한 비교 분석 (Comparative analysis of the digital circuit designing ability of ChatGPT)

  • 남기훈
    • 문화기술의 융합
    • /
    • 제9권6호
    • /
    • pp.967-971
    • /
    • 2023
  • 최근에는 다양한 플랫폼 서비스가 인공지능을 활용하여 제공되고 있으며, 그 중 하나로 ChatGPT는 대량의 데이터를 자연어 처리하여 자가 학습 후 답변을 생성하는 역할을 수행하고 있다. ChatGPT는 IT 분야에서 소프트웨어 프로그래밍 분야를 포함하여 다양한 작업을 수행할 수 있는데, 특히 프로그램을 대표하는 C언어를 통해 간단한 프로그램을 생성하고 에러를 수정하는데 도움을 줄 수 있다. 이러한 능력을 토대로 C언어를 기반으로 만들어진 하드웨어 언어인 베릴로그 HDL도 ChatGPT에서 원활한 생성이 예상되지만, 베릴로그 HDL의 합성은 명령문들을 논리회로 구조 형태로 생성하는 것이기에 결과물들의 정상적인 실행 여부를 확인해야 한다. 본 논문에서는 용이한 실험을 위해 규모가 적은 논리회로들을 선택하여 ChatGPT에서 생성된 디지털회로와 인간이 만든 회로들의 결과를 확인하려 한다. 실험 환경은 Xilinx ISE 14.7로 모듈들을 모델링하였으며 xc3s1000 FPGA칩을 사용하여 구현하였다. 구현된 결과물을 FPGA의 사용 면적과 처리 시간을 각각 비교 분석함으로써 ChatGPT의 생성물과 베릴로그 HDL의 생성물의 성능을 비교하였다.

아웃페인팅 기반 반려동물 자세 추정에 관한 예비 연구 (A Pilot Study on Outpainting-powered Pet Pose Estimation)

  • 이규빈;이영찬;유원상
    • 융합신호처리학회논문지
    • /
    • 제24권1호
    • /
    • pp.69-75
    • /
    • 2023
  • 최근 동물 행동 분석 및 건강관리 분야를 중심으로 딥러닝 기반 동물 자세 추정 기법에 대한 관심이 높아지고 있다. 그러나 기존 동물 자세 추정 기법은 영상에서 신체 부위가 가려지거나 존재하지 않을 경우 좋은 성능을 보이지 않는다. 특히 꼬리나 귀가 가려진 경우, 반려견의 행동 및 감정 분석의 성능에도 심각한 영향을 미친다. 본 논문에서는 이러한 다루기 힘든 문제를 해결하기 위해, 이미지 아웃페인팅 네트워크를 자세 추정 네트워크에 연결하여 이미지 외부에 존재하는 반려견의 신체를 복원한 확장된 이미지를 생성하여 반려견의 자세를 추정하는 단순하면서도 새로운 접근방법을 제안하였고, 제안된 방법의 실현가능성을 검토하는 예비 연구를 수행하였다. 이미지 아웃페인팅 모델로는 CE-GAN과 트랜스포머 기반의 BAT-Fill을 사용하였고, 자세 추정 모델로는 SimpleBaseline을 사용하였다. 실험 결과, 크롭된 입력 이미지에서 반려견의 자세를 추정하였을 때보다, BAT-Fill을 사용하여 아웃페인팅된 확장 이미지에서 반려견의 자세를 추정하였을 때 자세 추정의 성능이 향상되었다.

초 장단기 통합 태양광 발전량 예측 기법 (Very Short- and Long-Term Prediction Method for Solar Power)

  • 윤문섭;임세령;장한승
    • 한국전자통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1143-1150
    • /
    • 2023
  • 세계적 기후 위기와 저탄소 정책 이행으로 신재생 에너지에 관한 관심이 높아지고 이와 관련된 산업이 증가하고 있다. 이 중에서 태양 에너지는 고갈되지 않고 오염 물질이나 온실가스를 배출하지 않는 대표적인 친환경 에너지로 주목받고 있으며, 이에 따라 세계적으로 태양광 발전 시설 보급이 증가하고 있다. 하지만 태양광 발전은 지리, 날씨와 같은 환경의 영향을 받기 쉬우므로 안정적인 운영과 효율적인 관리를 위해 정확한 발전량 예측이 중요하다. 하지만 변동성이 큰 태양광 발전을 수학적 통계 기술로 정확한 발전량을 예측하는 것은 불가능하다. 이를 위해서 정확하고 효과적인 예측을 위해 딥러닝 기반의 기술에 관한 연구는 필수적이다. 또한, 기존의 딥러닝을 활용한 예측 방식은 장, 단기적인 예측을 나누어 수행하기 때문에 각각의 예측 결과를 얻기 위한 시간이 길어진다는 단점이 있다. 따라서, 본 연구에서는 시계열 특성을 가진 태양광 발전량 데이터를 사용하여 장단기 통합 예측을 수행하기 위해 순환 신경망의 다대다 구조를 활용한다. 그리고 이를 다양한 딥러닝 모델들에 적용하여 학습을 수행하고 각 모델의 결과를 비교·분석한다.

효율적인 이미지 검색 시스템을 위한 자기 감독 딥해싱 모델의 비교 분석 (Comparative Analysis of Self-supervised Deephashing Models for Efficient Image Retrieval System)

  • 김수인;전영진;이상범;김원겸
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권12호
    • /
    • pp.519-524
    • /
    • 2023
  • 해싱 기반 이미지 검색에서는 조작된 이미지의 해시코드가 원본 이미지와 달라 동일한 이미지 검색이 어렵다. 본 논문은 이미지의 질감, 모양, 색상 등 특징 정보로부터 지각적 해시코드를 생성하는 자기 감독 기반 딥해싱 모델을 제안하고 평가한다. 비교 모델은 오토인코더 기반 변분 추론 모델들이며, 인코더는 완전 연결 계층, 합성곱 신경망과 트랜스포머 모듈 등으로 설계된다. 제안된 모델은 기하학적 패턴을 추출하고 이미지 내 위치 관계를 활용하는 SimAM 모듈을 포함하는 변형 추론 모델이다. SimAM은 뉴런과 주변 뉴런의 활성화 값을 이용한 에너지 함수를 통해 객체 또는 로컬 영역이 강조된 잠재 벡터를 학습할 수 있다. 제안 방법은 표현 학습 모델로 고차원 입력 이미지의 저차원 잠재 벡터를 생성할 수 있으며, 잠재 벡터는 구분 가능한 해시코드로 이진화 된다. CIFAR-10, ImageNet, NUS-WIDE 등 공개 데이터셋의 실험 결과로부터 제안 모델은 비교 모델보다 우수하며, 지도학습 기반 딥해싱 모델과 동등한 성능이 분석되었다.

Deep Learning-Enabled Detection of Pneumoperitoneum in Supine and Erect Abdominal Radiography: Modeling Using Transfer Learning and Semi-Supervised Learning

  • Sangjoon Park;Jong Chul Ye;Eun Sun Lee;Gyeongme Cho;Jin Woo Yoon;Joo Hyeok Choi;Ijin Joo;Yoon Jin Lee
    • Korean Journal of Radiology
    • /
    • 제24권6호
    • /
    • pp.541-552
    • /
    • 2023
  • Objective: Detection of pneumoperitoneum using abdominal radiography, particularly in the supine position, is often challenging. This study aimed to develop and externally validate a deep learning model for the detection of pneumoperitoneum using supine and erect abdominal radiography. Materials and Methods: A model that can utilize "pneumoperitoneum" and "non-pneumoperitoneum" classes was developed through knowledge distillation. To train the proposed model with limited training data and weak labels, it was trained using a recently proposed semi-supervised learning method called distillation for self-supervised and self-train learning (DISTL), which leverages the Vision Transformer. The proposed model was first pre-trained with chest radiographs to utilize common knowledge between modalities, fine-tuned, and self-trained on labeled and unlabeled abdominal radiographs. The proposed model was trained using data from supine and erect abdominal radiographs. In total, 191212 chest radiographs (CheXpert data) were used for pre-training, and 5518 labeled and 16671 unlabeled abdominal radiographs were used for fine-tuning and self-supervised learning, respectively. The proposed model was internally validated on 389 abdominal radiographs and externally validated on 475 and 798 abdominal radiographs from the two institutions. We evaluated the performance in diagnosing pneumoperitoneum using the area under the receiver operating characteristic curve (AUC) and compared it with that of radiologists. Results: In the internal validation, the proposed model had an AUC, sensitivity, and specificity of 0.881, 85.4%, and 73.3% and 0.968, 91.1, and 95.0 for supine and erect positions, respectively. In the external validation at the two institutions, the AUCs were 0.835 and 0.852 for the supine position and 0.909 and 0.944 for the erect position. In the reader study, the readers' performances improved with the assistance of the proposed model. Conclusion: The proposed model trained with the DISTL method can accurately detect pneumoperitoneum on abdominal radiography in both the supine and erect positions.

그래프 컨벌루션 네트워크 기반 주거지역 감시시스템의 얼굴인식 알고리즘 개선 (Improvement of Face Recognition Algorithm for Residential Area Surveillance System Based on Graph Convolution Network)

  • 담하의;민병원
    • 사물인터넷융복합논문지
    • /
    • 제10권2호
    • /
    • pp.1-15
    • /
    • 2024
  • 스마트 지역사회의 구축은 지역사회의 안전을 보장하는 새로운 방법이자 중요한 조치이다. 촬영 각도로 인한 얼굴 기형 및 기타 외부 요인의 영향으로 인한 신원 인식 정확도 문제를 해결하기 위해 이 논문에서는 네트워크 모델을 구축할 때 전체 그래프 컨벌루션 모델을 설계하고, 그래프 컨벌루션 모델에 협력하여 얼굴의 핵심을 추출한다. 또한 얼굴의 핵심을 특정 규칙에 따라 핵심 포인트를 구축하며 이미지 컨벌루션 구조를 구축한 후 이미지 컨벌루션 모델을 추가하여 이미지 특징의 핵심을 개선한다. 마지막으로 두 사람의 얼굴의 이미지 특징 텐서를 계산하고 전체 연결 레이어를 사용하여 집계된 특징을 추출하고 판별하여 인원의 신원이 동일한지 여부를 결정한다. 최종적으로 다양한 실험과 테스트를 거쳐 이 글에서 설계한 네트워크의 얼굴 핵심 포인트에 대한 위치 정확도 AUC 지표는 300W 오픈 소스 데이터 세트에서 85.65%에 도달했다. 자체 구축 데이터 세트에서 88.92% 증가했다. 얼굴 인식 정확도 측면에서 이 글에서 제안한 IBUG 오픈 소스 데이터 세트에서 네트워크의 인식 정확도는 83.41% 증가했으며 자체 구축 데이터 세트의 인식 정확도는 96.74% 증가했다. 실험 결과는 이 글에서 설계된 네트워크가 얼굴을 모니터링하는 데 더 높은 탐지 및 인식 정확도를 가지고 있음을 보여준다.

SWT-SVD 전처리 알고리즘을 적용한 예측적 베어링 이상탐지 모델 (A Predictive Bearing Anomaly Detection Model Using the SWT-SVD Preprocessing Algorithm)

  • 박소향;김광훈
    • 인터넷정보학회논문지
    • /
    • 제25권1호
    • /
    • pp.109-121
    • /
    • 2024
  • 섬유, 자동차와 같은 여러 제조 공정에서 설비가 고장이 나 멈추게 되면 기계가 작동하지 않게 되고 이는 기업의 시간적, 금전적 손실로 이어진다. 따라서 설비의 고장이 발생하기 전, 고장을 예측하여 정비할 수 있도록 설비의 이상을 사전에 탐지하는 것이 중요하다. 대부분의 설비 고장 원인은 설비의 필수 부품인 베어링의 고장으로, 베어링의 고장을 진단하는 것은 설비예지보전 연구의 핵심이기도 하다. 본 논문에서는 베어링의 진동 신호를 분석하여 SWT-SVD 전처리 알고리즘을 제안하고 이를 시계열 이상탐지 모델 네트워크 중 하나인 어노멀리 트랜스포머에 적용하여 베어링 이상탐지 모델을 구현한다. 제조공정의 베어링 진동신호는 실시간으로 센서값들의 이력이 작성되어 노이즈가 존재하므로, 이를 줄이기 위해 본 연구에서는 정상 웨이블릿 변환(Stationary Wavelet Transform)을 사용하여 주파수 성분을 추출하고, 특이값 분해(Singular Value Decomposition) 알고리즘을 통해 유의미한 특징들을 추출하는 전처리를 진행한다. 제안하는 SWT-SVD 전처리 방법을 적용한 베어링 이상탐지 모델 실험을 위해 IEEE PHM학회에서 제공하는 PHM-2012-Challenge 데이터 세트를 활용하였으며, 실험 결과는 0.98의 정확도와 0.97의 F1-Score로 우수한 성능을 보였다. 추가로, 성능 향상을 입증하기 위해 선행 연구들과 성능 비교를 진행한다. 비교 실험을 통해 제안한 전처리 방법이 기존의 전처리보다 높은 성능을 보임을 확인하였다.

설비공학 분야의 최근 연구 동향 : 2010년 학회지 논문에 대한 종합적 고찰 (Recent Progress in Air-Conditioning and Refrigeration Research : A Review of Papers Published in the Korean Journal of Air-Conditioning and Refrigeration Engineering in 2010)

  • 한화택;이대영;김서영;최종민;김수민;권영철;백용규
    • 설비공학논문집
    • /
    • 제23권6호
    • /
    • pp.449-469
    • /
    • 2011
  • This article reviews the papers published in the Korean Journal of Air-Conditioning and Refrigerating Engineering during 2010. It is intended to understand the status of current research in the areas of heating, cooling, ventilation, sanitation, and indoor environments of buildings and plant facilities. Conclusions are as follows. (1) Research trends of thermal and fluid engineering have been surveyed as groups of general thermal and fluid flow, fluid machinery, and new and renewable energy. Various topics were presented in the field of general thermal and fluid flow. Research issues mainly focused on the thermal reliability of axial fan and compressor in the field of fluid machinery. Studies on the design of ground source heat pump systems and solar chemical reactors were executed in the field of new and renewable energy. (2) Research works on heat transfer area have been reviewed in the categories of heat transfer characteristics and industrial heat exchangers. Researches on heat transfer characteristics included heat transfer in thermoelectric cooling/power generation systems, combined heat and power systems, carbon nano fluid with PVP, channel filled with metal foam and smoke ventilation in a rescue station of a railroad tunnel. Also the studies on flow boiling of R123/oil mixture in a plain tube bundle and R410A charge amount in an air cooled mini-channel condenser were reported. In the area of industrial heat exchangers, researches on plate heat exchanger, shell and tube heat exchanger, enthalpy exchanger, micro channel PCHE were performed. (2) Research works on heat transfer area have been reviewed in the categories of heat transfer characteristics and industrial heat exchangers. Researches on heat transfer characteristics included heat transfer in thermoelectric cooling/power generation systems, combined heat and power systems, carbon nano fluid with PVP, channel filled with metal foam and smoke ventilation in a rescue station of a railroad tunnel. Also the studies on flow boiling of R123/oil mixture in a plain tube bundle and R410A charge amount in an air cooled mini-channel condenser were reported. In the area of industrial heat exchangers, researches on plate heat exchanger, shell and tube heat exchanger, enthalpy exchanger, micro channel PCHE were performed. (3) Refrigeration systems with alternative refrigerants such as hydrocarbons, mixed refrigerants, and CO2 were studied. Performance improvement of refrigeration systems are tried applying various ideas of refrigerant subcooling, dual evaporator with hot gas bypass control and feedforward control. The hybrid solar systems combining the solar collection devices with absorption chillers or compression heat pumps are simulated and studied experimentally as well to improve the understanding and the feasibility for actual applications. (4) Research trend in the field of mechanical building facilities has been found to be mainly focused on field applications rather than performance improvements. Various studies on heating and cooling systems, HVAC facilities, indoor air environments and energy resources were carried to improve the maintenance and management of building service equipments. In the field of heating and cooling systems, papers on a transformer cooling system, a combined heat and power, a slab thermal storage and a heat pump were reported. In the field of HVAC facilities, papers on a cooling load, an ondol and a drying were presented. Also, studies on HVAC systems using unutilized indoor air environments and energy resources such as air curtains, bioviolence, cleanrooms, ventilation, district heating, landfill gas were studied. (5) In the field of architectural environment and energy, studies of various purposes were conducted such as indoor environment, building energy, renewable energy and green building. In particular, renewable energy and building energy-related researches have mainly been studied reflecting the global interest. In addition, many researches which related the domestic green building certification of school building were performed to improve the indoor environment of school.