• 산업경영시스템학회지
• /
• 제44권4호
• /
• pp.193-207
• /
• 2021

As Deepfakes phenomenon is spreading worldwide mainly through videos in web platforms and it is urgent to address the issue on time. More recently, researchers have extensively discussed deepfake video datasets. However, it has been pointed out that the existing Deepfake datasets do not properly reflect the potential threat and realism due to various limitations. Although there is a need for research that establishes an agreed-upon concept for high-quality datasets or suggests evaluation criterion, there are still handful studies which examined it to-date. Therefore, this study focused on the development of the evaluation criterion for the Deepfake video dataset. In this study, the fitness of the Deepfake dataset was presented and evaluation criterions were derived through the review of previous studies. AHP structuralization and analysis were performed to advance the evaluation criterion. The results showed that Facial Expression, Validation, and Data Characteristics are important determinants of data quality. This is interpreted as a result that reflects the importance of minimizing defects and presenting results based on scientific methods when evaluating quality. This study has implications in that it suggests the fitness and evaluation criterion of the Deepfake dataset. Since the evaluation criterion presented in this study was derived based on the items considered in previous studies, it is thought that all evaluation criterions will be effective for quality improvement. It is also expected to be used as criteria for selecting an appropriate deefake dataset or as a reference for designing a Deepfake data benchmark. This study could not apply the presented evaluation criterion to existing Deepfake datasets. In future research, the proposed evaluation criterion will be applied to existing datasets to evaluate the strengths and weaknesses of each dataset, and to consider what implications there will be when used in Deepfake research.

• 대한의용생체공학회:의공학회지
• /
• 제42권6호
• /
• pp.268-276
• /
• 2021

Functional near-infrared spectroscopy-based brain-computer interface (fNIRS-based BCI) has been receiving much attention. However, we are practically constrained to obtain a lot of fNIRS data by inherent hemodynamic delay. For this reason, when employing machine learning techniques, a problem due to the high-dimensional feature vector may be encountered, such as deteriorated classification accuracy. In this study, we employ an elastic net-based feature selection which is one of the embedded methods and demonstrate the utility of which by analyzing the results. Using the fNIRS dataset obtained from 18 participants for classifying brain activation induced by mental arithmetic and idle state, we calculated classification accuracies after performing feature selection while changing the parameter α (weight of lasso vs. ridge regularization). Grand averages of classification accuracy are 80.0 ± 9.4%, 79.3 ± 9.6%, 79.0 ± 9.2%, 79.7 ± 10.1%, 77.6 ± 10.3%, 79.2 ± 8.9%, and 80.0 ± 7.8% for the various values of α = 0.001, 0.005, 0.01, 0.05, 0.1, 0.2, and 0.5, respectively, and are not statistically different from the grand average of classification accuracy estimated with all features (80.1 ± 9.5%). As a result, no difference in classification accuracy is revealed for all considered parameter α values. Especially for α = 0.5, we are able to achieve the statistically same level of classification accuracy with even 16.4% features of the total features. Since elastic net-based feature selection can be easily applied to other cases without complicated initialization and parameter fine-tuning, we can be looking forward to seeing that the elastic-based feature selection can be actively applied to fNIRS data.

• 응용통계연구
• /
• 제35권3호
• /
• pp.385-393
• /
• 2022

본 논문에서는 시계열 예측 분야에서 잘 알려져 있는 단변량 시계열 모형들을 이용하여, 그들의 단순 조합이 어떤 예측력을 보여주는지 연구한다. 고려된 단변량 시계열 모형으로는, 지수평활 및 ARIMA(autoregressive integrated moving average) 모형들과 그들의 확장된 형태인 모형들 그리고 예측의 벤치마크 모형으로 자주 사용되는 비계절 및 계절 랜덤워크 모형이다. 단순 조합의 방법은 중앙값과 평균을 이용하였으며, 검증을 위하여 사용된 데이터셋은 3,003개의 시계열 자료로 구성된 M3-competition 자료이다. 예측 성능을 sMAPE(symmetric mean absolute percentage error)와 MASE(mean absolute scaled error)로 평가한 결과, 단변량 시계열 모형들의 단순 조합이 아주 우수한 예측력을 가지고 있음을 확인하였다.

• 전기전자학회논문지
• /
• 제26권3호
• /
• pp.430-436
• /
• 2022

본 논문에서는 다중 체온 감지용 지능형 카메라를 제안한다. 제안하는 카메라는 광학(4056*3040) 및 열화상(640*480) 2종의 카메라로 구성되고 획득된 영상으로부터 사람의 표정 및 체온을 분석하여 이상 증상을 감지한다. 광학 및 열화상카메라는 동시에 운영되며 광학 영상에서 객체를 검출한 후 얼굴영역을 도출하여 표정분석을 수행한다. 열화상카메라는 광학카메라에서 얼굴영역으로 판단한 좌표 값을 적용하고 해당영역의 최고 온도를 측정하여 화면에 표출한다. 이상 징후 감지는 분석된 표정 3가지(무표정, 웃음, 슬픔)와 체온 값을 활용하여 판단하며 제안된 장비의 성능을 평가하기 위해 광학영상 처리부는 Caltech, WIDER FACE, CK+ 데이터셋을 3종의 영상처리 알고리즘(객체검출, 얼굴영역 검출, 표정분석)에 적용하였다. 실험결과로 객체검출률, 얼굴영역 검출률, 표정분석률 각각 91%, 91%, 84%을 도출하였다.

• 한국정보통신학회논문지
• /
• 제26권9호
• /
• pp.1330-1339
• /
• 2022

3D 물체검출은 대체로 자동차, 버스, 사람, 가구 등과 같은 비교적 크기가 큰 데이터를 검출하는 것을 목표로 두어 작은 객체 검출에는 취약하다. 또한, 임베디드 기기와 같은 자원이 제한적인 환경에서는 방대한 연산량 때문에 모델의 적용이 어렵다. 본 논문에서는 1개의 레이어만을 사용하여 로컬 특징에 중점을 두어 작은 객체 검출의 정확도를 높였으며, 제안한 사전 학습된 큰 네트워크에서 작은 네트워크로의 지식 증류법과 파라미터 크기에 따른 적응적 양자화를 통해 추론 속도를 향상시켰다. 제안 모델은 SUN RGB-D Val 와 자체 제작한 모형 사과나무 데이터 셋을 이용하여 성능을 평가하였고 최종적으로 mAP@0.25에서 62.04%, mAP@0.5에서 47.1%의 정확도 성능을 보였으며, 추론 속도는 120.5 scenes per sec로 빠른 실시간 처리속도를 보였다.

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.76-83
• /
• 2023

본 연구에서는 웹툰 작가의 웹툰 제작 과정을 보조하기 위해 사전학습된 Text-to-Image 모델을 미세조정하여 텍스트에서 웹툰을 생성하는 방법을 제안한다. 제안하는 방법은 웹툰 화풍으로 변환된 웹툰 데이터셋을 사용하여 사전학습된 Stable Diffusion 모델에 LoRA 기법을 활용하여 미세조정한다. 실험 결과 3만 스텝의 학습으로 약 4시간 반이 소요되어 빠르게 학습하는 것을 확인하였으며, 생성된 이미지에서는 입력한 텍스트에 표현된 형상이나 배경이 반영되어 웹툰 이미지가 생성되는 것을 확인하였다. 또한, Inception score를 통해 정량적인 평가를 수행하였을 때, DCGAN 기반의 Text-to-Image 모델보다 더 높은 성능을 나타냈다. 본 연구에서 제안된 웹툰 생성을 위한 Text-to-Image 모델을 웹툰 작가가 사용한다면, 웹툰 저작에 시간을 단축시킬 수 있을 것으로 기대된다.

• 한국재난정보학회 논문집
• /
• 제19권3호
• /
• pp.689-697
• /
• 2023

연구목적: 본 연구는 미니트렌칭 공법 적용 과정에서 범용 스마트폰을 이용하여 지중매설물의 정보를 자동 추출하는데 목적이 있다. 연구방법:이미지 학습을 위한 데이터 셋은 주야간, 높이, 각도 등의 다양한 조건에서 수집하였으며, 객체 검지알고리즘은 R-CNN 알고리즘을 이용하였다. 연구결과: 성능평가지표는 정확한 예측과 재현율의 평균을 동시에 고려할 수 있는 F1-Score를 적용하였으며, 학습결과 F1-Score는 0.76으로 나타났다. 결론: 본 연구의 결과는 스마트폰 기반의 지중매설물 정보 추출이 가능한 것으로 나타났으나, 학습데이터의 추가적인 확보와 현장 실증 등을 통해 알고리즘의 정밀성 및 정확성을 향상시킬 필요가 있을 것으로 판단된다.

• 스마트미디어저널
• /
• 제11권2호
• /
• pp.18-24
• /
• 2022

많은 소셜 서비스 상에서 악성 댓글로 인한 문제가 발생되고 있으며, 특히 매체로서의 성격이 강한 유튜브는 모바일기기를 이용한 쉬운 접근성으로 인해 악성 댓글로 인한 폐해가 더욱 커지고 있는 실정이다. 본 논문에서는 LSTM 기반의 자연어 처리를 통해 유튜브 콘텐츠에 대한 악성 댓글을 판별하고 악성 댓글의 비율, 악플러들의 닉네임, 그리고 빈도를 시각적으로 표현해 주기 위한 유튜브 악성 댓글 탐지 시스템을 설계하고 구현하였으며, 성능을 평가하였다. 약 5만 개의 댓글 데이터셋을 통해 악성 댓글 여부를 판별하였을 때, 약 92%의 정확도로 악성 댓글을 검출해 낼 수 있었으며, 이를 활용하여 악성 댓글의 통계가 자동으로 생성되도록 함으로써 많은 유튜버들이 겪는 악성 댓글로 인한 사회적 문제를 해결할 수 있을 것으로 기대한다.

• 스마트미디어저널
• /
• 제12권5호
• /
• pp.28-35
• /
• 2023

본 연구에서는 음성감정인식의 적용 가능성과 실용성 향상을 위해 적은 수의 파라미터를 가지는 새로운 경량화 모델 RoutingConvNet(Routing Convolutional Neural Network)을 제안한다. 제안모델은 학습 가능한 매개변수를 줄이기 위해 양방향 MFCC(Mel-Frequency Cepstral Coefficient)를 채널 단위로 연결해 장기간의 감정 의존성을 학습하고 상황 특징을 추출한다. 저수준 특징 추출을 위해 경량심층 CNN을 구성하고, 음성신호에서의 채널 및 공간 신호에 대한 정보 확보를 위해 셀프어텐션(Self-attention)을 사용한다. 또한, 정확도 향상을 위해 동적 라우팅을 적용해 특징의 변형에 강인한 모델을 구성하였다. 제안모델은 음성감정 데이터셋(EMO-DB, RAVDESS, IEMOCAP)의 전반적인 실험에서 매개변수 감소와 정확도 향상을 보여주며 약 156,000개의 매개변수로 각각 87.86%, 83.44%, 66.06%의 정확도를 달성하였다. 본 연구에서는 경량화 대비 성능 평가를 위한 매개변수의 수, 정확도간 trade-off를 계산하는 지표를 제안하였다.

• 스마트미디어저널
• /
• 제12권6호
• /
• pp.35-40
• /
• 2023

본 연구는 대화형 추천 시스템인 다중 목표 대화형 추천 시스템(MG-CRS)에서 사용되는 다양한 사전 학습된 언어 모델들을 고찰하고, 각 언어모델의 성능을 비교하고 분석한다. 특히, 언어 모델의 크기가 다중 목표 대화형 추천 시스템의 성능에 어떤 영향을 미치는지에 대해 살펴본다. BERT, GPT2, 그리고 BART의 세 종류의 언어모델을 대상으로 하여, 대표적인 다중 목표 대화형 추천 시스템 데이터셋인 DuRecDial 2.0에서 '타입 예측'과 '토픽 예측'의 정확도를 측정하고 비교한다. 실험 결과, 타입 예측에서는 모든 모델이 뛰어난 성능을 보였지만, 토픽예측에서는 모델 간에 혹은 사이즈에 따라 성능 차이가 관찰되었다. 이러한 결과를 바탕으로 다중 목표 대화형 추천 시스템의 성능 향상을 위한 방향을 제시한다.