• 제목/요약/키워드: 빅데이터 분석 기법

검색결과 593건 처리시간 0.028초

초분광영상의 조명효과 보정 전처리기법 분석 (Analyzing Preprocessing for Correcting Lighting Effects in Hyperspectral Images)

  • 송영선
    • 한국산업융합학회 논문집
    • /
    • 제26권5호
    • /
    • pp.785-792
    • /
    • 2023
  • Because hyperspectral imaging provides detailed spectral information across a broad range of wavelengths, it can be utilized in numerous applications, including environmental monitoring, food quality inspection, medical diagnosis, material identification, art authentication, and crime scene analysis. However, hyperspectral images often contain various types of distortions due to the environmental conditions during image acquisition, which necessitates the proper removal of these distortions through a data preprocessing process. In this study, a preprocessing method was investigated to effectively correct the distortion caused by artificial light sources used in indoor hyperspectral imaging. For this purpose, a halogen-tungsten artificial light source was installed indoors, and hyperspectral images were acquired. The acquired images were then corrected for distortion using a preprocessing that does not require complex auxiliary equipment. After the corrections were made, the results were analyzed. According to the analysis, a statistical transformation technique using mean and standard deviation with reference to a reference signal was found to be the most effective in correcting distortions caused by artificial light sources.

웹페이지 분석을 위한 딥러닝 모델 학습과 구현에 관한 연구 (Research on Training and Implementation of Deep Learning Models for Web Page Analysis)

  • 김정환;조재원;김진산;이한진
    • 문화기술의 융합
    • /
    • 제10권2호
    • /
    • pp.517-524
    • /
    • 2024
  • 본 연구는 ChatGPT 서비스의 개시 이후 인공지능 혁명이라 일컬어지는 시대적 배경 속에서, 웹사이트의 제작과 인공지능의 융합을 위해 딥러닝 모델을 학습 및 구현하고자 한다. 딥러닝 모델은 수집한 3,000개의 웹페이지 이미지를 구성요소와 레이아웃 분류체계 기반의 데이터 가공을 통해 학습하였으며, 다음과 같은 세 가지 단계로 구분하여 진행하였다. 첫째, 인공지능 모델에 관한 선행연구를 조사하여 구현하고자 하는 모델에 가장 적합한 알고리즘을 선택하였다. 둘째, 적합한 웹페이지 및 단락 이미지를 수집하고 분류 및 가공하였다. 셋째, 딥러닝 모델을 학습시키고 서빙 인터페이스를 연동해 모델의 실제 결과를 확인하였다. 이렇게 구현된 모델은 실제 웹페이지를 구성하는 복수의 단락을 탐지하고, 단락별 규모, 요소, 특징을 분석하여 분류체계를 기반으로 의미 있는 데이터를 도출할 것이다. 이 과정은 점차 발전하여 웹페이지를 보다 정밀하게 분석할 수 있게 될 것이다. 그리고 정밀 분석기법을 역으로 설계하여, 인공지능이 완벽한 웹페이지를 자동으로 생성할 수 있는 연구의 초석이 될 것으로 기대한다.

신재생에너지 동향 파악을 위한 토픽 모형 분석 (Topic Model Analysis of Research Trend on Renewable Energy)

  • 신규식;최회련;이홍철
    • 한국산학기술학회논문지
    • /
    • 제16권9호
    • /
    • pp.6411-6418
    • /
    • 2015
  • 기후변화 및 환경오염에 대응하기 위해 신재생에너지 정책 연구가 증가하고 있다. 신재생에너지는 녹색산업과 녹색기술로 대표되는 새로운 성장 동력 기술이다. 현재 우리나라는 태양광, 풍력, 수소연료전지 등 3대 전략부분에 신재생에너지 보급 및 기술개발사업에 대한 투자가 이루어지고 있지만 아직은 초기 단계로, 연구 방향 및 투자 분야에 대한 불확실성을 줄이는 것이 무엇보다도 시급한 실정이다. 따라서 본 연구는 빅데이터(big data) 분석방법 중 텍스트 마이닝(Text mining method)과 토픽 모델링 기법(multinominal topic model)을 신재생에너지와 관련된 최근 10년간의 우리나라 언론기사에 적용하여 국가 정책의 핵심이슈 및 세계적인 연구 트렌드를 분석하고, 성장 가능성이 있는 신재생에너지 분야를 예측하였다. 정보통신기술을 바탕으로 한 연구결과는 신재생에너지 분야에 활발히 적용될 것으로 예측된다.

자기조직화지도를 통한 아파트 가격의 패턴 분석 (Pattern Analysis of Apartment Price Using Self-Organization Map)

  • 이지영;유재필
    • 한국융합학회논문지
    • /
    • 제12권11호
    • /
    • pp.27-33
    • /
    • 2021
  • 최근 인공지능, 딥러닝, 빅데이터 등 4차 산업의 핵심 분야에 대한 관심이 커지면서 기존의 의사결정 문제를 전통적인 방법론의 한계점을 최소화하는 과학적 접근 방식이 대두되고 있다. 특히 이런 과학적인 기법들은 주로 금융 상품의 방향성을 예측하는데 사용되는데 본 연구에서는 사회적으로 관심이 높은 아파트 가격의 요인을 자기조직화지도를 통해 분석하고자 한다. 이를 위해 아파트 가격의 실질 가격을 추출하고 아파트 가격에 영향을 주는 총 16개의 입력 변수를 선정한다. 실험 기간은 1986년 1월부터 2021년 6월까지이며 아파트 가격의 상승 및 횡보 구간을 나눠 각 구간 별 변수들의 특징을 살펴본 결과, 상승 구간과 횡보 구간의 입력 변수의 통계적 성향이 뚜렷하게 구분되는 것을 알 수 있었다. 더불어 U1~U3 구간이 N1~N3 구간에 비해서 변수들의 표준편차가 상대적으로 크게 나왔다. 본 연구는 중장기적으로 상승과 하락이라는 큰 주기를 갖고 있는 부동산에 대해서 현재 시점의 현황을 정량적으로 분석한 것에 의미가 있으며 향후 이미지 학습을 통해 미래 방향성을 예측하는 연구에 도움이 되기를 기대한다.

실시간 거시지표 예측과 증시뉴스 마이닝을 통한 주가 예측시스템 모델연구 (Research model on stock price prediction system through real-time Macroeconomics index and stock news mining analysis)

  • 홍성혁
    • 한국융합학회논문지
    • /
    • 제12권7호
    • /
    • pp.31-36
    • /
    • 2021
  • 중국 우한발 코로나 19 바이러스로 인하여 세계 경제가 침체하여, 미국연방준비제도를 비롯한 대부분 국가에서는 통화량을 늘려 경기를 부양하는 정책을 내놓았다. 주식 투자자들 대부분은 기업에 대한 재무제표 분석이 없이 유명 유튜버의 추천종목이나 지인의 말만 듣고 투자하는 경향이 있어서 주식투자의 손실 가능성이 크다. 따라서, 본 연구에서는 기존 자동매매 조건에서 발전된 인공지능 딥러닝 기법을 이용하여 주가에 영향을 미치는 거시지표를 분석하고 예측하여 주가에 미치는 상관관계를 통한 개별주가예측에 가중치를 부여하고 주가를 예측한다. 또한, 주가는 실시간 증시뉴스에 민감하게 반응하기 때문에 증시뉴스 텍스트 마이닝을 통하여 인공지능으로 예측된 주가에 가중치를 반영하여 더 정확한 주가 예측을 하여 주식 투자자에게 매매의 판단 근거를 제공하여 건전한 주식투자가 되도록 이바지하였다.

텍스트 마이닝을 이용한 2012년 한국대선 관련 트위터 분석 (Analysis of Twitter for 2012 South Korea Presidential Election by Text Mining Techniques)

  • 배정환;손지은;송민
    • 지능정보연구
    • /
    • 제19권3호
    • /
    • pp.141-156
    • /
    • 2013
  • 최근 소셜미디어는 전세계적 커뮤니케이션 도구로서 사용에 전문적인 지식이나 기술이 필요하지 않기 때문에 이용자들로 하여금 콘텐츠의 실시간 생산과 공유를 가능하게 하여 기존의 커뮤니케이션 양식을 새롭게 변화시키고 있다. 특히 새로운 소통매체로서 국내외의 사회적 이슈를 실시간으로 전파하면서 이용자들이 자신의 의견을 지인 및 대중과 소통하게 하여 크게는 사회적 변화의 가능성까지 야기하고 있다. 소셜미디어를 통한 정보주체의 변화로 인해 데이터는 더욱 방대해지고 '빅데이터'라 불리는 정보의 '초(超)범람'을 야기하였으며, 이러한 빅데이터는 사회적 실제를 이해하기 위한 새로운 기회이자 의미 있는 정보를 발굴해 내기 위한 새로운 연구분야로 각광받게 되었다. 빅데이터를 효율적으로 분석하기 위해 다양한 연구가 활발히 이루어지고 있다. 그러나 지금까지 소셜미디어를 대상으로 한 연구는 개괄적인 접근으로 제한된 분석에 국한되고 있다. 이를 적절히 해결하기 위해 본 연구에서는 트위터 상에서 실시간으로 방대하게 생성되는 빅스트림 데이터의 효율적 수집과 수집된 문헌의 다양한 분석을 통한 새로운 정보와 지식의 마이닝을 목표로 사회적 이슈를 포착하기 위한 실시간 트위터 트렌드 마이닝 시스템을 개발 하였다. 본 시스템은 단어의 동시출현 검색, 질의어에 의한 트위터 이용자 시각화, 두 이용자 사이의 유사도 계산, 트렌드 변화에 관한 토픽 모델링 그리고 멘션 기반 이용자 네트워크 분석의 기능들을 제공하고, 이를 통해 2012년 한국 대선을 대상으로 사례연구를 수행하였다. 본 연구를 위한 실험문헌은 2012년 10월 1일부터 2012년 10월 31일까지 약 3주간 1,737,969건의 트윗을 수집하여 구축되었다. 이 사례연구는 최신 기법을 사용하여 트위터에서 생성되는 사회적 트렌드를 마이닝 할 수 있게 했다는 점에서 주요한 의의가 있고, 이를 통해 트위터가 사회적 이슈의 변화를 효율적으로 추적하고 예측하기에 유용한 도구이며, 멘션 기반 네트워크는 트위터에서 발견할 수 있는 고유의 비가시적 네트워크로 이용자 네트워크의 또 다른 양상을 보여준다.

소셜 미디어 데이터 분석을 통한 중국 소비자의 삼성 스마트폰에 대한 인식 연구 (Study on Chinese Consumers' Perceptions of Samsung Smartphones through Social Media Data Analysis)

  • 최염;남인용
    • 문화기술의 융합
    • /
    • 제10권4호
    • /
    • pp.311-321
    • /
    • 2024
  • 본 연구는 소셜 미디어 플랫폼 웨이보를 통해 중국에서 삼성 스마트폰을 구매한 경험이 있는 소비자와 없는 소비자들의 인식을 전반적으로 분석하였다. 본 연구에서 텍스트 마이닝, 빈도분석, 연결 중심성 분석, 의미 연결망 분석 및 CONCOR 분석 등 다양한 빅 데이터 분석 기법을 사용하였다. 분석 결과, 삼성 스마트폰에 대한 긍정적 인식은 외관 디자인, 카메라 기능, AI 기능, 화면 품질, 스펙 및 성능, 고급 브랜드 등을 포함한다. 반면 부정적 인식은 가격 문제, 사진의 노란색 문제, 충전 속도의 느림, 안전성 문제 등이 있다. 이러한 분석 결과는 향후 삼성의 중국 시장전략에 실질적인 개선을 가져오는 데 중요한 근거가 될 것이다.

시계열 모형을 이용한 인천공항 이용객 수요 예측 (Air passenger demand forecasting for the Incheon airport using time series models)

  • 이지훈;한혜림;윤상후
    • 디지털융복합연구
    • /
    • 제18권12호
    • /
    • pp.87-95
    • /
    • 2020
  • 인천공항은 대한민국으로 들어오거나 나가는 관문으로 나라의 이미지에 큰 영향을 미치므로 공항의 서비스 질을 유지하기 위해선 장기적인 공항 이용객 수 예측이 필요하다. 본 연구에서는 인천공항의 이용객 수요를 예측하기 위한 다양한 시계열 모형의 예측성능을 비교하였다. 인천공항 이용객 자료를 2002년 1월부터 2019년 12월까지 월 단위로 수집하여 살펴보면 일반적인 시계열자료에서 보이는 추세성과 계절성을 지니고 있다. 본 연구에서는 추세성과 계절성이 고려된 나이브 기법, 분해법, 지수 평활법, SARIMA, 그리고 PROPHET을 이용하여 단기, 중기, 장기예측 시계열모형을 비교하였다. 분석결과 단기예측은 최근 자료에 가중치를 준 지수 평활법이 우수했고 예상 2020년 연간 이용객 수는 약 7,350만명이다. 3년 후 인 2022년 중기예측은 정상성이 고려된 SARIMA모형이 우수하였고 예상 연간 이용객 수는 약 7,980만명이다. 4단계 인천공항 건설사업이 완료되는 2024년 예상 연간 여객수용 인원은 9,910만명이고 PROPHET모형이 가장 우수하였다.

전역 토픽의 지역 매핑을 통한 효율적 토픽 모델링 방안 (Efficient Topic Modeling by Mapping Global and Local Topics)

  • 최호창;김남규
    • 지능정보연구
    • /
    • 제23권3호
    • /
    • pp.69-94
    • /
    • 2017
  • 최근 빅데이터 분석 수요의 지속적 증가와 함께 관련 기법 및 도구의 비약적 발전이 이루어지고 있으며, 이에 따라 빅데이터 분석은 소수 전문가에 의한 독점이 아닌 개별 사용자의 자가 수행 형태로 변모하고 있다. 또한 전통적 방법으로는 분석이 어려웠던 비정형 데이터의 활용 방안에 대한 관심이 증가하고 있으며, 대표적으로 방대한 양의 텍스트에서 주제를 도출해내는 토픽 모델링(Topic Modeling)에 대한 연구가 활발히 진행되고 있다. 전통적인 토픽 모델링은 전체 문서에 걸친 주요 용어의 분포에 기반을 두고 수행되기 때문에, 각 문서의 토픽 식별에는 전체 문서에 대한 일괄 분석이 필요하다. 이로 인해 대용량 문서의 토픽 모델링에는 오랜 시간이 소요되며, 이 문제는 특히 분석 대상 문서가 복수의 시스템 또는 지역에 분산 저장되어 있는 경우 더욱 크게 작용한다. 따라서 이를 극복하기 위해 대량의 문서를 하위 군집으로 분할하고, 각 군집별 분석을 통해 토픽을 도출하는 방법을 생각할 수 있다. 하지만 이 경우 각 군집에서 도출한 지역 토픽은 전체 문서로부터 도출한 전역 토픽과 상이하게 나타나므로, 각 문서와 전역 토픽의 대응 관계를 식별할 수 없다. 따라서 본 연구에서는 전체 문서를 하위 군집으로 분할하고, 각 하위 군집에서 대표 문서를 추출하여 축소된 전역 문서 집합을 구성하고, 대표 문서를 매개로 하위 군집에서 도출한 지역 토픽으로부터 전역 토픽의 성분을 도출하는 방안을 제시한다. 또한 뉴스 기사 24,000건에 대한 실험을 통해 제안 방법론의 실무 적용 가능성을 평가하였으며, 이와 함께 제안 방법론에 따른 분할 정복(Divide and Conquer) 방식과 전체 문서에 대한 일괄 수행 방식의 토픽 분석 결과를 비교하였다.

인공지능발달 토픽 프레임 연구 -계열화(seriation)와 통합화(skeumorph)의 사회구성주의 중심으로- (A Study on AI Evolution Trend based on Topic Frame Modeling)

  • 권상희;차현주
    • 한국콘텐츠학회논문지
    • /
    • 제20권7호
    • /
    • pp.66-85
    • /
    • 2020
  • 본 연구의 목적은 AI 기술 특허(전체)와 주요 신문에 나타난 AI 보도 프레임을 바탕으로 AI 발달과정 추세를 예측하고 이를 기술·설명하는 것이다. 이를 위해 지난 9년간 출원된 한국과 미국 기술특허 요약문과 국내 주요 신문의 AI(Artificial Intelligence) 뉴스 텍스트를 분석하였다. 본 연구는 빅데이터를 활용한 토픽모델링과 시계열회귀분석이 사용되었으며, 추가로 네트워크 의제 상관분석과 회귀분석 기법이 사용되었다. 본 연구결과는 다음과 같다. 첫째, Topic 모델링 분석결과, AI 기술특허 요약문에서는 인공지능, 알고리즘 5G(Hot AI 기술) 등의 순으로 확인되었으며, AI 뉴스보도에서는 산업 적용, 데이터 활용과 시장 적용 등의 순으로 확인되어 AI의 사회문화 보도 경향을 나타냈다. 둘째, 시계열회귀분석결과, 상승추세 토픽으로는 사회문화적으로 AI 일상적·문화적 이용과 산업적용 시작이 도출되었다. 하락추세토픽으로는 시스템, 하드웨어 기술 중심으로 나타났다. 셋째, 상관관계와 회귀관계를 활용한 QAP 분석 결과, AI 기술특허와 뉴스 보도 프레임 간의 상관관계는 높은 것으로 나타났다. 이를 통해 AI 발달에서 AI 기술특허와 뉴스 보도 프레임이 미디어 담론의 결정요인에 의해 사회적으로 구성되는 것을 알 수 있었다.