• 제목/요약/키워드: 비정형데이터분석

검색결과 405건 처리시간 0.035초

산업현장 실시간 센싱정보 활용/분석을 위한 빅데이터 플랫폼 (Big Data Platform for Utilizing and Analyzing Real-Time Sensing Information in Industrial Sites)

  • 이용환;서진형
    • 창의정보문화연구
    • /
    • 제6권1호
    • /
    • pp.15-21
    • /
    • 2020
  • 일반적인 산업현장에서의 빅 데이터 활용을 위해서는 먼저 산업현장의 설비, 공정, 환경 등에서 수집되는 정형화된 빅 데이터를 처리 및 저장하고, 비정형 데이터인 경우 비구조적 데이터로 저장하거나 정형 데이터로 변환하여 데이터베이스에 저장하여야 한다. 이러한 데이터베이스의 기본이 되는 데이터를 수집하기 위하여 본 논문에서는 산업현장의 계측정보, 환경 정보 등을 융합, 활용할 수 있는 개방형 IoT 표준기반의 빅데이터 수집 방안을 연구한다. 본 논문에서 제안된 빅 데이터 수집을 위한 플랫폼은 실시간 센싱 정보를 처리하기 위해 산업현장의 빅 데이터의 수집, 가공, 저장이 가능하며, 저장된 산업현장의 데이터를 활용 목적에 맞게 데이터를 처리 및 분석하는 다양한 빅 데이터 기술들을 적용할 수 있다.

대규모 범죄 수사 기록을 활용한 온톨로지 기반 분석 서비스 구현 (Implementation of Ontology-based Analytics Service by Exploiting Massive Crime Investigation Records)

  • 고건우;김선우;박성진;노윤주;최성필
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.477-481
    • /
    • 2018
  • 본 논문은 범죄 수사 기록 문서로부터 추출한 정보를 트리플로 구성하여 특정 분야의 온톨로지를 구축하고, 더 나아가 온톨로지 기반의 검색 서비스를 구현하는 일련의 과정을 설명한다. 특히 비정형 데이터로 부터 얻어낸 정보를 통해 온톨로지를 구축하고, 이를 토대로 실제 사용할 수 있는 레벨의 서비스를 구현하는 것이 특징이다. 서비스의 성능을 확인하기 위하여 사건 검색에 대한 정확도 측정 방법 중 하나인 Top-K 방식의 정확도 측정 실험을 수행하였으며, 실험 결과 완전 일치 실험에서는 약 93.52%, 유사 필드 활용 실험에서는 약 88.91%의 결과를 얻어낼 수 있었다.

  • PDF

저출산 대응 정책 비교분석 (육아휴직과 아동수당의 비정형 데이터 중심으로) (Comparative Analysis of Low Fertility Response Policies (Focusing on Unstructured Data on Parental Leave and Child Allowance))

  • 금은영;김도희
    • 문화기술의 융합
    • /
    • 제9권5호
    • /
    • pp.769-778
    • /
    • 2023
  • 본 연구는 현재의 심각한 저출산 문제의 해결방안 중 두 가지 주요정책인 육아휴직과 아동수당의 비정형 데이터를 활용하여 비교분석하고 이를 토대로 관련 대응 정책의 향후 방향과 시사점을 모색하였다. 수집 키워드는 "저출산+육아휴직", "저출산+아동수당"으로 하였으며, 자료분석은 텍스트 빈도분석, 중심성 분석, 네트워크 시각화, CONCOR 분석 순으로 진행하였다. 분석 결과 첫째, 육아휴직은 아동수당 보다 다각적이고 체계적인 논의들이 데이터 분석상 나타남으로써 저출산 대응 정책에 있어 현실적이고 실질적인 정책임을 알 수 있었다. 둘째, 아동수당은 데이터 분석상 아동수당을 포함한 현금지원급여제도에 대한 정보와 관심도는 높은 것으로 나타났으나 그 이외의 특이점이나 적극적인 논의는 이루어지지 않았다. 향후 개선방안으로 두 정책 모두 기존 제도의 활용에 있어 첫째, 육아휴직은 제도의 확산을 위한 근로환경과 사각지대의 개선이 필요하며, 둘째 아동수당은 지급에 있어 획일적이고 편중된 것에서 벗어난 형식의 변화가 모색되어야 하며, 수급연령 확대를 제안하였다.

정형 및 비정형 빅데이터를 이용한 양파 소비 예측 (Prediction of Onion Purchase Using Structured and Unstructured Big Data)

  • 나형철;오은화;유도일;조완섭;아지즈 나스리디노프;박성호;조용빈;류관희
    • 한국콘텐츠학회논문지
    • /
    • 제18권11호
    • /
    • pp.30-37
    • /
    • 2018
  • 인터넷 시대를 살아가는 현대인의 식품 소비는 다양한 대충 매체 및 소셜 미디어를 통해 신속하고 방대한 정보 전달에 영향을 받는 것으로 알려져 있다. 2018년 4월 국내 언론 보도에 따르면, 양파 재배 면적이 증가하고 양파 생산량이 증가할 것으로 예상되며, 이후에 양파 가격은 폭락할 것으로 예상되었다. 이러한 상황을 고려하여 SNS, 인터넷 정보 검색, 방송 프로그램에서 언급된 양파 관련 정보를 분석하여, 실제 가격폭락이 발생하기 전에, 양파 소비를 촉진할 수 있는 요인을 파악할 필요가 있다. 2018년 양파 생산량 증가에 따른 양파 가격 폭락이 예상되는 상황에, 가장 최근 양파 생산량 증가에 따라 가격 폭락을 경험하였던 2014년의 방송 프로그램 및 SNS가 양파 소비와 연계되었는지 파악하고자, 양파 소비 촉진과 관련된 정형 및 비정형 빅데이터를 수집하여, 양파 소비 촉진과 관련된 변수를 찾아 양파 가격 하락이 예상되는 2018년에 소비 촉진에 활용하고자 본 연구를 수행하였다. 연구 결과, 방송 뉴스의 양파 언급 기사 수(3~6주), 양파와 건강을 언급하는 방송 프로그램 수(11주), 양파의 효능을 언급하는 블로그의 댓글 빈도(5주)가 양파 구매금액 증가에 시차를 두고 양의 상관관계를 갖는 것을 확인한 본 연구 결과를 근거로, 양파 생산량 증가에 따른 양파 가격 폭락 시, 양파 소비 촉진을 위한 홍보에, 뉴스, 먹방, 쿡방 등의 방송 프로그램 및 블로그 등의 매체를 활용하는 소비촉진에 기여할 것으로 여겨진다.

전자상거래 연구에서 인지된 가치의 선행 요인에 관한 메타분석 (A Meta-Analysis of External Factors on Perceived Value in E-commerce)

  • 남수태;진찬용
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 춘계학술대회
    • /
    • pp.112-114
    • /
    • 2016
  • 데이터 분석은 기존 데이터베이스 관리 도구로부터 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 말한다. 또한, 대량의 정형 또는 비정형 데이터 집합으로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다. 따라서 메타분석은 여러 실증연구의 정량적인 결과를 통합과 분석을 통해 전체 결과를 조망할 수 있는 기회를 제공하는 통계적 통합 방법이다. 전자상거래 연구에서 인지된 가치의 선행 외부요인들은 연구자에 따라서 다양하게 적용하여 연구되어오고 있다. 본 연구에서는 국내 주요 학회지에 게재된 인지된 가치 관련연구에서 어떠한 요인들을 사용하고 있고 또한 이러한 외부요인들이 인지된 가치 어느 정도의 설명력을 가지는지를 메타분석을 통해 알아보고자 한다. 따라서 연구결과를 바탕으로 학문적 실무적 의의를 논의하고자 한다.

  • PDF

전화망 트래픽 정보 데이터웨어하우스 구축을 통한 서비스품질요소 분석 방안 (An approach to analyzing QOS items by implementing the Data Warehouse for the PSTN traffic)

  • 조유희;박길주
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (3)
    • /
    • pp.727-729
    • /
    • 1999
  • 최근 기업의 정보기술에 대한 중요성이 부각되면서 통신업체를 비롯하여 다양한 업종에서 데이터웨어하우징 기법과 연계한 통합 정보 시스템을 이미 구축하였거나 서둘러 구축하고 있다. 본 논문에서는 교환기에서 출력하고 있는 원시트래픽데이터를 기반으로 전화망 트래픽정보 데이터웨어하우스(Data Warehouse, 이하 DW)를 구축할 경우, 이를 통해 보다 다양한 서비스 품질 분석이 가능함을 보이고자 한다. 지금까지 트래픽 데이터는 최번시의 데이터만을 대상으로 단편적인 분석만 수행해왔는데, DW 구축을 통해 이를 전 시간대 데이터로 그 대상 범위로 확장하고, 분석 항목도 보다 다양화 가능하며, 또 기존의 정형화된 질의 형식이 나니라, 비정형화된 질의를 수행할 수 있다. DW 구축시 전화망에서 측정 가능한 완료율을 포함한 폭주율, 화중율, 오번호율 등 품질요소들에 대하여 보다 세분화하여 심층 분석가능하고, 시간차원, 지역차원을 기준으로 다각적으로 분석가능하다. 뿐만 아니라, DW 구축에서는 다차원 모델링을 적용하기 때문에 어느 계층의 사용자 요구사항이라도 신속하게 원하는 정보에 접근하도록 지원할 수 있다.

  • PDF

의료서비스 디자인싱킹 교육의 공감적 문제해결능력 향상 효과: 정형 및 비정형 데이터 융복합 분석 중심으로 (The Effect of Medical Service Design Thinking Teaching-learning on Empathic Problem Solving Ability: Convergence Analysis of Structured and Unstructured Data)

  • 유진영
    • 디지털융복합연구
    • /
    • 제18권6호
    • /
    • pp.311-321
    • /
    • 2020
  • 저학년 예비보건행정가의 SNS 병원마케팅 교육에 의료서비스 디자인싱킹 교수법을 적용하고 공감적 문제해결능력 향상 효과를 확인하고자 한다. 대구광역시 일개 대학 보건행정과 1학년 학생 39명을 대상으로 2019년 9월부터 12월까지 총 15주간 의료서비스 디자인싱킹을 적용한 후 사전-사후 자기기입식 설문조사를 실시하였다. 저학년 예비보건행정가들의 공감적 문제해결능력 향상 효과는 공감적 상상하기, 공감적 관심, 공감적 각성하기에 긍정적 효과가 있었다. 핵심공통어 분석은 중립어와 부정어 사용은 낮지만 긍정어 사용은 높았다. 인공지능 시대에 공감적 문제해결 직무역량을 체계적으로 갖출 수 있도록, 저학년 교과교육을 위한 프로그램을 개발하고 그 효과성을 정형 및 비정형 데이터 분석을 한 점이 의의가 있다. 이론 교과 적용을 위한 추가 프로그램 개발 연구가 필요하다.

텍스트 분석의 신뢰성 확보를 위한 스팸 데이터 식별 방안 (Detecting Spam Data for Securing the Reliability of Text Analysis)

  • 현윤진;김남규
    • 한국통신학회논문지
    • /
    • 제42권2호
    • /
    • pp.493-504
    • /
    • 2017
  • 최근 뉴스, 블로그, 소셜미디어 등을 통해 방대한 양의 비정형 텍스트 데이터가 쏟아져 나오고 있다. 이러한 비정형 텍스트 데이터는 풍부한 정보 및 의견을 거의 실시간으로 반영하고 있다는 측면에서 그 활용도가 매우 높아, 학계는 물론 산업계에서도 분석 수요가 증가하고 있다. 하지만 텍스트 데이터의 유용성이 증가함과 동시에 이러한 텍스트 데이터를 왜곡하여 특정 목적을 달성하려는 시도도 늘어나고 있다. 이러한 스팸성 텍스트 데이터의 증가는 방대한 정보 가운데 필요한 정보를 획득하는 일을 더욱 어렵게 만드는 것은 물론, 정보 자체 및 정보 제공 매체에 대한 신뢰도를 떨어뜨리는 현상을 초래하게 된다. 따라서 원본 데이터로부터 스팸성 데이터를 식별하여 제거함으로써, 정보의 신뢰성 및 분석 결과의 품질을 제고하기 위한 노력이 반드시 필요하다. 이러한 목적으로 스팸을 식별하기 위한 연구가 오피니언 스팸 탐지, 스팸 이메일 검출, 웹 스팸 탐지 등의 분야에서 매우 활발하게 수행되었다. 본 연구에서는 스팸 식별을 위한 기존의 연구 동향을 자세히 소개하고, 블로그 정보의 신뢰성 향상을 위한 방안 중 하나로 블로그의 스팸 태그를 식별하기 위한 방안을 제안한다.

비정형데이터를 활용한 건축현장 품질성과 평가 모델 개발 (Crafting a Quality Performance Evaluation Model Leveraging Unstructured Data)

  • 이기석;송태근;유위성
    • 한국건축시공학회지
    • /
    • 제24권1호
    • /
    • pp.157-168
    • /
    • 2024
  • 최근 국내 건축현장에서 붕괴사고가 계속해서 발생하고 있어 시공 및 자재 품질 점검과 관리에 대한 공사감리의 중요성이 증가하고 있다. 현행 제도 및 기준에 의하면, 공사감리 업무는 주요 책임이 있는 감리자가 건축현장에서 진행되고 있는 시공 품질, 자재 품질, 재시공 이력 등이 상세하게 기술하여 공사감리보고서를 작성한다. 이러한 문서는 대표적인 비정형데이터로 건축현장에서 생성되고 있는 데이터의 80%의 비중을 차지하고 있으며, 건축현장의 품질정보가 상세하게 기록되어있다. 본 연구에 건축현장에서 발생하고 있는 공사감리보고서를 텍스트마이닝으로 전처리 후 감성사전을 구축하여 품질성과 수준을 평가하고 계량화할 수 있는 SL-QPA 모델을 제안하였다. 모델에서 산정된 성과 점수와 법적 기준에 의한 지표와의 피어슨 상관관계 분석하고, 상관계수에 대한 일원분산분석 결과는 통계적으로 유의미하였다. 제안된 SL-QPA 모델은 현행 건축현장 품질성과 진단에 상호 보완적으로 활용될 수 있고, 공사단계에서 연속적으로 생성되는 비정형데이터를 활용하여 점검 및 관리 활동의 적시성을 향상시킬 것으로 기대된다.

텍스트 분석 기술 및 활용 동향 (Investigations on Techniques and Applications of Text Analytics)

  • 김남규;이동훈;최호창
    • 한국통신학회논문지
    • /
    • 제42권2호
    • /
    • pp.471-492
    • /
    • 2017
  • 최근 데이터의 양 자체가 해결해야 할 문제의 일부분이 되는 빅데이터(Big Data) 분석에 대한 수요와 관심이 급증하고 있다. 빅데이터는 기존의 정형 데이터 뿐 아니라 이미지, 동영상, 로그 등 다양한 형태의 비정형 데이터 또한 포함하는 개념으로 사용되고 있으며, 다양한 유형의 데이터 중 특히 정보의 표현 및 전달을 위한 대표적 수단인 텍스트(Text) 분석에 대한 연구가 활발하게 이루어지고 있다. 텍스트 분석은 일반적으로 문서 수집, 파싱(Parsing) 및 필터링(Filtering), 구조화, 빈도 분석 및 유사도 분석의 순서로 수행되며, 분석의 결과는 워드 클라우드(Word Cloud), 워드 네트워크(Word Network), 토픽 모델링(Topic Modeling), 문서 분류, 감성 분석 등의 형태로 나타나게 된다. 특히 최근 다양한 소셜미디어(Social Media)를 통해 급증하고 있는 텍스트 데이터로부터 주요 토픽을 파악하기 위한 수요가 증가함에 따라, 방대한 양의 비정형 텍스트 문서로부터 주요 토픽을 추출하고 각 토픽별 해당 문서를 묶어서 제공하는 토픽 모델링에 대한 연구 및 적용 사례가 다양한 분야에서 생성되고 있다. 이에 본 논문에서는 텍스트 분석 관련 주요 기술 및 연구 동향을 살펴보고, 토픽 모델링을 활용하여 다양한 분야의 문제를 해결한 연구 사례를 소개한다.