• 제목/요약/키워드: 텍스트 데이터 분석

검색결과 1,111건 처리시간 0.031초

빅데이터 분석도구 R을 활용한 성경 데이터의 분석 (Analysis of the Bible Data using Big Data Analytics Tools R)

  • 김용수;반재훈
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 추계학술대회
    • /
    • pp.349-352
    • /
    • 2015
  • 빅 데이터가 정보통신기술 분야의 핵심 이슈로 부각되면서 관련 기술에 대한 관심이 증가하고 있다. 빅 데이터 분석 도구인 R은 통계 기반의 정보 분석을 가능하게 하는 언어와 환경이다. 본 논문에서는 이를 이용하여 성경데이터를 분석한다. 분석을 통해 신구약, 모세오경, 사복음서별로 어떠한 텍스트가 분포되어 있는지를 빈도 조사를 수행한다.

  • PDF

정보시스템 분야의 빅데이터 연구 흐름 분석 : Information Systems 관련 저널을 중심으로 (BigData Research in Information Systems : Focusing on Journal Articles about Information Systems)

  • 박경보;김주영;김한민
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제9권6호
    • /
    • pp.681-689
    • /
    • 2019
  • 세계경제포럼(WEF)의 제46차 다보스포럼은 향후 4차 산업의 지속적 성장을 예견하고 있다. 현재 4차 산업은 다양한 학문적·실무적 영역에서 주목받고 있으며, 4차 산업의 핵심기술로 빅데이터는 인공지능과 함께 4차 산업혁명을 선도할 주요 자원으로 평가받고 있다. 빅데이터의 관심이 증가하면서 이에 대한 연구들이 활발히 이루어지고 있다. 하지만 기존의 빅데이터에 대한 문헌 연구들은 정성적 연구에 치중되어 있어 정량적 연구가 매우 부족한 상황이다. 따라서 본 연구는 MIS 분야의 빅데이터 연구 흐름을 분석하여 정량화에 대한 학문적 갈증을 해갈하고자 한다. 본 연구는 MIS분야의 주요 저널에 게재된 145개의 빅데이터 논문의 초록을 수집하였으며, 이중 과반수의 논문이 Decision Support Systems 저널에 게재된 것을 확인하였다. 편향을 제거하고자 DSS저널에 대해서만 텍스트 마이닝과 텍스트 네트워크 분석을 실시하였다. 분석 결과, 2012년부터 2014년 사이에 경영분야에 빅데이터를 접목하는 연구가 주로 진행되었고 2015년부터 2017년 사이에는 빅데이터 자체에 대한 연구와 빅데이터를 효율적으로 사용하기 위한 시스템 개발 및 분석방법에 대한 연구가 주로 이루어졌다는 것을 발견할 수 있었다.

빅데이터 기반 시민의견 모니터링 방안 연구 : "경기지역화폐"를 중심으로 (A Study on Monitoring Method of Citizen Opinion based on Big Data : Focused on Gyeonggi Lacal Currency (Gyeonggi Money))

  • 안순재;이새미;유승의
    • 디지털융복합연구
    • /
    • 제18권7호
    • /
    • pp.93-99
    • /
    • 2020
  • 본 연구에서는 비정형적인 대용량의 텍스트 자료로부터 유의미한 정보를 추출하는 빅데이터 분석방법 중 텍스트 마이닝을 이용하여 시행 중인 정책과 제도에 대한 시민의견을 모니터링 할 수 있는지 확인하였다. '경기지역화폐'와 관련된 5,108건의 신문기사와 748건의 온라인 카페글을 수집하여 빈도분석, TF-IDF분석, 연관분석, 워드트리 시각화 분석을 수행하였다. 그 결과로 기사에서는 지역화폐의 도입 목적, 제공되는 혜택, 사용방법에 관련된 내용이 많았고 카페글에서는 지역화폐의 실사용과 관련된 내용 위주로 작성이 되어있음을 확인하였다. 또한 지역화폐 활성화를 위해서 뉴스는 정보전달자로서 지역화폐의 홍보에 관여하고 있었고 카페글은 지역화폐 사용자인 시민들의 의견으로 이루어져 사용과 관련된 실제적인 정보 교환의 장으로 기능하고 있었다. 지역화폐뿐만 아니라 다양한 정책과 제도에 관해서도 SNS와 텍스트 마이닝을 통해 시민들의 의견을 수렴하여 효과적으로 활성화시킬 수 있을 것으로 보인다.

LEDA를 이용한 단백질 상호작용의 분석과 가시화 (Analysis and Visualization for Protein-Protein Interaction Using LEDA)

  • 윤지현;조환규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.286-288
    • /
    • 2004
  • PPI(Protein-Protein Interaction) 데이터는 생물체 내에서 서로 상호작용하는 단백질(protein)들에 대한 정보이다. 단백질 상호작용은 실제 생체 내에서 어떠한 작용이 일어나게 하는 원인이므로, 많은 생물학자들이 관심을 가지고 연구하고 있으며, 그 결과로 몇몇 데이터베이스가 만들어졌다. 이런 데이터베이스들은 다른 연구자들을 위해 데이터를 공개하고 있지만, 대부분의 데이터베이스가 탭으로 분리된 텍스트 형태로 제공한다. 하지만, 텍스트 형태의 데이터는 사람이 직관적으로 인지할 수 없기 때문에, PPI 데이터를 분석하기 쉬운 그래프 형태로 보여주는 프로그램이 필요하다. 그리고 아직 기능을 모르는 단백질이 많으므로 이를 예측하는 프로그램도 필요하다 본 논문에서는 LEDA를 이용하여 PPI 데이터를 그래프 형태로 표현하며, 이 그래프에 그래프 이론을 적용하여 단백질의 기능을 예측하는 프로그램인 Proteinca에 대해 서술한다.

  • PDF

이미지 내의 텍스트 데이터 인식 정확도 향상을 위한 멀티 모달 이미지 처리 프로세스 (Multi-modal Image Processing for Improving Recognition Accuracy of Text Data in Images)

  • 박정은;주경돈;김철연
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.148-158
    • /
    • 2018
  • 광학 문자 인식(OCR)은 텍스트를 포함한 이미지에서 텍스트 영역을 인식하고 이로부터 텍스트를 추출하는 기술이다. 전체 텍스트 데이터 중 상당히 많은 텍스트 정보가 이미지에 포함되어 있기 때문에 OCR은 데이터 분석 분야에 있어 중요한 전처리 단계를 담당한다. 대부분의 OCR 엔진이, 흰 바탕의 검정 글씨의 단순한 형태를 가진 이미지와 같은, 텍스트와 배경의 구분이 뚜렷한 저 복잡도 이미지에 대해서는 높은 인식률을 보이는 반면, 텍스트와 배경의 구분이 뚜렷하지 않은 고 복잡도 이미지에 대해서는 저조한 인식률을 보이기 때문에, 인식률 개선을 위해 입력 이미지를 OCR 엔진이 처리하기 용이한 이미지로 변형하는 전처리 작업이 필요하게 된다. 따라서 본 논문에서는 OCR 엔진의 정확성 증대를 위해 텍스트 라인별로 이미지를 분리하고, 영상처리 기법 기반의 CLAHE 모듈과 Two-step 모듈을 병렬적으로 수행하여 텍스트와 배경 영역을 효율적으로 분리한 후 텍스트를 인식한다. 이어서 두 모듈의 결과 텍스트에 대하여 N-gram방법과 Hunspell 사전을 결합한 알고리즘으로 인식률을 비교하여 가장 높은 인식률의 결과 텍스트를 최종 결과물로 선정하는 방법론을 제안한다. 대표적인 OCR 엔진인 Tesseract와 Abbyy와의 다양한 비교 실험을 통해 본 연구에서 제안하는 모듈이 복잡한 배경을 가진 이미지에서 가장 정확한 텍스트 인식률을 보임을 보였다.

학습데이터를 이용하여 생성한 규칙과 사전을 이용한 명사 추출기 (A Noun Extractor based on Dictionaries and Heuristic Rules Obtained from Training Data)

  • 장동현;맹성현
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회 및 제1회 형태소 분석기 및 품사태거 평가 워크숍
    • /
    • pp.151-156
    • /
    • 1999
  • 텍스트로부터 명사를 추출하기 위해서 다양한 기법이 이용될 수 있는데, 본 논문에서는 학습 데이터를 이용하여 생성한 규칙과 사전을 이용하는 단순한 모델을 통해 명사를 효과적으로 추출할 수 있는 기법에 대하여 기술한다. 사용한 모델은 기본적으로 명사, 어미, 술어 사전을 사용하고 있으며 명사 추정은 학습 데이터를 통해 생성한 규칙을 통해 이루어진다. 제안한 방법은 복잡한 언어학적 분석 없이 명사 추정이 가능하며, 복합명사 사전을 이용하지 않고 복합 명사를 추정할 수 있는 장점을 지니고 있다. 또한, 명사추정의 주 요소인 규칙이나 사전 등록어의 추가, 갱신 등이 용이하며, 필요한 경우에는 특정 분야의 텍스트 분석을 위한 새로운 사전의 추가가 가능하다. 제안한 방법을 이용해 "제1회 형태소 분석기 및 품사 태거 평가대회(MATEC '99')"의 명사 추출기 분야에 참가하였으며, 본 논문에서는 성능평가 결과를 제시하고 평가결과에 대한 분석을 기술하고 있다. 또한, 현재의 평가기준 중에서 적합하지 않은 부분을 규정하고 이를 기준으로 삼아 자체적으로 재평가한 평가결과를 제시하였다.

  • PDF

자율운항 선박 원격모니터링 방법 및 시험에 관한 연구

  • 옥경석;박규성
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 추계학술대회
    • /
    • pp.67-69
    • /
    • 2022
  • 자율운항 선박의 모니터링을 위한 데이터는 센서신호와 같은 텍스트 형태의 데이터와 이미지와 같은 바이너리 데이터로 나눌수 있다. 선박의 위성 통신환경 특성상 네트워크 속도 및 대역폭이 제한적이므로, 효율적인 전송 방법이 필요하며, 이를 위해서는 고용량의 이미지 데이터를 수집하고 처리하는 과정의 분석과 실제 선박의 데이터 분석이 필요하였다. 이를 토대로 선박의 통신환경을 분석하고 개선방향을 모색하고자 하였다.

  • PDF

오피니언 분류의 감성사전 활용효과에 대한 연구 (A Study on the Effect of Using Sentiment Lexicon in Opinion Classification)

  • 김승우;김남규
    • 지능정보연구
    • /
    • 제20권1호
    • /
    • pp.133-148
    • /
    • 2014
  • 최근 다양한 정보채널들의 등장으로 인해 빅데이터에 대한 관심이 높아지고 있다. 이와 같은 현상의 가장 큰 원인은, 스마트기기의 사용이 활성화 됨에 따라 사용자가 생성하는 텍스트, 사진, 동영상과 같은 비정형 데이터의 양이 크게 증가하고 있는 것에서 찾을 수 있다. 특히 비정형 데이터 중에서도 텍스트 데이터의 경우, 사용자들의 의견 및 다양한 정보를 명확하게 표현하고 있다는 특징이 있다. 따라서 이러한 텍스트에 대한 분석을 통해 새로운 가치를 창출하고자 하는 시도가 활발히 이루어지고 있다. 텍스트 분석을 위해 필요한 기술은 대표적으로 텍스트 마이닝과 오피니언 마이닝이 있다. 텍스트 마이닝과 오피니언 마이닝은 모두 텍스트 데이터를 입력 데이터로 사용할 뿐 아니라 파싱, 필터링 등 자연어 처리기술을 사용한다는 측면에서 많은 공통점을 갖고 있다. 특히 문서의 분류 및 예측에 있어서 목적 변수가 긍정 또는 부정의 감성을 나타내는 경우에는, 전통적 텍스트 마이닝, 또는 감성사전 기반의 오피니언 마이닝의 두 가지 방법론에 의해 오피니언 분류를 수행할 수 있다. 따라서 텍스트 마이닝과 오피니언 마이닝의 특징을 구분하는 가장 명확한 기준은 입력 데이터의 형태, 분석의 목적, 분석의 결과물이 아닌 감성사전의 사용 여부라고 할 수 있다. 따라서 본 연구에서는 오피니언 분류라는 동일한 목적에 대해 텍스트 마이닝과 오피니언 마이닝을 각각 사용하여 예측 모델을 수립하는 과정을 비교하고, 결과로 도출된 모델의 예측 정확도를 비교하였다. 오피니언 분류 실험을 위해 영화 리뷰 2,000건에 대한 실험을 수행하였으며, 실험 결과 오피니언 마이닝을 통해 수립된 모델이 텍스트 마이닝 모델에 비해 전체 구간의 예측 정확도 평균이 높게 나타나고, 예측의 확실성이 강한 문서일수록 예측 정확성이 높게 나타나는 일관적인 성향을 나타내는 등 더욱 바람직한 특성을 보였다.

빅데이터 분석 도구 R 언어를 이용한 비정형 데이터 시각화 (Visualizing Unstructured Data using a Big Data Analytical Tool R Language)

  • 남수태;진금회;신성윤;진찬용
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.151-154
    • /
    • 2021
  • 빅데이터 분석은 데이터 저장소에 저장된 대용량 데이터 속에서 의미 있는 새로운 상관관계, 패턴, 추세를 발견하여 새로운 가치를 창출하는 과정이다. 또한 대부분의 빅데이터 분석 기술 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 이에 해당된다. 그리고 빅데이터 분석 도구인 R언어를 이용하여 전-처리된 텍스트 데이터를 이용하여 다양한 시각화 함수를 통해 분석결과를 표현할 수 있다. 본 연구에서 사용된 데이터는 한국정보통신학회 학회지 논문 중에서 2021년 3월호 논문 21편을 대상으로 분석을 하였다. 최종 분석결과는 가장 많이 언급된 키워드는 "데이터"가 305회로 1위를 차지하였다. 따라서 이러한 분석결과를 바탕으로 연구의 한계와 이론적 실무적 시사점을 제시하고자 한다.

  • PDF

빅데이터 분석 도구 R 언어를 이용한 논문 데이터 시각화 (Visualizing Article Material using a Big Data Analytical Tool R Language)

  • 남수태;신성윤;진찬용
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.326-327
    • /
    • 2021
  • 최근 빅데이터 활용은 매우 다양한 산업 분야에서 광범위하게 관심을 가지고 있다. 빅데이터 분석은 데이터 저장소에 저장된 대용량 데이터 속에서 의미 있는 새로운 상관관계, 패턴, 추세를 발견하여 새로운 가치를 창출하는 과정이다. 또한 대부분의 빅데이터 분석 기술 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 이에 해당된다. 그리고 빅데이터 분석 도구인 R언어를 이용하여 전-처리된 텍스트 데이터를 이용하여 다양한 시각화 함수를 통해 분석결과를 표현할 수 있다. 본 연구에서 사용된 데이터는 특정 학회지 논문 중에서 29편을 대상으로 분석을 하였다. 최종 분석결과는 가장 많이 언급된 키워드는 "연구"가 743회로 1위를 차지하였다. 따라서 이러한 분석결과를 바탕으로 연구의 한계와 이론적 실무적 시사점을 제시하고자 한다.

  • PDF