• 제목/요약/키워드: 텍스트 수집

검색결과 692건 처리시간 0.029초

SNS 텍스트 데이터를 이용한 영화평 분석 (Opinion Mining on Movie Reviews using SNS Text Data)

  • 차소윤;이봉기;이호;위석철;이수원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.441-444
    • /
    • 2012
  • 오늘날 스마트폰의 보급으로 SNS는 급속도로 성장하였고, 매일 엄청난 분량의 텍스트 데이터가 생성되고 있다. 본 연구에서는 다른 매체에 비해 개인의 의견이 좀 더 거침없이 올라오는 SNS의 특징에 주목해 SNS의 텍스트 데이터를 대상으로 하는 평판 분석 기법을 제안한다. 제안 방법은 분석하고자 하는 대상에 대한 SNS 데이터를 수집하여 DB에 저장한 다음, 광고 제거 과정과 자동 띄어쓰기 과정 및 형태소 분석을 거친 후 감성 포함 여부 확인 과정과 극성 분류 과정으로 구성된다. 평판 분석을 위해 본 연구에서는 감성 단어 사전의 쾌-불쾌 수치와 활성화 수치를 사용한다. 분석 결과 모든 문서에 대한 극성 분류 정확도는 55%였고, 감성 포함 여부 확인 과정이 올바르게 수행된 문서에 대한 극성 분류 정확도는 82%였다.

템플릿 기반의 자동 소셜 매거진 및 영상 합성 서비스 (Template-based Auto Social Magazine and Video Creation Service)

  • 이재원;장달원;김미지;김지수;김서율;이종설
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2019년도 하계학술대회
    • /
    • pp.129-132
    • /
    • 2019
  • 최근 자연어 처리 기술에 대한 중요도가 높아지고, 발전 속도가 빨라지면서, 산업 전반에 걸쳐 챗봇에 대한 수요가 증가하고 있다. 본 논문은 챗봇을 이용한 소셜 매거진 생성 및 배포, 그리고 이를 활용하여 사용자에게 텍스트를 음성으로 변환하여 동영상의 형태로 전달해 주는 시스템을 다루고 있다. 챗봇이 사용자 대화를 수집, 분석하여 상황에 맞는 키워드를 추출하고, 중복 콘텐츠 제거, 텍스트 요약 등 일련의 과정을 거쳐 소셜 매거진을 생성 및 배포하는 서비스와, 매거진의 각 콘텐츠를 구성하는 이미지, 텍스트 정보를 가지고 음성 합성, 자막 생성, 영상 효과 등을 이용하여 영상을 합성하는 서비스에 관한 것이다. 본 논문에서 제안한 시스템에 대한 성능은 실험을 통하여 검증하였다.

  • PDF

SOM 기반 웹 이미지 분류에서 고수준 텍스트 특징들의 효과 (The Effectiveness of High-level Text Features in SOM-based Web Image Clustering)

  • 조수선
    • 정보처리학회논문지B
    • /
    • 제13B권2호
    • /
    • pp.121-126
    • /
    • 2006
  • 본 논문에서는 웹 이미지의 분류 효과를 높이기 위해 이미지 자체에서 추출된 저수준의 비주얼 특징뿐만 아니라 이미지와 관련된 텍스트 정보로부터 나온 고수준 시맨틱 특징들을 이용하는 분류 방법을 제안한다. 이 고수준의 텍스트 특징들은 이미지 URL, 파일명, 페이지 타이틀, 하이퍼링크 및 이미지 주변 텍스트로부터 얻어진다. 분류 엔진으로는 Kohonen의 SOM(Self Organizing Map)을 사용한다. 고수준의 텍스트 특징들과 저수준의 비주얼 특징들을 동시에 사용하는 SOM 기반의 이미지 분류에서는 10개의 카테고리로부터 수집된 200개의 테스트 이미지들이 사용되었다. 분류 성능을 평가하기 위해 간단하면서도 새로운 두 가지 척도, 즉 동일 카테고리 이미지들의 산포 정도와 집적 정도를 나타내는 각각의 척도를 정의하고 사용하였다. 실험결과, SOM기반의 웹 이미지 분류에서는 고수준의 텍스트 특징들이 보다 유용한 것임이 밝혀졌다.

자율운항 선박 원격모니터링 방법 및 시험에 관한 연구

  • 옥경석;박규성
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 추계학술대회
    • /
    • pp.67-69
    • /
    • 2022
  • 자율운항 선박의 모니터링을 위한 데이터는 센서신호와 같은 텍스트 형태의 데이터와 이미지와 같은 바이너리 데이터로 나눌수 있다. 선박의 위성 통신환경 특성상 네트워크 속도 및 대역폭이 제한적이므로, 효율적인 전송 방법이 필요하며, 이를 위해서는 고용량의 이미지 데이터를 수집하고 처리하는 과정의 분석과 실제 선박의 데이터 분석이 필요하였다. 이를 토대로 선박의 통신환경을 분석하고 개선방향을 모색하고자 하였다.

  • PDF

IT 인물 관련 텍스트 정보의 효율적인 검색을 위한 Sub-language의 속성 연구 (Studies on the linguistic properties of the IT-People documents for an efficient Information Retrieval)

  • 고승희;김소연;천승미;남지순;김권양;박세영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2007년도 제19회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.241-249
    • /
    • 2007
  • 본 연구는 IT 인물 관련 텍스트 정보의 효율적인 검색을 위하여 문서 내에서 인물과 관련된 정보를 담고 있는 문장들이 어떠한 특징을 가지고 실현되는가를 살펴보고 언어적 속성을 어떻게 구조화하고 형식화할 것인가를 논의하는 것을 목적으로 한다. 언어적 속성 분석을 위해서 전자신문 내에서 인물 관련 코퍼스를 수집하고 이들의 분석을 통해 다음과 같이 문제가 되는 특징들을 확인하였다. 즉 외래어 음차 표기문제, 복합명사 및 명사구 그리고 서술 명사적 표현의 문제 등으로 요약된다. IT라는 특정 영역에 대해 텍스트 내에서의 어휘-통사적 패턴을 분석하고 언어적 특징에 대한 효율적 기술을 위해서는 LGG 부분 문법 그래프 모델을 활용하도록 한다. 본 연구는 특정 영역인 IT 관련 문서에서 자연언어 텍스트를 대상으로 정보 검색할 때 문제가 되는 다양한 언어학적 현상들을 다루며, 향후보다 확장된 영역에서의 효율적 언어 처리에 대한 방법론적 대안을 제시할 수 있을 것으로 기대된다.

  • PDF

대용량 소셜 데이터의 의미 분석을 위한 MapReduce 기반의 분석 모듈 설계 및 구현 (Design and Implementation of an Analysis module based on MapReduce for Large-scalable Social Data)

  • 이혁주;김명진;이한구;윤효근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.357-360
    • /
    • 2011
  • 최근 인터넷과 통신기술, 특히 모바일과 관련된 기술의 급속한 발전으로 소셜 커뮤니케이션 수단으로 대표되는 SNS(Social Networking Service)가 중요한 이슈로 부각되어지고 있다. SNS 서비스 제공시 중요하게 고려되어져야 할 사항은 정확하고 의미 있는 데이터를 통해서 사용자가 원하고 관심 있는 분야의 정보를 어떻게 제공할 것인가에 초점이 맞춰져 있어야 한다. 그러나 최근 폭발적으로 증가되어지고 있는 소셜 데이터 때문에 사용자는 의미 분석이 정확하게 이루어지지 않은 신뢰성이 결여된 소셜 커뮤니케이션 서비스를 제공받고 있다. 이러한 소셜데이터 분석의 문제점을 해결하기 위해서 본 논문에서는 소셜 네트워크 서비스에 필요한 데이터를 수집하고, 클라우드 컴퓨팅 환경에서 수집된 대용량 SNS 데이터의 의미를 분석 할 수 있는 MapReduce 기반의 분석 모듈의 구조를 제안하였다. 제안한 모듈은 의미 분석에 필요한 소셜 데이터를 수집하는 수집 기능과 수집된 소셜데이터의 의미 분석을 수행하는 분석 기능을 포함하고 있다. 수집 기능은 SNS에서 생성되는 텍스트 형태의 데이터를 수집하고 MapReduce를 통해서 데이터를 분석하기 쉽게 적절한 크기로 생성된 파일을 분할한다. 수집된 소셜 데이터의 의미 분석은 기존 TF-IDF 방식에 개선된 Weighted-MINMAX 적용한 알고리즘을 통해서 구현하였다. 개선된 알고리즘은 단어의 중요도를 평가하고, 중요도가 높은 단어로 구성된 의미정보 제공 서비스를 지원한다. 시스템의 성능 평가를 위해서 노드별 데이터 처리시간과 추출 키워드의 정확도를 측정하였다.

효과적인 데이터 수집을 위한 웹 크롤러 개선 및 동적 프로세스 설계 및 구현 (Web crawler Improvement and Dynamic process Design and Implementation for Effective Data Collection)

  • 왕태수;송재백;손다연;김민영;최동규;장종욱
    • 한국정보통신학회논문지
    • /
    • 제26권11호
    • /
    • pp.1729-1740
    • /
    • 2022
  • 근래 정보의 다양성과 활용에 따라 많은 데이터가 생성되었고, 데이터를 수집, 저장, 가공 및 예측 하는 빅데이터 분석의 중요성이 확대되었으며, 필요한 정보만을 수집할 수 있는 능력이 요구되고 있다. 웹 공간은 절반 이상이 텍스트로 이루어져 있고, 유저들의 유기적인 상호작용을 통해 수많은 데이터가 발생한다. 대표적인 텍스트 데이터 수집 방법으로 크롤링 기법이 있으나 데이터를 가져올 수 있는 방법에 치중되어 웹 서버나 관리자를 배려하지 못하는 크롤러가 많이 개발되고 있다. 본 논문에서는 크롤링 과정에서 발생할 수 있는 문제점 및 고려해야 할 주의사항에 대해 살펴보고 효율적으로 데이터를 가져올 수 있는 개선된 동적 웹 크롤러를 설계 및 구현한다. 기존 크롤러의 문제점들을 개선한 크롤러는 멀티프로세스로 설계되어 작업소요 시간이 평균적으로 4배정도 감소하였다.

Biological Pathway정보를 위한 타이오 온톨로지 기반의 XML DB (Bio Ontology-based XML DB for Biological Pathway)

  • 배은진;박승수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
    • /
    • pp.407-409
    • /
    • 2003
  • 최근 바이오인포메틱스 분야는 IT의 발전과 더불어 급속한 발전을 이루어 왔다. 또한 기존의 분자생물학분야의 연구들을 컴퓨터의 첨단 기술을 이용하여 자동화, 전산화하는 것으로 생명정보의 데이터베이스 구축을 시작으로 서열정보의 주석처리 둥이 발전되어 왔다. 또한 분자생물학의 오랜 연구결과들 중 수많은 문헌들을 토대로 한 분석인 텍스트마이닝, 정보추출은 전산학의 방법으로 데이터를 추출, 수집하여 분자생물학 데이터의 양적 팽창을 더욱 가속화하고 있다. 본 논문에서는 수집된 biological Pathway 정보의 효율적인 저장, 재사용 그리고 활용을 위해 바이오 온톨로지 기반의 XML DB를 설계하고자 한다. XML 스키마를 이용해 표현한 온톨로지를 기반으로 다양한 포맷의 생물학 데이터를 수집하고 수집된 데이터들로 XML DB를 구축한 후 Biological Pathway 정보 표현과 재사용. 나아가 생명정보학 응용분야에 활용하려 한다.

  • PDF

생의학 문헌에서의 관계 정보 추출 시스템 (A Relational Information Extraction System from Biomedical Literature)

  • 임준호;임재수;장현철;박수준
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2007년도 학술대회 1부
    • /
    • pp.932-937
    • /
    • 2007
  • 생의학 분야 문헌의 양이 빠르게 증가함에 따라, 생의학 연구자들이 필요로 하는 정보를 얻기가 어렵게 되었다. 이를 해결하기 위해, 인간-컴퓨터 상호작용 분야에서는 생의학 문헌 검색 시스템, 또는 생의학 문헌의 정보 추출 시스템 등에 대한 연구가 진행되고 있다. 본 논문에서는 생의학 문헌으로부터 정보를 자동으로 추출하기 위한 관계정보 추출 시스템에 대해 소개한다. 소개하는 시스템은 크게 요약 수집 모듈, 관계 추출 모듈, 관계 가시화 모듈로 구성되어 있다. 우선, 요약 수집 모듈에서는 특정 주제의 문헌들을 검색 및 수집한다. 그리고, 관계 추출 모듈에서는 수집된 문헌들에 대해서, 단백질/유전자 등의 생물학 개체를 인식하고, 구문분석을 통하여 인식된 개체들 사이의 관계를 추출한다. 마지막으로, 관계 가시화 모듈에서는 추출된 관계를 통합하여 네트워크 형태로 가시화한다. 이 시스템은 생물학 실험 이전의 문헌 기반 타당성 검사, 단백질-단백질 상호작용 또는 특정 질병과 유전자의 조절관계 분석, 또는 대용량 문헌 처리를 통한 패스웨이 데이터베이스 구축 등에 활용될 수 있다.

  • PDF

웹 상의 제품 리뷰 검색 및 분석을 통한 제품 평가 시스템 (Evaluation System using Automated Search and Analysis of Product Reviews on the Web)

  • 강대기
    • 한국IT서비스학회:학술대회논문집
    • /
    • 한국IT서비스학회 2008년도 추계학술대회
    • /
    • pp.431-434
    • /
    • 2008
  • 본 연구에서 우리는 웹 사이트들에서 제품에 대한 사용자들의 리뷰 정보를 수집하고, 수집한 정보들을 분석 및 정련하여 사용자들에게 보이는 서비스에 대해 논하고자 한다. 특정 제품에 대한 리뷰 정보들은 로봇 시스템에 의해 수집되고, 특정 제품에 대한 전체적인 평가 스코어는 두 가지 다른 종류의 스코어들을 고려하여 계산된다. 첫 번째 스코어는 정량적인 스코어(quantitative score)로 각 리뷰들로부터 얻어지는 이른바 별점 값들의 가중 평균값(weighted average)으로 계산된다. 두 번째 스코어는 정성적인 스코어(qualitative score)로, 본 연구에서 제안된 서비스는 각 리뷰들의 텍스트 설명을 자연 언어 처리 기법으로 분석하여 정성적 스코어를 계산한다. 우리는 이러한 스코어 계산 모델에 따라 MP3 플레이어와 Personal Digital Assistant (PDA)에 대해 서비스 시스템 RELLENOS를 설계 및 구현하였다. RELLENOS는 69 개에 달하는 온라인 리뷰 사이트들에서 수집된 정보들을 토대로 정량적인 값과 정성적인 값을 계산하여 서비스를 성공적으로 수행하였다.

  • PDF