• 제목/요약/키워드: 웹 콘텐츠 마이닝

검색결과 30건 처리시간 0.026초

휴먼 FTA를 위한 소셜 웹 마이닝 기반 고용정보 서비스의 설계 및 구현 (Design and Implementation of a Employment Information Service based on the Social Web Mining for Human-FTA)

  • 송재오;박용구;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2015년도 춘계 종합학술대회 논문집
    • /
    • pp.419-420
    • /
    • 2015
  • 경제혁신 3개년 계획을 토대로 정부는 2015년 국내 생산가능 인구 감소에 대한 대응을 위해 외국인 인력 유치를 위한 휴먼 FTA를 발효하였다. 기존의 외국인 생산 인력에 대한 단순한 양적 증가뿐만이 아니라 해외로 생산거점을 이동한 국내 기업의 리턴을 유도하기 위해 석박사급의 고급 인력과 투자자 유치 등에 대한 내용도 포함하고 있다. 본 논문에서는 상기와 같은 노동시장의 새로운 제도인 휴먼 FTA에 대한 활성화와 원활한 운영을 위해 세계적으로 많이 사용되고 있는 트위터, 페이스북, 구글 등의 소셜 웹 데이터를 활용하여 국내 기업의 외국인 인력에 대한 고용 매칭을 위한 서비스 플랫폼을 제안한다.

  • PDF

테크놀로지 인텔리전스 서비스의 시각화 요소 평가 -사용자 평가를 통한 효용성 분석- (Usefulness Evaluation on Elements for Visualization of Technology Intelligence Service)

  • 이진희;김태홍;이미경;김진형;정한민;성원경;김도완
    • 한국콘텐츠학회논문지
    • /
    • 제11권12호
    • /
    • pp.533-542
    • /
    • 2011
  • 정보 시각화 요소는 사용자에게 정보를 효율적으로 서비스하기 위한 기술로서, 웹의 진화 과정상에서 그 중요성을 높여가고 있다. 본 연구의 분석 대상인 InSciTe는 대용량의 논문과 특허 데이터를 시맨틱 웹 기술과 텍스트 마이닝 기술을 이용하여 R&D 전략 수립을 지원하는 테크놀로지 인텔리전스 서비스이다. 본 연구에서는 대용량의 논문과 특허 데이터를 대상으로 시맨틱 웹 기술과 텍스트 마이닝 기술을 이용하여 R&D 전략 수립을 지원하는 테크놀로지 인텔리전스 서비스인 InSciTe의 시각화 요소들에 대한 효용성 평가를 수행하고, 각각의 서비스 유형마다 정량적 및 정성적 분석을 통하여 사용자들이 선호하는 디자인과 적용 방법을 제안한다. 효용성 평가 결과, InSciTe 내의 시각화 요소들은 사용자의 인지력을 향상시키기 위하여 사용자 친화적으로 구현되었다는 결론을 얻었다.

의견정보 모니터링을 위한 웹 마이닝 시스템에 관한 연구 (A Study on Web Mining System for Real-Time Monitoring of Opinion Information Based on Web 2.0)

  • 주해종;홍봉화;정복철
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.149-157
    • /
    • 2010
  • 최근에 인터넷 사용이 점차 활발해 짐에 따라, 다른 사람들이 인터넷 상에 올려놓은 의견정보를 참조하고자 하는 수요가 높아지고 있다. 하지만, 이러한인터넷상에존재하는의견들은개개의웹사이트들에만존재하여, 이러한 의견정보들을 사용하고자 할 경우에는 사용자가 일일이 이러한 개개의 모든 웹사이트를 수동으로 찾아보아야 하는 번거로움이 존재하는 문제점이 있다. 본 논문은 웹 콘텐츠에서의 통계기반 웹 마이닝(Web Mining)을 통한 의견 추출 및 분석 시스템에 관한 것으로, 인터넷 상에 존재하는 여러 웹사이트들에 흩어져 있는 웹문서에서 사용자 의견정보들을 자동으로 추출 및 분석한다. 또한, 긍정/부정 의견별로 실시간으로 검색 및 통계를 확인할 수 있는 의견정보 검색 서비스를 간편하게 제공할수 있으며, 의견정보 검색 사용자들은 특정 키워드에 대하여 다른 사용자들의 의견정보를 손쉽게 실시간으로 검색 및 모니터링(Monitoring)할 수 있는 시스템이다. 제안한 기법들은 기존의 다른 기법들과의 비교 실험을 수행하여 실제 성능이 우수함을 증명하였다. 성능 평가는 긍정/부정 의견정보를 추출하는 기능의 성능 평가를 실시하였다. 그 적용 사례로 대표적인 영화 리뷰 문장 실험 데이터를 대상으로 실험하고 그 결과를 분석하였다.

Python을 이용한 SNS 크롤링 시스템 구축 (Building an SNS Crawling System Using Python)

  • 이종화
    • 한국산업정보학회논문지
    • /
    • 제23권5호
    • /
    • pp.61-76
    • /
    • 2018
  • 현대인이 살고 있는 네트워크 세상으로 모든 사물들이 들어오고 있다. 사물에 센서를 부착하는 사물인터넷의 영향으로 인해 네트워크로 실시간 데이터를 주고받는 것이 가능해졌다. 현대인들의 필수품인 모바일 디바이스는 일상생활의 모든 자취를 실시간으로 남기는 역할을 하고 있다. 바로 소셜 네트워크 서비스를 통하여 정보획득 활동과 커뮤니케이션 활동을 실시간으로 거대한 네트워크에 남기고 있는 것이다. 비즈니스 관점에서 고객의 니즈 분석은 바로 SNS 자료에서부터 시작된다는 등가가 성립된다. 본 연구는 웹 환경의 SNS 콘텐츠를 파이썬을 이용하여 실시간으로 자동 수집시스템을 구축하고자 한다. 세계적으로 많은 이용자수를 확보하고 있는 인스타그램, 트위터, 유튜브의 비정형적 데이터 수집 시스템을 통하여 고객의 니즈 분석에 도움이 되고자 한다. 파이썬의 웹드라이버 환경에서 가상 웹브라우저를 이용하여 마이닝 처리와 NLP 과정을 거쳐 DB에 저장된다. 본 연구의 결과 웹페이지를 통하여 서비스를 진행하고자하며 검색 기능만으로 원하는 데이터가 자동 수집되며 데이터의 시계열 분석을 통하여 네티즌의 이슈 반응을 실시간으로 확인할 수 있었다. 또한 검색부터 실행결과가 나오기까지 5초 이내 이루어지므로 제시된 알고리즘의 우수성을 확인하였다.

뉴스 웹 페이지에서 기사 본문 추출에 관한 연구 (A Study on Extracting News Contents from News Web Pages)

  • 이용구
    • 정보관리학회지
    • /
    • 제26권1호
    • /
    • pp.305-320
    • /
    • 2009
  • 웹을 통해 제공되는 뉴스 페이지의 경우 필요한 정보 뿐 아니라 많은 불필요한 정보를 담고 있다. 이러한 불필요한 정보는 뉴스를 처리하는 시스템의 성능 저하와 비효율성을 가져온다. 이 연구에서는 웹 페이지로부터 뉴스 콘텐츠를 추출하기 위해 문장과 블록에 기반한 뉴스 기사 추출 방법을 제시하였다. 또한 이들을 결합하여 최적의 성능을 가져올 수 있는 방안을 모색하였다. 실험 결과, 웹 페이지에 대해 하이퍼링크 텍스트를 제거한 후 문장을 이용한 추출 방법을 적용하였을 때 효과적이었으며, 여기에 블록을 이용한 추출 방법과 결합하였을 때 더 좋은 결과를 가져왔다. 문장을 이용한 추출 방법은 추출 재현율을 높여주는 효과가 있는 것으로 나타났다.

텍스트마이닝을 활용한 연구동향 분석: 소셜네트워크서비스를 중심으로 (Research Trends Investigation Using Text Mining Techniques: Focusing on Social Network Services)

  • 윤혜진;김창식;곽기영
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권3호
    • /
    • pp.513-519
    • /
    • 2018
  • 본 연구의 목적은 소셜네트워크서비스 주제에 관한 연구동향을 조사하는 것이다. 연구의 목적을 달성하기 위해서 웹오브사이언스 데이터베이스에서 제목에 'Social Network Service(SNS)'를 포함하는 1994년부터 2016년까지 출판된 논문 초록 308편을 분석 하였다. 본 연구에서는 텍스트마이닝 기법 중에서 최근 많이 적용되는 토픽모델링기법을 활용하였다. 토픽모델링 분석결과 20개의 토픽(신뢰, 지지, 만족 모델, 조직 지배구조, 모바일 시스템, 인터넷 마케팅, 대학생 효과, 의견 확산, 고객, 정보보호, 건강관리, 웹 협업, 방법, 학습 효과, 지식, 개인 이론, 아동 지지, 알고리즘, 미디어 참여, 문맥 시스템)이 도출되었다. 또한 시계열회귀분석 결과 모든 토픽은 상승 추세로 나타났다.

학회 웹사이트의 토픽 정보추출을 이용한 주제에 따른 학회 자동분류 기법 (Academic Conference Categorization According to Subjects Using Topical Information Extraction from Conference Websites)

  • 이수경;김관호
    • 한국전자거래학회지
    • /
    • 제22권2호
    • /
    • pp.61-77
    • /
    • 2017
  • 최근 온라인상에 게시된 학회정보가 급증함으로써 주제에 따른 학회정보의 자동분류는 연구자들에게 효율적인 관련 학회 탐색을 가능하게 한다. 그러나 대부분의 학회 목록 제공 서비스에서는 학회명칭, 날짜, 위치, URL 등의 정보만 제공하기 때문에 학회 주제를 파악할 수 있는 정보는 학회명칭에 국한된다. 따라서 본 연구에서는 URL을 통한 학회 웹사이트의 토픽정보를 추출함으로써 학회정보량의 부족문제를 해결하고, 동시에 양질의 정보로 학습의 성능을 향상시키는 기법을 제안한다. 구체적으로는 웹사이트 URL을 통해 수집한 HTML 문서로부터 주요 콘텐츠를 추출하고, 학회명칭과 유사한 토픽 키워드 정보를 선정하여 추가 가중치를 부여한다. 실 데이터를 활용한 실험 결과, 제안된 방법인 추가적인 웹 콘텐츠 정보의 사용은 주제에 따른 학회 분류의 성능을 성공적으로 향상시킬 수 있음을 확인하였다. 추후 연구에서는 웹 사이트의 구조를 고려한 토픽 정보추출을 통해 분류의 정확성을 더욱 향상시킬 계획이다.

웹기반 문헌분석 및 생물학적 네트워크 분석시스템 개발 (Web based Text-mining and Biological Network Analysis System)

  • 서동민;조성훈;안광성;유석종;박동일
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2017년도 춘계 종합학술대회 논문집
    • /
    • pp.27-28
    • /
    • 2017
  • 다양한 위상학적 관계(topological relation)를 분석하는 네트워크 분석은 복잡한 데이터에서 숨어있는 특성과 사실을 발견하는 기술로 최근 빅데이터 분야에서 데이터 분석 핵심 기술로 급부상하고 있다. 본 연구에서는 질병연구에 핵심적인 생물학적 네트워크의 생성 및 사용자 친화적인 네트워크 분석시스템을 개발하였다. 개발한 시스템은 PubMed에서 특정 질병과 관련있는 논문 요약 정보를 자동 수집후 텍스트마이닝을 통해 질병 관련 화합물, 유전자 그리고 상호작용 정보를 추출해 생물학적 네트워크를 생성하는 기능을 제공한다. 또한, 연구자가 손쉽게 생성된 네트워크에 대한 검색 및 다차원 분석을 수행할 수 있는 기능을 제공한다. 마지막으로 개발한 시스템의 우수성을 입증하기 위해 크론병(Crohn's Disease)에 대한 적용사례를 소개한다.

  • PDF

점진적인 웹 마이닝을 위한 효율적인 후보패턴 저장 트리구조 및 알고리즘 (An Efficient Candidate Pattern Tree Structure and Algorithm for Incremental Web Mining)

  • 강희성;박병준
    • 전자공학회논문지CI
    • /
    • 제44권1호
    • /
    • pp.71-79
    • /
    • 2007
  • 네트워크 환경의 발전으로 다양한 콘텐츠와 다수의 사용자를 가지는 포탈, 대형 사이트 들이 증가 하게 되었고, 이러한 포털, 대형 사이트의 증가로 인해 서로 다른 성향을 띈 다수의 사용자들이 다양한 경로로 사이트를 이용하게 되었다. 이렇게 다양해진 경로 중에 빈번하게 발생하는 경로를 빈발패턴이라고 하며, 빈발패턴이 될 가능성이 있는 패턴을 후보패턴이라고 한다. 이러한 후보패턴들을 이용해 트리구조를 생성, 추가, 삭제, 검색 하는 것은 마이닝 과정 중의 한 부분으로서, 트리구조 및 알고리즘에 따라 마이닝의 성능에 영향을 미치게 된다. 본 논문에서는 이러한 후보패턴들을 이용하는 마이닝의 성능 향상을 위해 하나의 노드가 다수의 링크를 가지는 기존의 트리 구조와는 달리 하나의 노드가 3개의 링크를 가지고 있고, 각 노드들이 계층구조로 이루어져 있어, 기존의 트리보다 정형화된 구조와 향상된 성능을 보이는 3차원 트리구조 및 생성, 추가, 삭제, 검색 알고리즘을 제안한다.

연구 개발 트렌드 분석을 위한 기술 지식 온톨로지 구축 (Ontology Construction of Technological Knowledge for R&D Trend Analysis)

  • 황미녕;이승우;조민희;김순영;최성필;정한민
    • 한국콘텐츠학회논문지
    • /
    • 제12권12호
    • /
    • pp.35-45
    • /
    • 2012
  • 과학기술 분야 연구자들은 이전 연구와 개발 결과에 대한 조사 연구에 많은 시간을 소비한다. 또한, 연구자들은 유리한 입지를 성공적으로 차지하기 위해 일반적으로 학술 논문, 특허, 최근 연구 동향에 대한 웹 문서 등의 다양한 학술 자원을 분석하여 새롭게 등장하는 연구 주제를 선점하려고 한다. 하지만 키워드 기반의 정보 검색이나 참고문헌 정보에 근거한 연관 문서 추출 방법을 사용해서는 방대한 문헌에서 투자 가능한 연구 주제를 효율적으로 찾는 일이 쉽지 않다. 본 논문에서는 대규모 기술 문헌 자료에서 추출되는 기술, 제품, 연구 주체 간의 의미론적으로 연결된 정보를 효율적으로 생성, 저장하고 활용할 수 있는 방법을 제안한다. 세부적으로 텍스트 마이닝 기술을 활용하여 문헌에서 나타나는 주요 개체들과 연관 관계를 추출하여 시맨틱 웹 환경에 적용 가능한 기술 지식으로 생성하는데 적합한 온톨로지를 구축한다. 이렇게 구축된 온톨로지는 연관 관계를 가진 기술 지식 탐색을 지원하기에 연구 개발 트렌드 예측 및 분석 서비스인 InSciTe Adaptive에 사용되었다.