• 제목/요약/키워드: Web text

검색결과 819건 처리시간 0.021초

딥러닝을 활용한 웹 텍스트 저자의 남녀 구분 및 연령 판별 : SNS 사용자를 중심으로 (Authorship Attribution of Web Texts with Korean Language Applying Deep Learning Method)

  • 박찬엽;장인호;이준기
    • 한국IT서비스학회지
    • /
    • 제15권3호
    • /
    • pp.147-155
    • /
    • 2016
  • According to rapid development of technology, web text is growing explosively and attracting many fields as substitution for survey. The user of Facebook is reaching up to 113 million people per month, Twitter is used in various institution or company as a behavioral analysis tool. However, many research has focused on meaning of the text itself. And there is a lack of study for text's creation subject. Therefore, this research consists of sex/age text classification with by using 20,187 Facebook users' posts that reveal the sex and age of the writer. This research utilized Convolution Neural Networks, a type of deep learning algorithms which came into the spotlight as a recent image classifier in web text analyzing. The following result assured with 92% of accuracy for possibility as a text classifier. Also, this research was minimizing the Korean morpheme analysis and it was conducted using a Korean web text to Authorship Attribution. Based on these feature, this study can develop users' multiple capacity such as web text management information resource for worker, non-grammatical analyzing system for researchers. Thus, this study proposes a new method for web text analysis.

빈도 분석을 이용한 HTML 텍스트 추출 (HTML Text Extraction Using Frequency Analysis)

  • 김진환;김은경
    • 한국정보통신학회논문지
    • /
    • 제25권9호
    • /
    • pp.1135-1143
    • /
    • 2021
  • 최근 빅데이터 분석을 위해 웹 크롤러를 이용한 텍스트 수집이 빈번하게 이루어지고 있다. 하지만 수많은 태그와 텍스트로 복잡하게 구성된 웹 페이지에서 필요한 텍스트만을 수집하기 위해서는 웹 크롤러에 빅데이터 분석에 필요한 본문이 포함된 HTML태그와 스타일 속성을 명시해야 하는 번거로움이 있다. 본 논문에서는 HTML태그와 스타일 속성을 명시하지 않고 웹 페이지에서 출현하는 텍스트의 빈도를 이용하여 본문을 추출하는 방법을 제안하였다. 제안한 방법에서는 수집된 모든 웹 페이지의 DOM 트리에서 텍스트를 추출하여 텍스트의 출현 빈도를 분석한 후, 출현 빈도가 높은 텍스트를 제외시킴으로써 본문을 추출하였으며, 본 연구에서 제안한 방법과 기존 방법의 정확도 비교를 통해서 본 연구에서 제안한 방법의 우수성을 검증하였다.

서버 기반 웹 리더 kWebAnywhere의 설계 및 구현 (Design and Implementation of Server-Based Web Reader kWebAnywhere)

  • 윤영선
    • 말소리와 음성과학
    • /
    • 제5권4호
    • /
    • pp.217-225
    • /
    • 2013
  • This paper describes the design and implementation of the kWebAnywhere system based on WebAnywhere, which assists people with severely diminished eye sight and the blind people to access Internet information through Web interfaces. The WebAnywhere is a server-based web reader which reads aloud the web contents using TTS(text-to-speech) technology on the Internet without installing any software on the client's system. The system can be used in general web browsers using a built-in audio function, for blind users who are unable to afford to use a screen reader and for web developers to design web accessibility. However, the WebAnywhere is limited to supporting only a single language and cannot be applied to Korean web contents directly. Thus, in this paper, we modified the WebAnywhere to serve multiple language contents written in both English and Korean texts. The modified WebAnywhere system is called kWebAnywhere to differentiate it with the original system. The kWebAnywhere system is modified to support the Korean TTS system, VoiceText$^{TM}$, and to include user interface to control the parameters of the TTS system. Because the VoiceText$^{TM}$ system does not support the Festival API used in the WebAnywhere, we developed the Festival Wrapper to transform the VoiceText$^{TM}$'s private APIs to the Festival APIs in order to communicate with the WebAnywhere engine. We expect that the developed system can help people with severely diminished eye sight and the blind people to access the internet contents easily.

Web Image Clustering with Text Features and Measuring its Efficiency

  • Cho, Soo-Sun
    • 한국멀티미디어학회논문지
    • /
    • 제10권6호
    • /
    • pp.699-706
    • /
    • 2007
  • This article is an approach to improving the clustering of Web images by using high-level semantic features from text information relevant to Web images as well as low-level visual features of image itself. These high-level text features can be obtained from image URLs and file names, page titles, hyperlinks, and surrounding text. As a clustering algorithm, a self-organizing map (SOM) proposed by Kohonen is used. To evaluate the clustering efficiencies of SOMs, we propose a simple but effective measure indicating the accumulativeness of same class images and the perplexities of class distributions. Our approach is to advance the existing measures through defining and using new measures accumulativeness on the most superior clustering node and concentricity to evaluate clustering efficiencies of SOMs. The experimental results show that the high-level text features are more useful in SOM-based Web image clustering.

  • PDF

의료 웹포럼에서의 텍스트 분석을 통한 정보적 지지 및 감성적 지지 유형의 글 분류 모델 (The Informative Support and Emotional Support Classification Model for Medical Web Forums using Text Analysis)

  • 우지영;이민정
    • 한국IT서비스학회지
    • /
    • 제11권sup호
    • /
    • pp.139-152
    • /
    • 2012
  • In the medical web forum, people share medical experience and information as patients and patents' families. Some people search medical information written in non-expert language and some people offer words of comport to who are suffering from diseases. Medical web forums play a role of the informative support and the emotional support. We propose the automatic classification model of articles in the medical web forum into the information support and emotional support. We extract text features of articles in web forum using text mining techniques from the perspective of linguistics and then perform supervised learning to classify texts into the information support and the emotional support types. We adopt the Support Vector Machine (SVM), Naive-Bayesian, decision tree for automatic classification. We apply the proposed model to the HealthBoards forum, which is also one of the largest and most dynamic medical web forum.

이동 단말을 위한 웹 기반 텍스트 요약 시스템의 설계 및 구현 (Design and Implementation of Web-based Text Summarization System for Mobile Device)

  • 차지은;천승만;박종태
    • 정보처리학회논문지C
    • /
    • 제16C권6호
    • /
    • pp.725-730
    • /
    • 2009
  • 최근에 스마트폰과 같은 소형 이동 단말기의 보급이 확산됨에 따라 이동 단말을 통한 인터넷 웹 접속이 크게 증가하고 있다. 하지만 이동 단말의 작은 화면은 한 번에 웹페이지의 전체 내용을 브라우징 하기에는 어려움이 있다. 본 논문에서 이러한 이동단말의 문제점을 해결하기 위한 웹 기반 텍스트 요약 시스템을 설계 및 구현하였다. 제안된 텍스트 요약 시스템의 특징은 문서의 구문적 특징을 크게 변화시키지 않고 다량의 텍스트가 단락 안에 존재하는 경우에 문서를 요약하여 텍스트 용량을 줄임으로써 웹 브라우징에 있어 데이터 전송량을 줄이고 빠른 접근과 불필요한 데이터의 출력을 최소화할 수 있다. 제안된 시스템의 특징을 구현을 통하여 확인하였다.

콘텐츠 제작방식, 지각된 위험, 미디어 풍부성이 고객만족에 미치는 영향 분석 (Empirical Analysis on the Effect of Design Pattern of Web Page, Perceived Risk and Media Richness to Customer Satisfaction)

  • 박봉원;이중만;이종원
    • 한국콘텐츠학회논문지
    • /
    • 제11권6호
    • /
    • pp.385-396
    • /
    • 2011
  • 인터넷의 웹페이지는 다양한 형태로 존재하지만, 크게 텍스트 중심의 웹페이지, 텍스트와 이미지로 구성된 웹페이지, 그리고 텍스트와 동영상으로 구성된 웹페이지로 구분할 수 있다. 본 연구에서는 콘텐츠 제작방식에 따라서 변하는 소비자들의 지각된 위험 수준과 미디어 풍부성이 미치는 영향을 분석하며, 이들 요인이 고객만족에 미치는 영향을 분석한다. 분석결과, 텍스트 형식의 웹페이지가 텍스트와 이미지 혹은 동영상으로 구성된 웹페이지에 비해서 지각된 위험 중 성능위험, 심리적 위험, 시간 위험 등으로 구성된 개인적 위험을 더 크게 느끼는 것으로 나타났다. 또한, 미디어 풍부성 측면에서는 텍스트와 이미지 혹은 동영상으로 구성된 웹페이지가 텍스트 위주의 웹페이지에 비해서 상징성 및 사회적 실재감이 높은 것으로 조사되었다. 그리고 개인적 위험 및 텍스트 형식의 웹페이지는 고객 만족에 음의 영향을 미치며, 상징성 및 사회적 실재감은 양의 효과를 가진다. 본 연구는 지각된 위험과 미디어 풍부성의 개념을 콘텐츠 제작방식과 연결시킴으로써 기대와는 달리 동영상 콘텐츠가 폭발적으로 성장하지 못한 점에 대해서 규명한데 의의를 둔다.

태그 경로 및 텍스트 출현 빈도를 이용한 HTML 본문 추출 (HTML Text Extraction Using Tag Path and Text Appearance Frequency)

  • 김진환;김은경
    • 한국정보통신학회논문지
    • /
    • 제25권12호
    • /
    • pp.1709-1715
    • /
    • 2021
  • 웹 페이지에서 필요한 텍스트를 정확하게 추출하기 위해 본문이 존재하는 곳의 태그와 스타일 속성을 웹 크롤러에 명시하는 방법은 웹 페이지 구성이 변경될 때마다 본문을 추출하는 로직을 수정해야 하는 문제가 있다. 이러한 문제점을 해결하기 위해 이전 연구에서 제안한 텍스트의 출현 빈도를 분석하여 본문을 추출하는 방법은 웹 페이지의 수집 채널에 따라 성능 편차가 크다는 한계점이 있었다. 따라서 본 논문에서는 텍스트의 출현 빈도뿐만 아니라 웹 페이지의 DOM 트리로부터 추출된 텍스트 노드의 부모 태그 경로를 분석하여 다양한 수집 채널에서 높은 정확도로 본문을 추출하는 방법을 제안하였다.

WCTT: HTML 문서 정형화 기반 웹 크롤링 시스템 (WCTT: Web Crawling System based on HTML Document Formalization)

  • 김진환;김은경
    • 한국정보통신학회논문지
    • /
    • 제26권4호
    • /
    • pp.495-502
    • /
    • 2022
  • 오늘날 웹상의 본문 수집에 주로 이용되는 웹 크롤러는 연구자가 직접 HTML 문서의 태그와 스타일을 분석한 후 수집 채널마다 다른 수집 로직을 구현해야 하므로 유지 관리 및 확장이 어렵다. 이러한 문제점을 해결하려면 웹 크롤러는 구조가 서로 다른 HTML 문서를 동일한 구조로 정형화하여 본문을 수집할 수 있어야 한다. 따라서 본 논문에서는 태그 경로 및 텍스트 출현 빈도를 기반으로 HTML 문서를 정형화하여 하나의 수집 로직으로 본문을 수집하는 웹크롤링 시스템인 WCTT(Web Crawling system based on Tag path and Text appearance frequency)를 설계 및 구현하였다. WCTT는 모든 수집 채널에서 동일한 로직으로 본문을 수집하므로 유지 관리 및 수집 채널의 확장이 용이하다. 또한, 키워드 네트워크 분석 등을 위해 불용어를 제거하고 명사만 추출하는 전처리 기능도 제공한다.

Implementation of a Web-Based Electronic Text for High School's Probability and Statistics Education

  • Choi, Sook-Hee
    • Communications for Statistical Applications and Methods
    • /
    • 제11권2호
    • /
    • pp.329-343
    • /
    • 2004
  • With advancement of computer and network, world wide web(WWW) as a medium of information communication is generalized in many fields. In educational aspect, applications of WWW as alternative media for class teachings or printed matters are increasing. In this article, we demonstrate a web-based electronic text on the 'probability and statistics' which is one of six fields of mathematics in the 7th curriculum. This text places importance on comprehension of concepts of probability and statistics as an applied science.