• Title/Summary/Keyword: 텍스트 수집

Search Result 692, Processing Time 0.027 seconds

On-Device Gender Prediction Framework Based on the Development of Discriminative Word and Emoticon Sets (특징적 단어 및 이모티콘 집합을 활용한 모바일 기기 내 성별 예측 프레임워크)

  • Kim, Solee;Choi, Yerim;Kim, Yoonjung;Park, Kyuyon;Park, Jonghun
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.11
    • /
    • pp.733-738
    • /
    • 2015
  • User demographic information is necessary in order to improve the quality of personalized services such as recommendation systems. Mobile data, especially text data, is known to be effective for prediction of user demographic information. However, mobile text data has privacy issues so that its utilization is limited. In this regard, we introduce an on-device gender prediction framework utilizing mobile text data while minimizing the privacy issue. Discriminative word and emoticon sets of each gender are constructed from web documents written by authors of each gender. After gender prediction is performed by comparing discriminative word and emoticon sets with a user's mobile text data, an ensemble method that combines two prediction results draws a final result. From experiments conducted on real-world mobile text data, the proposed on-device framework shows promising results for gender prediction.

Analysis of Educational Issues through Topic Modeling of National Petitions Text (국민청원글의 토픽 모델링을 통한 교육이슈 분석)

  • Shim, Jaekwoun
    • Journal of The Korean Association of Information Education
    • /
    • v.25 no.4
    • /
    • pp.633-640
    • /
    • 2021
  • Education related issues are social problems in which various groups and situations are intricately linked to each other. It is difficult to find issues by analyzing social phenomena related to education. Korean based text analysis can be analyzed in a quantitative. With the development of text analysis techniques, research results have been recently achieved, and it can be fully utilized to derive educational issues from text data in Korean. In this study, petition articles in the field of childcare/education were collected on the online-board of the Blue House National Petition website, and text analysis was used to derive issues in the education world. The analysis derived 6 topics through Latent Dirichlet Allocation(LDA) among topic modeling techniques. The association rules of major keywords were analyzed and visualized as graphs. In addition to deriving educational issues through the existing questionnaire, it can provide implications for future research directions and policies in that issues can be sufficiently discovered through text-based analysis methods.

A Text Network Analysis of North Korean Library Journal, 『Reference Materials for Librarian』 (북한 도서관잡지 『도서관일군 참고자료』의 텍스트 네트워크 분석)

  • Lee, Seongsin;Kim, Hyunsook;Baek, Sumin;Yoon, Subin;Choi, Jae-Hwang
    • Journal of Korean Library and Information Science Society
    • /
    • v.53 no.3
    • /
    • pp.169-191
    • /
    • 2022
  • The purpose of this study is to attempt a text network analysis for two years of 『Reference Materials for Librarian』 (2016-2017) published by the Library Operation Methodology Research Institute in North Korea. A text network analysis can measure how important a particular word by grasping the connectivity and relationship between words beyond a simple word frequency analysis, and it is also possible to interpret specific social phenomena and derive implications. Frequency, degree centrality, the betweenness centrality, community analysis of the collected words were calculated using NetMiner. As a result, the terms 'users', 'information services', 'information needs', 'information technology', 'social learning', 'computers', 'databases', 'information acquisition', 'information retrieval' and 'librarian' were appeared as important ones in understanding North Korean libraries.

A Study on the Archival Information Services of Economic Policy Using Text Mining Methods: Focusing on Economic Policy Directions (텍스트 마이닝을 활용한 경제정책기록서비스 연구: 경제정책방향을 중심으로)

  • Yeon, Jihyun;Kim, Sungwon
    • Journal of Korean Society of Archives and Records Management
    • /
    • v.22 no.2
    • /
    • pp.117-133
    • /
    • 2022
  • The archival content listed arbitrarily makes it difficult for users to efficiently access the records of major economic policies, especially given that they use it without understanding the required period and context. Using the text mining techniques in the 30-year economic policy direction from 1991 to 2021, this paper derives economic-related keywords and changes that the government mainly dealt with. It collects and preprocesses major economic policies' background, main content, and body text and conducts text frequency, term frequency-inverse document frequency (TF-IDF), network, and time series analyses. Based on these analyses, the following words are recorded in order of frequency: "job(일자리)," "competitive(경쟁력)," and "restructuring(구조조정)." In addition, the relative ratio of "job (일자리)," "real estate(부동산)," and "corporation(기업)," by year was analyzed in terms of chronological order while presenting major keywords mentioned by each government. Based on the results, this study presents implications for developing and broadening the area of archival information services related to economic policies.

Automatic Dictionary Construction of Indonesian Field-Associated Terms by Using Korean Associated Knowledge (한국어의 분야 연상 지식의 추출 방법에 관한 연구)

  • Lee, Sang-Gon
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.205-210
    • /
    • 2016
  • 인간은 문서전체를 읽지 않고 대표적인 단어를 보는 것만으로 정치나 스포츠 등의 분야를 정확히 인지할 수 있다. 문서 전체는 물론 부분 텍스트(단락)에 출현하는 소수의 단어 정보에서 문서의 분야를 정확히 결정하기 위한 분야연상어의 구축은 중요한 연구과제이다. 미리 분야체계를 정의하고, 각 분야에 해당하는 문서를 인터넷이나 서적을 통해 수집한다. 본 논문은 수집 문서의 분야를 정확히 지시하는 분야연상어를 수집하는 방법을 제안한다. 문서의 분야결정 시점을 고려하여 분야연상어의 수준을 정하였다. 인도네시아어의 분야연상어 사전을 자동으로 구축하기 위해 먼저 한국어로 구축한 분야 연상 지식을 추출하는 방법을 제안한다.

  • PDF

Analysis of Judicial Precedent Information related to Debt Recovery based on Deep-Learning (심층 학습 기반의 채권 회수 판례 분석)

  • Kim, Seon-wu;Ji, Sun-young;Choi, Sung-pil
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.373-377
    • /
    • 2018
  • 판례는 재판에 대한 선례로, 법적 결정에 대한 근거가 되는 핵심 단서 중 하나이다. 본 연구에서는 채권회수를 예측하는 서비스 구축을 위한 단서를 추출하기 위해 채권 회수 판례를 수집하여 이를 분석한다. 먼저 채권 회수 판례에 대한 기초 분석을 위하여, 채권 회수 사례와 비회수 사례를 각 20건씩 수집하여 분석하였으며, 이후 대법원 및 법률 지식베이스의 채권 관련 판례 12,457건을 수집하고 채권 회수 여부에 따라 가공하였다. 채권 회수 사례와 비회수 사례를 분류하기 위한 판례 내의 패턴을 분석하여 레이블링하고, 이를 자동 분류할 수 있는 Bidirectional LSTM 기반 심층학습 모델을 구성하여 학습하였다. 채권 관련 판례 가공 기준에 따라 네 가지의 데이터 셋을 구성하였으며, 각 데이터셋을 8:2의 비율로 나누어 실험한 결과, 검증 데이터에 대하여 F1 점수 89.82%의 우수한 성능을 보였다.

  • PDF

Automatic Dictionary Construction of Indonesian Field-Associated Terms by Using Korean Associated Knowledge (한국어의 분야 연상 지식의 추출 방법에 관한 연구)

  • Lee, Sang-Gon
    • Annual Conference on Human and Language Technology
    • /
    • 2016.10a
    • /
    • pp.205-210
    • /
    • 2016
  • 인간은 문서전체를 읽지 않고 대표적인 단어를 보는 것만으로 정치나 스포츠 등의 분야를 정확히 인지할 수 있다. 문서 전체는 물론 부분 텍스트(단락)에 출현하는 소수의 단어 정보에서 문서의 분야를 정확히 결정하기 위한 분야연상어의 구축은 중요한 연구과제이다. 미리 분야체계를 정의하고, 각 분야에 해당하는 문서를 인터넷이나 서적을 통해 수집한다. 본 논문은 수집 문서의 분야를 정확히 지시하는 분야연상어를 수집하는 방법을 제안한다. 문서의 분야결정 시점을 고려하여 분야연상어의 수준을 정하였다. 인도네시아어의 분야연상어 사전을 자동으로 구축하기 위해 먼저 한국어로 구축한 분야 연상 지식을 추출하는 방법을 제안한다.

  • PDF

Design and Implementation of Web Image Picker for Image collection (웹 환경에서의 이미지 수집을 위한 Web Image Picker 설계 및 구현)

  • Lee, Mi-Ran;Cho, Dong-Sub
    • Proceedings of the KIEE Conference
    • /
    • 2003.07d
    • /
    • pp.2648-2650
    • /
    • 2003
  • 웹을 중심으로 인터넷이 발전하면서 웹 기반의 응용 서비스가 계속적으로 개발되고 있고, 대부분의 인터넷 정보들은 웹 페이지 단위로 저작되고 관리되고 있다. 웹 페이지는 일정한 형태인 HTML의 태그로써 나타내어지고, 텍스트뿐만 아니라 그림, 소리, 동영상 등의 여러 가지 미디어를 사용하여 사용자에게 다양한 정보를 제공하고 있다. 본 논문에서는 웹 페이지에서 사용되고 있는 다양한 미디어 중에서도 특히 이미지를 수집하기 위한 Web Image Picker를 제안하고자 한다. 이는 여러 웹 페이지들의 주소를 입력받아 해당 웹 서버에 접속하여 웹 페이지를 가져오고, 가져온 웹 페이지에서 사용된 이미지 태그를 분석한다. 분석된 이미지 정보를 통해 이미지의 사용 횟수를 알 수 있고, 또한 이미지 파일들을 자동으로 수집할 수 있다.

  • PDF

Korean Text Classification Using Randomforest and XGBoost Focusing on Seoul Metropolitan Civil Complaint Data (RandomForest와 XGBoost를 활용한 한국어 텍스트 분류: 서울특별시 응답소 민원 데이터를 중심으로)

  • Ha, Ji-Eun;Shin, Hyun-Chul;Lee, Zoon-Ky
    • The Journal of Bigdata
    • /
    • v.2 no.2
    • /
    • pp.95-104
    • /
    • 2017
  • In 2014, Seoul Metropolitan Government launched a response service aimed at responding promptly to civil complaints. The complaints received are categorized based on their content and sent to the department in charge. If this part can be automated, the time and labor costs will be reduced. In this study, we collected 17,700 cases of complaints for 7 years from June 1, 2010 to May 31, 2017. We compared the XGBoost with RandomForest and confirmed the suitability of Korean text classification. As a result, the accuracy of XGBoost compared to RandomForest is generally high. The accuracy of RandomForest was unstable after upsampling and downsampling using the same sample, while XGBoost showed stable overall accuracy.

  • PDF

Topic Analysis of Papers of JKIICE Using Text Mining (텍스트 마이닝을 이용한 한국정보통신학회 논문지의 주제 분석)

  • Woo, Young Woon;Cho, Kyoung Won;Lee, KwangEui
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2017.10a
    • /
    • pp.74-75
    • /
    • 2017
  • In this paper, we analyzed 3,668 papers of JKIICE from 2007 to 2016 using text mining methods for understanding research fields. We used web scraping programs of Python language for data collection, and utilized topic modeling methods based on LDA algorithm implemented by R language. In the results, we verified that representative research areas of JKIICE could be downsized to 9 areas only by the analysis though the submission areas were 19 areas by 2016.

  • PDF