• 제목/요약/키워드: Web Text Analysis

검색결과 283건 처리시간 0.026초

Static Analysis Tools Against Cross-site Scripting Vulnerabilities in Web Applications : An Analysis

  • Talib, Nurul Atiqah Abu;Doh, Kyung-Goo
    • 한국소프트웨어감정평가학회 논문지
    • /
    • 제17권2호
    • /
    • pp.125-142
    • /
    • 2021
  • Reports of rampant cross-site scripting (XSS) vulnerabilities raise growing concerns on the effectiveness of current Static Analysis Security Testing (SAST) tools as an internet security device. Attentive to these concerns, this study aims to examine seven open-source SAST tools in order to account for their capabilities in detecting XSS vulnerabilities in PHP applications and to determine their performance in terms of effectiveness and analysis runtime. The representative tools - categorized as either text-based or graph-based analysis tools - were all test-run using real-world PHP applications with known XSS vulnerabilities. The collected vulnerability detection reports of each tool were analyzed with the aid of PhpStorm's data flow analyzer. It is observed that the detection rates of the tools calculated from the total vulnerabilities in the applications can be as high as 0.968 and as low as 0.006. Furthermore, the tools took an average of less than a minute to complete an analysis. Notably, their runtime is independent of their analysis type.

NLP기반 NER을 이용해 소셜 네트워크의 조직 구조 탐색을 위한 협력 프레임 워크 (A Collaborative Framework for Discovering the Organizational Structure of Social Networks Using NER Based on NLP)

  • 프랭크 엘리호데;양현호;이재완
    • 인터넷정보학회논문지
    • /
    • 제13권2호
    • /
    • pp.99-108
    • /
    • 2012
  • 방대한 양의 데이터로부터 정보추출의 정확도를 향상시키기 위한 많은 방법이 개발되어 왔다. 본 논문에서는NER(named entity recognition), 문장 추출, 스피치 태깅과 같은 여러 가지의 자연어 처리 작업을 통합하여 텍스트를 분석하였다. 데이터는 도메인에 특화된 데이터 추출 에이전트를 사용하여 웹에서 수집한 텍스트로 구성하였고, 위에서 언급한 자연어 처리 작업을 사용하여 비 구조화된 데이터로부터 정보를 추출하는 프레임 워크를 개발하였다. 조직 구조의 탐색을 위한 택스트 추출 및 분석 관점에서 연구의 성능을 시뮬레이션을 통해 분석하였으며, 시뮬레이션 결과, 정보추출에서 MUC 및 CoNLL과 같은 다른 NER 분석기 보다 성능이 우수함을 보였다.

Analysis of Impact Between Data Analysis Performance and Database

  • Kyoungju Min;Jeongyun Cho;Manho Jung;Hyangbae Lee
    • Journal of information and communication convergence engineering
    • /
    • 제21권3호
    • /
    • pp.244-251
    • /
    • 2023
  • Engineering or humanities data are stored in databases and are often used for search services. While the latest deep-learning technologies, such like BART and BERT, are utilized for data analysis, humanities data still rely on traditional databases. Representative analysis methods include n-gram and lexical statistical extraction. However, when using a database, performance limitation is often imposed on the result calculations. This study presents an experimental process using MariaDB on a PC, which is easily accessible in a laboratory, to analyze the impact of the database on data analysis performance. The findings highlight the fact that the database becomes a bottleneck when analyzing large-scale text data, particularly over hundreds of thousands of records. To address this issue, a method was proposed to provide real-time humanities data analysis web services by leveraging the open source database, with a focus on the Seungjeongwon-Ilgy, one of the largest datasets in the humanities fields.

임신성 당뇨와 모유수유에 대한 연구 동향 분석: 텍스트네트워크 분석과 토픽모델링 중심 (A study on research trends for gestational diabetes mellitus and breastfeeding: Focusing on text network analysis and topic modeling)

  • 이정림;김영지;곽은주;박승미
    • 한국간호교육학회지
    • /
    • 제27권2호
    • /
    • pp.175-185
    • /
    • 2021
  • Purpose: The aim of this study was to identify core keywords and topic groups in the 'Gestational diabetes mellitus (GDM) and Breastfeeding' field of research for better understanding research trends in the past 20 years. Methods: This was a text-mining and topic modeling study composed of four steps: 1) collecting abstracts, 2) extracting and cleaning semantic morphemes, 3) building a co-occurrence matrix, and 4) analyzing network features and clustering topic groups. Results: A total of 635 papers published between 2001 and 2020 were found in databases (Web of Science, CINAHL, RISS, DBPIA, RISS, KISS). Among them, 3,639 words extracted from 366 articles selected according to the conditions were analyzed by text network analysis and topic modeling. The most important keywords were 'exposure', 'fetus', 'hypoglycemia', 'prevention' and 'program'. Six topic groups were identified through topic modeling. The main topics of the study were 'cardiovascular disease' and 'obesity'. Through the topic modeling analysis, six themes were derived: 'cardiovascular disease', 'obesity', 'complication prevention strategy', 'support of breastfeeding', 'educational program' and 'management of GDM'. Conclusion: This study showed that over the past 20 years many studies have been conducted on complications such as cardiovascular diseases and obesity related to gestational diabetes and breastfeeding. In order to prevent complications of gestational diabetes and promote breastfeeding, various nursing interventions, including gestational diabetes management and educational programs for GDM pregnancies, should be developed in nursing fields.

초록데이터를 활용한 국내외 FTA 연구동향: 2000-2020 (Trends in FTA Research of Domestic and International Journal using Paper Abstract Data)

  • 윤희영;곽일엽
    • 무역학회지
    • /
    • 제45권5호
    • /
    • pp.37-53
    • /
    • 2020
  • This study aims to provide the implications of research development by comparing domestic and international studies conducted on the subject of FTA. To this end, among the papers written during the period from 2000 to July 23, 2020, papers whose title is searched by FTA (Free Trade Agreement) were selected as research data. In the case of domestic research, 1,944 searches from the Korean Citation Index (KCI) and 970 from the Web of Science and SCOPUS were selected for international research, and the research trend was analyzed through keywords and abstracts. Frequency analysis and word embedding (Word2vec) were used to analyze the data and visualized using t-SNE and Scattertext. The results of the analysis are as follows. First, in the top 30 keywords of domestic and international research, 16 out of 30 were found to be the same. In domestic research, many studies have been conducted to analyze the outcomes or expected effects of countries that have concluded or discussed FTAs with Korea, on the other hand there are diverse range of study subjects in international research. Second, in the word embedding analysis, t-SNE was used to visually represent the research connection of the top 60 keywords. Finally, Scattertext was used to visually indicate which keywords were frequently used in studies from 2000 to 2010, and from 2011 to 2020. This study is the first to draw implications for academic development through abstract and keyword analysis by applying various text mining approaches to the FTA related research papers. Further in-depth research is needed, including collecting a variety of FTA related text data, comparing and analyzing FTA studies in different countries.

빅데이터를 활용한 색조화장품의 구매 요인에 관한 연구: 토픽모델링과 Concor 분석을 중심으로 (A Study on the Purchasing Factors of Color Cosmetics Using Big Data: Focusing on Topic Modeling and Concor Analysis)

  • 이은희;배승희
    • 한국응용과학기술학회지
    • /
    • 제40권4호
    • /
    • pp.724-732
    • /
    • 2023
  • 본 연구에서는 코로나 이후 색조화장품 시장의 소비자들의 온라인 관심 정보에 대한 자료 수집을 통하여 색조화장품 정보 검색의 특성과 텍스트 마이닝 분석 결과에 나타난 코로나 이후 색조화장품 시장의 주요 관심정보들을 분석하고자 하였다. 실증분석에서는 "색조화장품" 이라는 단어를 포함하는 뉴스, 블로그, 카페, 웹페이지 등의 모든 문서들을 분석 대상으로 텍스트 마이닝을 수행하였다. 분석 결과 코로나 이후 색조화장품에 대한 온라인 정보 검색은 주로 구매 정보와 피부와 마스크 관련 화장법 등에 관한 정보와 관심 브랜드와 행사 정보 등의 주요 토픽이 주를 이루고 있었다. 결과적으로 코로나 이후 색조화장품 구매자들은 적극적인 온라인 정보 검색을 통하여 제품 가치와 안전성, 가격 혜택, 매장 정보 등의 구매 정보에 더욱 민감하게 될 것이므로 이에 대한 대응전략이 요구된다.

빅데이터를 활용한 골프웨어에 관한 인식 연구 (A Study of Perception of Golfwear Using Big Data Analysis)

  • 이아름;이진화
    • 한국의류산업학회지
    • /
    • 제20권5호
    • /
    • pp.533-547
    • /
    • 2018
  • The objective of this study is to examine the perception of golfwear and related trends based on major keywords and associated words related to golfwear utilizing big data. For this study, the data was collected from blogs, Jisikin and Tips, news articles, and web $caf{\acute{e}}$ from two of the most commonly used search engines (Naver & Daum) containing the keywords, 'Golfwear' and 'Golf clothes'. For data collection, frequency and matrix data were extracted through Textom, from January 1, 2016 to December 31, 2017. From the matrix created by Textom, Degree centrality, Closeness centrality, Betweenness centrality, and Eigenvector centrality were calculated and analyzed by utilizing Netminer 4.0. As a result of analysis, it was found that the keyword 'brand' showed the highest rank in web visibility followed by 'woman', 'size', 'man', 'fashion', 'sports', 'price', 'store', 'discount', 'equipment' in the top 10 frequency rankings. For centrality calculations, only the top 30 keywords were included because the density was extremely high due to high frequency of the co-occurring keywords. The results of centrality calculations showed that the keywords on top of the rankings were similar to the frequency of the raw data. When the frequency was adjusted by subtracting 100 and 500 words, it showed different results as the low-ranking keywords such as J. Lindberg in the frequency analysis ranked high along with changes in the rankings of all centrality calculations. Such findings of this study will provide basis for marketing strategies and ways to increase awareness and web visibility for Golfwear brands.

Adoption of Virtual Technology to the Development of a BIM based PMIS

  • Suh, Bong-Gyo;Lee, Ghang;Yun, Seok-Heon
    • 한국건축시공학회지
    • /
    • 제13권4호
    • /
    • pp.333-340
    • /
    • 2013
  • As construction projects become bigger, PMIS is being used as a project collaboration tool for project participants, owners, designers, inspectors and contractors. As the data type used in PMIS is usually text and most PMIS have no standard information classification system, there is a problem with data usability, such as the capacity for data search and analysis. BIM uses Objects and Properties, and this information might be used for relating with other construction information. As such, BIM technologies can be used with PMIS to enhance the data usability. The web environment is very convenient for multiple users, but the problem is that the data transfer speed is low for big files such as BIM model files. In this study, we suggested a Virtual Technology (VT) application to enhance the performance of BIM data exchange in PMIS, and tested and analyzed its efficiency when it is used to integrate BIM and PMIS in the web environment. The results of the study showed that VT can be used to enhance the efficiency of BIM data exchange in the web environment.

중고거래 어플리케이션 <당근마켓> 리뷰텍스트에 나타난 소비자의 인성 함축단어 텍스트마이닝 분석 (Analysis of Text Mining of Consumer's Personality Implication Words in Review of Used Transaction Application )

  • 정예린;주영애
    • 한국콘텐츠학회논문지
    • /
    • 제21권11호
    • /
    • pp.1-10
    • /
    • 2021
  • 본 연구는 중고거래 어플리케이션 <당근마켓>의 리뷰텍스트에 나타난 소비자의 인성 함축단어의 사용실태를 분석하였다. 데이터 수집은 2021년 5월로부터 과거 6개월간 서울과 경기권을 대상으로 하였다. 이는 웹 크롤러를 개발하여 무작위 추출 총 1368건을 수집 후, 최종 570건을 전처리하여 사용하였다. 결과는 다음과 같다. 첫째, 제품의 상거래 플랫폼임에도 리뷰텍스트의 48.2%는 소비자의 인성 관련 내용이었다. 둘째, 리뷰 텍스트는 긍정적 반응이 주를 이루며 이는 감사라는 키워드를 기반으로 텍스트 네트워크 구조를 형성하였다. 셋째, 소비자 인성을 함축하는 리뷰 텍스트는 소비자의 '대타적 인성'과' 대내적 인성'으로 그룹화되었고, 이는 플랫폼에서 통합적으로 작용하였다. 결론적으로 인성 관련 요인들이 플랫폼 거래 과정의 상호작용에서 중요한 역할을 함을 확인하였고, 앞으로 플랫폼의 서비스 품질에도 소비자의 인성이 경쟁력으로 작용할 것이므로, 이에 대해 다각도에서 연구되어야 할 것임을 제언하였다.

R프로그래밍을 활용한 공유경제의 한국인 집단지성: 텍스트 마이닝 및 시계열 분석 (Korean Collective Intelligence in Sharing Economy Using R Programming: A Text Mining and Time Series Analysis Approach)

  • 김재원;윤유동;정유진;김기연
    • 인터넷정보학회논문지
    • /
    • 제17권5호
    • /
    • pp.151-160
    • /
    • 2016
  • 본 연구의 목적은 최근 창조경제 또는 사회적 경제 관점에서 주목받고 있는 공유경제라는 키워드에 관해 현대 한국인들이 가지고 있는 대중적인 문화 및 사회적 인식, 즉 집단지성의 변화 추세를 조사하는 것이다. 이를 위해, 본 연구는 빅데이터 분석 관점의 텍스트 마이닝 기법을 적용하여 최근 5년 간 사회 문화적 집단지성의 객관적이고 가시적인 연간 변화 및 패턴들을 발견하고 이해하고자 한다. 월드 와이드 웹에서 크롤링(crawling) 기법과 구글링(googling)을 통해 분석에 필요한 2010년부터 2014년까지 축적된 상당한 양의 공유경제를 주제로 한 기존 문헌들의 시계열 웹 메타 데이터를 수집하였다. 결과적으로, 많은 양의 가공되지 않은 공유경제 키워드 관련 원 자료들은 R프로그래밍 분석을 통해 보다 의미 있는 가치 있는 '워드 클라우딩' 형태의 그래프나 그림으로 분석처리 되었다. 아직까지 시기적으로 공유경제에 관해 축적된 자료나 집단지성이 양적으로 미비함에도 불구하고, 본 연구는 지식처리 관점에서 시계열 빅데이터 분석을 수행한 선행연구라는 점에서 의미가 있다. 따라서 본 연구의 결과는 향후 산학 분야에서 공유경제 관련 시장분석과 소비자 행동학 관련 후속 연구들을 위해 1차 자료로서 학문적 시사점을 제공할 수 있다.