• 제목/요약/키워드: Data Analysis and Search

검색결과 1,786건 처리시간 0.031초

Robustness, Data Analysis, and Statistical Modeling: The First 50 Years and Beyond

  • Barrios, Erniel B.
    • Communications for Statistical Applications and Methods
    • /
    • 제22권6호
    • /
    • pp.543-556
    • /
    • 2015
  • We present a survey of contributions that defined the nature and extent of robust statistics for the last 50 years. From the pioneering work of Tukey, Huber, and Hampel that focused on robust location parameter estimation, we presented various generalizations of these estimation procedures that cover a wide variety of models and data analysis methods. Among these extensions, we present linear models, clustered and dependent observations, times series data, binary and discrete data, models for spatial data, nonparametric methods, and forward search methods for outliers. We also present the current interest in robust statistics and conclude with suggestions on the possible future direction of this area for statistical science.

A comparison of three design tree based search algorithms for the detection of engineering parts constructed with CATIA V5 in large databases

  • Roj, Robin
    • Journal of Computational Design and Engineering
    • /
    • 제1권3호
    • /
    • pp.161-172
    • /
    • 2014
  • This paper presents three different search engines for the detection of CAD-parts in large databases. The analysis of the contained information is performed by the export of the data that is stored in the structure trees of the CAD-models. A preparation program generates one XML-file for every model, which in addition to including the data of the structure tree, also owns certain physical properties of each part. The first search engine is specializes in the discovery of standard parts, like screws or washers. The second program uses certain user input as search parameters, and therefore has the ability to perform personalized queries. The third one compares one given reference part with all parts in the database, and locates files that are identical, or similar to, the reference part. All approaches run automatically, and have the analysis of the structure tree in common. Files constructed with CATIA V5, and search engines written with Python have been used for the implementation. The paper also includes a short comparison of the advantages and disadvantages of each program, as well as a performance test.

메타데이터 기반 순위 알고리즘을 활용한 데이터셋 검색 시스템 (Dataset Search System Using Metadata-Based Ranking Algorithm)

  • 최우영;전종훈
    • 방송공학회논문지
    • /
    • 제27권4호
    • /
    • pp.581-592
    • /
    • 2022
  • 최근 빅데이터 활용에 대한 요구사항이 증대됨에 따라 데이터 분석에 필요한 데이터셋 검색 기술에 관한 관심 또한 늘어나고 있다. 데이터셋 검색을 위해서는 일반 문서 검색과는 달리 데이터셋에 대한 메타데이터에 대한 활용도를 높여야 함에도 불구하고 이를 적극적으로 활용하는 검색 시스템에 관한 연구는 미미한 실정이다. 본 논문에서는 데이터셋의 메타데이터를 색인하고 이를 기반으로 데이터셋 검색을 수행하는 새로운 데이터셋 전용 검색 시스템을 제안한다. 데이터셋 검색결과에 부여하는 순위는 데이터셋 고유의 특성을 반영한 알고리즘을 새로이 고안하여 적용하며, 분석에 필요한 융합 가능한 데이터셋 여러 건을 한꺼번에 검색할 수 있도록 원천 질의에 의해 검색된 데이터셋과 연관 관계에 있는 추가 데이터셋을 검색하는 기능을 제공한다.

2대 포털사이트 빅데이터를 이용한 한방관련 키워드 분석 (An Analysis of Key Words Related to Traditional Korean Medicine Using Big Data of Two Search Engines)

  • 안정윤;금가정;장아령;송지청
    • 한국의사학회지
    • /
    • 제30권2호
    • /
    • pp.45-61
    • /
    • 2017
  • Objectives : This research aims to investigate the consumer's interest in the Korean Medicine (KM) industry by using Google-trends and Naver-Data lab. A quick and uncomplicated way for those who are already involved with KM industry but do not have expertise in utilizing Big-data searches, is introduced. Methods : 'Direct keyword' was set by FGI (Focus Group Interview) and 'Detailed keyword' was set by using relevant word search and autocomplete search functions in the search engine. By inquiring Naver-Data lab, keyword search volumes are compared by age and sex, date range, and originating region of the researcher. It is possible to determine whether the data is reliable or authentic through examining the associated query. Selected direct keywords used through FGI (Focus Group Interview) were 'Acupuncture', 'Herbal Medicine', 'Cupping', 'Musculoskeletal Disease', 'Diet', and 'Stemina'. Based on these keywords, the following results were derived from the keyword analysis. Results : From August 2016, there was a noticeable surge of interest in men's 'Cupping'. The search for 'Diet' increased in the second quarter of 2016 from all ages. The search volume of 'Stemna' for individuals in their 20s is higher than that of those in their 30s or 40s'. Researchers from the region of Chungcheongbuk-do had a higher level of interest in analgesics and less interest in Korean Medicine. There is a greater interest in the KM market from European countries and America, than from Korea, China, and other Asian countries. Discussion : Despite the limitations of the research, it is meaningful to introduce a quick and easy data search method to compare information by age, sex, and region. Conclusion : The future of research into Korea Medicine and this market is confirmed by our data results which indicate interest from Europe, the United States, and other western countries, but less interest from Korea, China and other Asian countries.

다차원 텍스트 큐브를 이용한 호텔 리뷰 데이터의 다차원 키워드 검색 및 분석 (Multi-Dimensional Keyword Search and Analysis of Hotel Review Data Using Multi-Dimensional Text Cubes)

  • 김남수;이수안;조선화;김진호
    • 정보화연구
    • /
    • 제11권1호
    • /
    • pp.63-73
    • /
    • 2014
  • 웹의 발달로 텍스트 등으로 이루어진 비정형 데이터의 활용에 대한 관심이 높아지고 있다. 웹상에서 사용자들이 작성한 대부분의 비정형 데이터는 사용자의 주관이 담겨져 있어 이를 적절히 분석할 경우 사용자의 취향이나 주관적인 관점 등의 아주 유용한 정보를 얻을 수 있다. 이 논문에서는 이러한 비정형 텍스트 문서를 다양한 차원으로 분석하기 하는데 OLAP(온라인 분석 처리)의 다차원 데이터 큐브 기술을 활용한다. 다차원 데이터 큐브는 간단한 문자나 숫자 형태의 정형적인 데이터에 대해 다차원 분석하는데 널리 사용되었지만, 텍스트 문장으로 이루어진 비정형 데이터에 대해서는 활용되지 않았다. 이러한 텍스트 데이터베이스에 포함된 정보를 다차원으로 분석하기 위한 방법으로 텍스트 큐브 모델이 최근에 제안되었는데, 이 텍스트 큐브는 정보 검색에서 널리 사용하는 용어 빈도수(Term Frequency)와 역 인덱스(Inverted Index)를 측정값으로 이용하여 텍스트 데이터베이스에 대한 다차원 분석을 지원한다. 이 논문에서는 이러한 다차원 텍스트 큐브를 활용하여 실제 서비스되고 있는 호텔 정보 공유 사이트의 리뷰 데이터 분석에 활용하였다. 이를 위해 호텔 리뷰 데이터에 대한 다차원 텍스트 큐브를 생성하였으며, 이를 이용하여 다차원 키워드 검색 기능을 제공하여 사용자 중심의 의미있는 정보 검색이 가능한 시스템을 설계 및 구현하였다. 또한, 본 논문에서 제안하는 시스템에 대해 다양한 실험을 수행하였으며 이를 통해 제안된 시스템의 실효성을 검증하였다.

시멘틱 웹 환경에서의 개인화 검색 (Personalized Search Service in Semantic Web)

  • 김제민;박영택
    • 정보처리학회논문지B
    • /
    • 제13B권5호
    • /
    • pp.533-540
    • /
    • 2006
  • 웹에 분산된 모든 윈 페이지는 구조가 서로 다르다. 시멘틱 웹 환경은 이형적인 구조를 갖는 웹 페이지들의 메타데이터 바탕으로 시멘틱 검색이 가능하다. 그러나 일반적으로 사용자의 요구에 따른 시멘틱 김색은 상황에 따라 엄청난 수의 검색 결과를 내놓는다. 따라서 검색 결과에 대해 각 사용자에 맞는 검색 결과 순위를 적용할 필요가 있다. Culture Finder는 시멘틱 웹 검색 에이전트들이 개인화 된 문화 정보를 검색할 수 있도록 도움을 준다. Culture Finder는 웹에 존재하는 각 웹 페이지에 대한 메타 데이터를 작성하고, 시멘틱 검색을 이행하며 사용자 프로파일을 기반으로 삼아 검색 결과에 대한 순위 점수를 계산한다. Culture Finder에는 개인화 된 시멘틱 검색을 효율적으로 실행하기 위해 중요한 5가지 기법이 적용되었다. 사용자의 검색 행위로부터 사용자 프로파일을 생성하기 위한 기계 학습기법, 시멘틱 웹 검색 에이전트를 위한 효율적인 시멘틱 검색 기법, 사용자 질의의 효과적인 파악을 위한 질의 분석 기법, 각 사용자에게 적합한 검색 결과를 제공하기 위한 순위 적용 기술, 메타데이터를 생성하기 위한 상위 온톨로지 표현 방법, 본 논문에서는 Culture Finder의 구조를 통해서 시멘틱 개인화 검색에 대한 기법을 제안한다.

실루엣을 적용한 그룹탐색 최적화 데이터클러스터링 (Group Search Optimization Data Clustering Using Silhouette)

  • 김성수;백준영;강범수
    • 한국경영과학회지
    • /
    • 제42권3호
    • /
    • pp.25-34
    • /
    • 2017
  • K-means is a popular and efficient data clustering method that only uses intra-cluster distance to establish a valid index with a previously fixed number of clusters. K-means is useless without a suitable number of clusters for unsupervised data. This paper aimsto propose the Group Search Optimization (GSO) using Silhouette to find the optimal data clustering solution with a number of clusters for unsupervised data. Silhouette can be used as valid index to decide the number of clusters and optimal solution by simultaneously considering intra- and inter-cluster distances. The performance of GSO using Silhouette is validated through several experiment and analysis of data sets.

CSR·CSV·ESG 연구 동향 분석 - 빅데이터 분석을 중심으로 - (Analysis of CSR·CSV·ESG Research Trends - Based on Big Data Analysis -)

  • 이은지;문재영
    • 품질경영학회지
    • /
    • 제50권4호
    • /
    • pp.751-776
    • /
    • 2022
  • Purpose: The purpose of this paper is to present implications by analyzing research trends on CSR, CSV and ESG by text analysis and visual analysis(Comprehensive/ Fields / Years-based) which are big data analyses, by collecting data based on previous studies on CSR, CSV and ESG. Methods: For the collection of analysis data, deep learning was used in the integrated search on the Academic Research Information Service (www.riss.kr) to search for "CSR", "CSV" and "ESG" as search terms, and the Korean abstracts and keyword were scrapped out of the extracted paper and they are organize into EXCEL. For the final step, CSR 2,847 papers, CSV 395 papers, ESG 555 papers derived were analyzed using the Rx64 4.0.2 program and Rstudio using text mining, one of the big data analysis techniques, and Word Cloud for visualization. Results: The results of this study are as follows; CSR, CSV, and ESG studies showed that research slowed down somewhat before 2010, but research increased rapidly until recently in 2019. Research have been found to be heavily researched in the fields of social science, art and physical education, and engineering. As a result of the study, there were many keyword of 'corporate', 'social', and 'responsibility', which were similar in the word cloud analysis. Looking at the frequent keyword and word cloud analysis by field and year, overall keyword were derived similar to all keyword by year. However, some differences appeared in each field. Conclusion: Government support and expert support for CSR, CSV and ESG should be activated, and researches on technology-based strategies are needed. In the future, it is necessary to take various approaches to them. If researches are conducted in consideration of the environment or energy, it is judged that bigger implications can be presented.

수색 드론을 활용한 대규모 지역 공간정보 구축 및 활용방안에 관한 연구 (A study on the establishment and utilization of large-scale local spatial information using search drones)

  • 이상범
    • 융합신호처리학회논문지
    • /
    • 제23권1호
    • /
    • pp.37-43
    • /
    • 2022
  • 최근 군사용에서 산업용으로 확대되고 있는 4차 산업 기술 중 하나인 드론은 경찰청의 수색 임무에서 적극적으로 활용되고 실종자를 발견함으로써 광범위한 지역에 관한 관심과 대규모의 수색 인력의 투입을 감소시키고 있다. 그러나 경찰의 드론 운용의 법률적 검토가 지속적으로 필요하고 관련 운영에 대한 시스템의 고도화와 수색기법과 연계된 촬영 이미지 분석의 중요성도 동시에 증가하고 있다. 본 연구에서는 정밀 수색 및 모니터링 개념에서 기록, 보존, 모니터링이 원활하기 위해서는 영상 데이터 기반의 수색이 아닌 사진 기반으로 공간정보를 구축하여 정밀 수색이 수행되면 효율성이 높고 골든타임 확보가 가능하다. 따라서 피사체의 크기에 따라 불필요한 공간정보 완성률을 조절하여 결과 데이터 용량을 감소시키는 공간정보 구축 기법을 제안하고자 한다. 이를 통해 대규모 지역에 대한 드론 수색 임무의 활용 범위를 고도화하고 경찰 수색의 드론 운용 매뉴얼 구축을 위한 기초자료로 활용하고자 한다.

공간의 시각적 이해과정에 나타난 성별 주시특성에 관한 연구 (A Study on Observation Characteristics by Sex shown in the process of Visual Appreciation of Space)

  • 김종하
    • 한국실내디자인학회논문집
    • /
    • 제22권5호
    • /
    • pp.152-161
    • /
    • 2013
  • This study is about the visual appreciation by sex with the analysis of time range of observing data which was got through observation experiment with the space of lobby in hospitals. The observation data of the subjects who observed the space include the frequency and time, through which the process of visual appreciation could be evaluated with the definition of the frequency and the time of observation. First, the fact that men had higher frequency of observation than women means the former had more movement than the latter, and another fact of their fewer times can be understood as the time of their staying was shorter. That is, even though the men had more movements of sight, they showed the feature of staying shorter. Second, the rate high and low of observation frequency and times made it possible for observation characteristics to be defined as 'intensive search' 'active search' 'fixed concentration' and 'search wandering.' The definition of understanding this process of visual appreciation can be available for a frame of effective analysis of observation characteristics according to the passage of time. Third, the intense search is the case of 'high frequency' having the feature of high visual appreciation owing to the active visual actions for acquiring information. Men were found to have more intense search which decreased gradually as time passed, while women showed the feature of many times of intense search. Fourth, it was found that with many observation data in a certain range of time the subjects had fixed concentration, where women were found to have repetitive fixed concentration along with the change of observation time while men were seen to have more observation tendency for fixed concentration. Fifth, at the cross tabulation of frequency and times, men had the feature of dispersed visual appreciation while women had more distinction between fixation and movement, which revealed that there is surely the difference between men and women in the process of visual appreciation.