• 제목/요약/키워드: data cleansing

검색결과 76건 처리시간 0.027초

SOA 기반 서비스 사이의 오류 데이터 정제 서비스 개발 (Developing dirty data cleansing service between SOA-based services)

  • 지은미;최병주;이정원
    • 정보처리학회논문지D
    • /
    • 제14D권7호
    • /
    • pp.829-840
    • /
    • 2007
  • 현재까지 오류 데이터를 정제하는 기법은 여러 소스로부터 대량의 데이터를 통합하여 데이터베이스에 저장되어 있는 데이터의 품질을 관리함으로써 의미 있는 정보를 추출하기 위함이었다. 급변하는 비즈니스 환경과 무한경쟁 사회에서 지속적으로 생존하려면 환경 변화에 빠르게 대처해야 한다. 최근 시스템의 요구사항이 복잡해짐에 따라 대규모의 분산 시스템을 통합 구축하기 위한 서비스 기반 구조 (Service Oriented Architecture)로 확산되고 있으며, 여기에서도 각 서비스간의 데이터 정제기법을 통한 신뢰성 있는 데이터 교환이 필수적이다. 따라서 본 논문에서는 서비스들이 하나의 시스템으로 통합되는 과정에서 이벤트를 통해 서비스 간에 전송되는 XML데이터의 품질 관리를 수행하여, 이미 통합되어 저장된 데이터베이스 데이터의 오류를 탐지하여 정제하는 것이 아니라 상호 작용하는 서비스간의 데이터 정제에 초점을 두고 SOA를 기반으로 하는 오류 데이터 정제 서비스를 개발한다.

텍스트 데이터 워드클라우드 분석을 위한 데이터 정제기법에 관한 연구 (A Study on Data Cleansing Techniques for Word Cloud Analysis of Text Data)

  • 이원조
    • 문화기술의 융합
    • /
    • 제7권4호
    • /
    • pp.745-750
    • /
    • 2021
  • 비정형 텍스트 데이터의 빅데이터 시각화 분석에서 원시 데이터는 대부분 대용량이고 비정형으로 정제하지 않고 분석기법을 적용할 수 없는 상태이다. 따라서 수집된 원시 데이터는 1차 휴리스틱 정제과정을 통해서 불필요한 데이터들을 제거하고 2차 머시인 정제과정을 통해서 불용어를 제거한다. 그리고 어휘의 빈도수를 계산하여 워드클라우드 기법으로 시각화하고 핵심 이슈들을 추출하여 정보화하고 그 결과를 분석한다. 본 연구에서는 파이썬 워드클라우드에서 외부 불용어 Set(DB)를 사용한 새로운 불용어 정제기법을 제안하고 실무 사례분석을 통하여 이 기법의 문제점과 효용성을 도출한다. 그리고 이 검증 결과를 통해 제안된 정제기법을 적용한 워드클라우드 분석의 실무적용에 대한 효용성을 제시한다.

비정형 텍스트 데이터 정제를 위한 불용어 코퍼스의 활용에 관한 연구 (A Study on the Use of Stopword Corpus for Cleansing Unstructured Text Data)

  • 이원조
    • 문화기술의 융합
    • /
    • 제8권6호
    • /
    • pp.891-897
    • /
    • 2022
  • 빅데이터 분석에서 원시 텍스트 데이터는 대부분 다양한 비정형 데이터 형태로 존재하기 때문에 휴리스틱 전처리 정제와 컴퓨터를 이용한 후처리 정제과정을 거쳐야 분석이 가능한 정형 데이터 형태가 된다. 따라서 본 연구에서는 텍스트 데이터 분석 기법의 하나인 R 프로그램의 워드클라우드를 적용하기 위해서 수집된 원시 데이터 전처리를 통해 불필요한 요소들을 정제하고 후처리 과정에서 불용어를 제거한다. 그리고 단어들의 출현 빈도수를 계산하고 출현빈도가 높은 단어들을 핵심 이슈들로 표현해 주는 워드클라우드 분석의 사례 연구를 하였다. 이번 연구는 R의워드클라우드 기법으로 기존의 불용어 처리 방법인 "내포된 불용어 소스코드" 방법의 문제점을 개선하기 위하여 "일반적인 불용어 코퍼스"와 "사용자 정의 불용어 코퍼스"의 활용 방안을 제안하고 사례 분석을 통해서 제안된 "비정형 데이터 정제과정 모델"의 장단점을 비교 검증하여 제시하고 "제안된 외부 코퍼스 정제기법"을 이용한 워드클라우드 시각화 분석의 실무적용에 대한 효용성을 제시한다.

임상실습 전 간호대학생의 올바른 손씻기와 실천에 대한 지각된 통제행위와 자기효능감의 영향 (Influences of Perceived Behavior Control and Self-efficacy on Proper Hand Cleansing and Hand Washing Practices among Pre-practicum Nursing Students)

  • 박경연
    • 기본간호학회지
    • /
    • 제19권3호
    • /
    • pp.313-321
    • /
    • 2012
  • Purpose: The purpose of the study was to investigate hand washing practice and proper hand cleansing among first and second year nursing students who are prone to be exposed to nosocomial infections, and to identify the influence of perceived behavior control and self-efficacy on hand washing practices and proper hand cleansing. Method: Data for 91 students were collected from a nursing college in a metropolitan city in Korea. Data were analyzed using descriptive, t-test, one way ANOVA, Pearson correlation coefficient, and multiple regression with SPSS/WIN 19.0. Result: The mean score for hand washing practice was 38.35 out of a possible score of 48, and the mean sore for proper hand cleansing was 18.63 out of a possible score of 28. The significant factors affecting student hand washing practice were 'residential type' (p=.016), 'perceived behavior control' (p=.021), and 'self-efficacy' (p=.033) which explained 19.9% of the variance. The significant factors affecting proper hand cleansing by the students were 'perceived behavior control' (p<.001) and 'regular exercise' (p=.026) which explained 29.8% of the variance. Conclusion: These results indicate a need for education programs on hand washing including strategies to improve perceived behavior control and self-efficacy to promote more effective hand washing practices.

비즈니스 서비스간의 오류 정제를 위한 데이터 제약조건 자동 설정 기법 (An Automatic Setting Method of Data Constraints for Cleansing Data Errors between Business Services)

  • 이정원
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권3호
    • /
    • pp.161-171
    • /
    • 2009
  • 본 논문에서는 SOA(Service-Oriented Architecture)를 기반으로 서비스간에 상호 작용하는 데이터의 품질 관리를 위한 오류 정제 서비스를 대상으로 데이터 제약조건 설정 시 인간 개입을 최소화하기 위한 기법을 제안한다. 단, 실세계에서 통용되는 일반적인 데이터를 모두 다루는 것은 불가능하므로 비즈니스 도메인에서 자주 사용되는 CRM(Customer Relationship Management)과 ERP(Enterprise Resource Planning) 서비스와 같이 고객 주문 정보 및 처리에 관련된 데이터를 대상으로 한다. 이를 위해, 컴포지션 되는 서비스간의 상호 작용하는 데이터를 의미적으로 확장하여 확장-엘리먼트 벡터를 생성하고 이를 기반으로 의사결정 트리(decision tree) 학습 방법을 적용하여 제약조건 설정을 자동화하기 위한 규칙 기반 시스템을 구축한다. 이 시스템을 오류정제 서비스에 삽입한 결과, 비즈니스 분야의 공개된 서비스로부터 데이터 학습을 통해 제약조건 설정을 41% 넘게 자동화 할 수 있음을 보였다.

전자적 장세척을 위한 부드러운 장표면 복원 방법 개발 (Development of a Smooth Colon Surface Restoration Method for Electronic Colon Cleansing)

  • 김승환;김동성
    • 대한의용생체공학회:의공학회지
    • /
    • 제32권3호
    • /
    • pp.251-256
    • /
    • 2011
  • Virtual colonoscopy is favored over conventional colonoscopy because its non-invasive procedure can avoid complications that may happen in a conventional approach and because it can cleanse colon electronically instead of uncomfortable conventional colon cleansing. Electronic Colon Cleansing(ECC) has to deal with not only removing tagged fecal material but also recovering Partial Volume Effect(PVE) due to tagging material. This paper proposes an ECC method restoring inherent natural PVE while previous approaches focused only on reducing PVE due to tagged fecal material. The proposed method reduces PVE using 3-dimensional adaptive density correction and then replaces tagged fecal material into air. Next, it generates natural PVE for the replaced air adjacent to soft tissue and finally makes smooth transition of gray values for soft tissue adjacent to the replaced air. The proposed method applied to eleven patient data, and showed promising results.

Detection and Correction Method of Erroneous Data Using Quantile Pattern and LSTM

  • Hwang, Chulhyun;Kim, Hosung;Jung, Hoekyung
    • Journal of information and communication convergence engineering
    • /
    • 제16권4호
    • /
    • pp.242-247
    • /
    • 2018
  • The data of K-Water waterworks is collected from various sensors and used as basic data for the operation and analysis of various devices. In this way, the importance of the sensor data is very high, but it contains misleading data due to the characteristics of the sensor in the external environment. However, the cleansing method for the missing data is concentrated on the prediction of the missing data, so the research on the detection and prediction method of the missing data is poor. This is a study to detect wrong data by converting collected data into quintiles and patterning them. It is confirmed that the accuracy of detecting false data intentionally generated from real data is higher than that of the conventional method in all cases. Future research we will prove the proposed system's efficiency and accuracy in various environments.

SOA에서의 오류 데이터 정제를 위한 서비스 개발 (Developing the SOA-based Dirty Data Cleansing Service)

  • 지은미;최병주;이정원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.649-652
    • /
    • 2007
  • 최근 e-Business 어플리케이션을 통합하기 위한 개념으로 서비스 지향구조 (Service Oriented Architecture)에 기본 원리를 둔 분산 소프트웨어 통합 기술이 널리 확산되고 있다. 따라서 각 서비스간의 데이터 정제기법을 통한 신뢰성 있는 데이터 교환은 필수적 요소로 자리 잡고 있다. 본 논문에서는 시스템에 상호작용 시 교환되는 데이터의 오류를 탐지하고 정제하기 위한 서비스로 사용자의 데이터 제약조건을 결합 시키는 변환 과정, 오류를 탐지하는 탐지과정, 탐지된 오류를 정제하고, 정보를 보여주는 정제과정으로 이루어진 오류 데이터 정제 서비스(DDCS; Dirty Data Cleansing Service)를 구현하고, 이를 이용하여 SOA기반 ESB상에서 통합된 시스템들 간에 상호 작용하는 오류 데이터 정제를 보장하는 서비스를 개발한다.

환자 대장 CT 프로파일을 이용한 전자적 장세척 방법 (An Electronic Colon Cleansing Method using a Patient Colon CT Profile)

  • 김한별;김동성
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권8호
    • /
    • pp.493-500
    • /
    • 2008
  • 가상 대장 내시경을 위해서 환자 대장 CT 프로파일을 이용한 전자적 장세척 방법을 제안한다. 제안된 방법은 관강 영역을 cubic seeded region growing(SRG) 방법을 이용하여 추출하고, 이에 인접한 tagged material(TM)을 제거한다. TM의 경계에서 Air-TM의 partial volume(PV) 효과로 발생한 찌꺼기를 제거하고, TM-soft tissue(ST)의 PVE에 의해서 제거된 ST는 환자 CT 프로파일을 이용해서 복원한다. 제안된 방법을 16명의 가상 내시경 환자 CT 데이타에 적용해서 임상의의 주관적인 평가와 computer-aided diagnosis(CAD)의 정량적 평가에서 매우 고무적인 결과를 획득했다.

혼합물 실험 계획법을 활용한 세정용 계면활성제 혼합물 조성의 최적화 (Optimization of Surfactant Mixture Composition for Cleansing Using Mixture Experiment Design)

  • 송마리아;진병석
    • 공업화학
    • /
    • 제32권5호
    • /
    • pp.574-580
    • /
    • 2021
  • 최고 품질의 클렌징 제품 개발을 위해서 계면활성제 혼합물 조성의 최적화를 시도하였다. 사전실험을 통해 세정력, 기포형성력, 오염률에서 각각 우수한 특성을 나타내는 계면활성제 3종 sodium cocoyl alaninate (SCoA), cocamidopropyl betaine (CPB), decyl glucoside (DG)을 선정하였다. 계면활성제 혼합물의 심플렉스 중심 설계 배열에 따른 실험을 수행하고, 실험에서 얻어진 데이터를 가지고 회귀분석을 실시하였다. 통계적으로 유의미한 반응 표면 모델식을 구하고, 세 개의 반응변수의 동시 최적화 과정을 통해 계면활성제 혼합물의 최적 조성은 SCoA (0.22), CPB (0.78), DG (0.00)으로 구해졌다.