• Title/Summary/Keyword: 비정형분석

Search Result 484, Processing Time 0.032 seconds

Invariant Classification and Detection for Cloth Searching (의류 검색용 회전 및 스케일 불변 이미지 분류 및 검색 기술)

  • Hwang, Inseong;Cho, Beobkeun;Jeon, Seungwoo;Choe, Yunsik
    • Journal of Broadcast Engineering
    • /
    • v.19 no.3
    • /
    • pp.396-404
    • /
    • 2014
  • The field of searching clothing, which is very difficult due to the nature of the informal sector, has been in an effort to reduce the recognition error and computational complexity. However, there is no concrete examples of the whole progress of learning and recognizing for cloth, and the related technologies are still showing many limitations. In this paper, the whole process including identifying both the person and cloth in an image and analyzing both its color and texture pattern is specifically shown for classification. Especially, deformable search descriptor, LBPROT_35 is proposed for identifying the pattern of clothing. The proposed method is scale and rotation invariant, so we can obtain even higher detection rate even though the scale and angle of the image changes. In addition, the color classifier with the color space quantization is proposed not to loose color similarity. In simulation, we build database by training a total of 810 images from the clothing images on the internet, and test some of them. As a result, the proposed method shows a good performance as it has 94.4% matching rate while the former Dense-SIFT method has 63.9%.

A Study of improving reliability on prediction model by analyzing method Big data (빅데이터 분석방법을 이용한 예측모형의 신뢰도 향상에 관한 연구)

  • Song, Min-Gu;Kim, Sun-Bae
    • Journal of Digital Convergence
    • /
    • v.11 no.6
    • /
    • pp.103-112
    • /
    • 2013
  • Traditional method of establishing prediction model is usually using formal data stored in Data Base. However, nowadays advent of "smart" era brought by ground-breaking development of communication system makes informal data to dominate overall data, such 80% in total. Therefore, conventional method using formal data as establishing predicting model would be untrustworthy means in present. In other words, it is indispensible to make prediction model credible including informal data(SNS, image, video) and semi-formal data(log data). In this study, we increase credibility of predicting model adapting Bigdata method and comparing reliability of conventional measurement to real-data.

Visualizing Construction Process Linking Process Simulation (프로세스 시뮬레이션을 연계한 건설공정 시각화)

  • Kim, Yeong-Hwan;Jung, Pyung-Ki;Seo, Jong-Won
    • Korean Journal of Construction Engineering and Management
    • /
    • v.7 no.1 s.29
    • /
    • pp.73-79
    • /
    • 2006
  • Even though graphical simulation is very useful for construction planning, the application of graphical simulation has a limitation in dealing with objects without fixed form like earthmoving process. In this case, the mathematical/statistical simulation about the productivity of the whole processes based on the numerical data of working time, waiting time and working capacity of using equipment becomes effective. The mathematical/statistical simulation is not fully utilized in the field of construction due to the difficulties of creating process models and securing trust the numerically expressed results of simulation. In this research, the output of discrete-event simulation programs which are the most common mathematical/statistical simulation tool for construction processes were analyzed for the purpose of earthmoving process visualization. The purpose of this research is to develop a graphical simulation system that can help the construction planner select most suitable equipment and construction methods through the visualize the numerical simulation results of the working time, the queuing time as well as the amount resources etc.

Development of flash flood guidance system for rural area based on deep learning (딥러닝 기반 농촌유역 돌발홍수 예경보 시스템 개발)

  • Ryu, Jeong Hoon;Kang, Moon Seong
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2018.05a
    • /
    • pp.309-309
    • /
    • 2018
  • 기후변화에 따른 강우의 규모와 발생빈도 증가로 농촌유역의 홍수 피해는 지속적으로 증가하고 있다. 하지만 우리나라의 홍수 피해 저감 대책은 도시지역의 대하천 주변으로 집중되어있으며, 소하천 및 농촌유역의 홍수 피해 저감에 대한 관리와 투자 노력은 부족한 실정이다. 특히, 최근 들어 갑작스런 집중호우 등으로 인한 농촌유역 돌발홍수 피해 사례가 증가하고 있으며, 이에 대응하기 위해서는 홍수 발생 등을 신속하게 파악하기 위한 돌발홍수 예경보 시스템 개발이 필요하다. 한편, 최근 산업의 혁신과 생산성 향상을 위한 새로운 패러다임으로 4차 산업혁명이 대두되고 있으며, 빅데이터와 인공지능 (Artificial Intelligence, AI)을 비롯하여 사물인터넷 (Internet of Things, IoT), 드론, 슈퍼컴퓨팅 등의 이른바 4차 산업혁명 기술을 활용한 연구가 수행되고 있다. 본 연구에서는 기후변화에 따른 농촌유역 홍수 피해를 저감하고 또한 사전에 대비하기 위해 빅데이터와 인공지능 등 4차 산업혁명 기술을 적용한 농촌유역 돌발홍수 예경보 시스템을 개발하고 그 적용성을 평가하고자 한다. 우선, 농촌유역의 홍수와 관련된 빅데이터 (기상 자료, 수문 자료, 기후변화 자료, 농업용 수리구조물 자료 등)를 토대로 정형 빅데이터와 비정형 빅데이터를 구분 추출하고 이를 연계 해석할 수 있는 시스템을 개발하였다. 추출한 정형 및 비정형 빅데이터를 활용하여 딥러닝을 기반으로 농촌유역의 홍수를 예측하고 홍수 예경보 기준에 따른 평가를 수행할 수 있는 시스템을 개발하였다. 과거 강우사상을 홍수 예경보 시스템에 적용하여 홍수 모의 결과를 도출하였으며, 재해연보 등과 비교 분석하여 시스템의 적용성을 분석하였다.

  • PDF

Feature-selection algorithm based on genetic algorithms using unstructured data for attack mail identification (공격 메일 식별을 위한 비정형 데이터를 사용한 유전자 알고리즘 기반의 특징선택 알고리즘)

  • Hong, Sung-Sam;Kim, Dong-Wook;Han, Myung-Mook
    • Journal of Internet Computing and Services
    • /
    • v.20 no.1
    • /
    • pp.1-10
    • /
    • 2019
  • Since big-data text mining extracts many features and data, clustering and classification can result in high computational complexity and low reliability of the analysis results. In particular, a term document matrix obtained through text mining represents term-document features, but produces a sparse matrix. We designed an advanced genetic algorithm (GA) to extract features in text mining for detection model. Term frequency inverse document frequency (TF-IDF) is used to reflect the document-term relationships in feature extraction. Through a repetitive process, a predetermined number of features are selected. And, we used the sparsity score to improve the performance of detection model. If a spam mail data set has the high sparsity, detection model have low performance and is difficult to search the optimization detection model. In addition, we find a low sparsity model that have also high TF-IDF score by using s(F) where the numerator in fitness function. We also verified its performance by applying the proposed algorithm to text classification. As a result, we have found that our algorithm shows higher performance (speed and accuracy) in attack mail classification.

Apache Spark and Map Reduce with Performance Analysis using K-Means (K-means를 이용한 아파치 스파크 및 맵 리듀스 성능 분석)

  • Jung, Young-Gyo;Jung, Dong-Young;Song, Jun-Seok;You, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2016.01a
    • /
    • pp.77-78
    • /
    • 2016
  • 빅 데이터의 데이터 수집 및 분석 기술에 대한 연구는 컴퓨터 과학 분야에서 각광 받고 있다. 또한 소셜 미디어로 인한 대량의 비정형 데이터 분석을 요구하는 다양한 분야에 접목되어 효용성을 인정받고 있다. 그러나 빅 데이터 개념을 기반으로 하는 하둡과 스파크는 유즈케이스에 따라 성능이 크게 달라진다는 문제점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 하둡의 맵리듀스를 줄이고 아파치 스파크를 이용한 빅 데이터 분석을 위하여 머신러닝 알고리즘인 K-Means 알고리즘을 이용하여 프로세싱 모델의 성능을 비교한다.

  • PDF

A Study on Traffic Research Retrieval Method using Large Capacity Analysis System (대용량 분석 시스템을 이용한 교통 연구 검색 방법론에 관한 연구)

  • Bae, Jin-Ah;Youn, Cheong
    • Annual Conference of KIPS
    • /
    • 2018.10a
    • /
    • pp.577-580
    • /
    • 2018
  • 지난 몇 년간 우리는 소셜 검색에 몰두하여 연관검색 및 소비자의 만족을 위해 빅데이터 분석을 하였다. 최근에는 빅데이터 분석이라는 흐름에 맞춰 기업 및 기관별 본연의 정보를 통합하여 효율적인 검색을 할 수 있도록 하는 솔루션을 대거 도입하고 있다. 또한 기업 및 기관에서 가지고 있는 정보는 기존 비정형 데이터로 방대하여 기존의 방법이나 도구로 수집 및 저장 분석이 어려운 실정이다. 이에 공공기관 및 민간기업 등에서는 키워드 중심의 다양한 검색엔진을 개발하거나 도입하고 있으며, 정보 분류의 확대, 메타데이터의 활용, 태그정보의 제공, 개인 맞춤형 서비스 등 고객의 만족도를 제고하기 위한 다양한 방법을 시도하고 있다. 본 연구에서는 기관의 교통 연구와 관련한 일련의 작업 중 행정문서, 연구정보, 유관기관 게시물 등의 통합 빅데이터를 가지고 검색시스템을 구현하였다. 이와 더불어 사용자 사전 및 동의어 사전을 통한 검색 키워드를 데이터베이스에 저장하여 검색 효율성을 제고하는 방안을 제시한다.

Sentimental Analysis using the Phoneme-level Embedding Model (음소 단위 임베딩 모형을 이용한 감성 분석)

  • Hyun, Kyeongseok;Choi, Woosung;Jung, Soon-young;Chung, Jaehwa
    • Annual Conference of KIPS
    • /
    • 2019.10a
    • /
    • pp.1030-1032
    • /
    • 2019
  • 형태소 분석을 통하여 한국어 문장을 형태소 단위의 임베딩 및 학습 관련 연구가 되었으나 최근 비정형적인 텍스트 데이터의 증가에 따라 음소 단위의 임베딩을 통한 신경망 학습에 대한 요구가 높아지고 있다. 본 논문은 비정형적인 텍스트 감성 분석 성능 향상을 위해 음소 단위의 토큰을 생성하고 이를 CNN 모형을 기반으로 다차원 임베딩을 수행하고 감성분석을 위하여 양방향 순환신경망 모델을 사용하여 유튜브의 비정형 텍스트를 학습시켰다. 그 결과 텍스트의 긍정 부정 판별에 있어 90%의 정확도를 보였다.

A Study on Web-log Analysis for CRM based on Internet Business (인터넷 비즈니스 기반의 고객관계관리(CRM)을 위한 웹 로그 분석에 관한 연구)

  • Kim, Jae-Hyung;Noh, Hyo-Won;Kim, Nam-Ho;Chong, Jong-Wha
    • Annual Conference of KIPS
    • /
    • 2000.04a
    • /
    • pp.10-15
    • /
    • 2000
  • 개별화 웹 마케팅은 본질적으로 고객지향의 패러다임이다. 즉, 개별 고객의 특수한 니즈를 개별적으로 파악해서 각각의 고객에게 차별화된 서비스를 제공하는 것이 그 핵심이다. 웹 서버의 로그파일에 데이터마이닝의 연관규칙 기술을 이용하게 되면 고객행동 패턴의 파악 및 예측을 위한 기법으로 활용할 수 있다. 본 연구에서는 웹 사용자의 교차 판매를 위한 원투원 마케팅에 필요한 접근패턴을 분석하고자 하며, 이는 웹서버 로그파일 분석을 통하여 이루어진다. 분석하고자 하는 웹서버 로그파일은 기존의 데이터웨어하우스의 원천 데이터들과는 다르게 비정형적인 데이터 구조를 가지고있다. 이들 비정형 데이터 처리와 교차판매 지원을 위한 데이터마이닝 모델링, 이를 통한 원투원 마케팅 모델 제시, 그리고 이의 활용이 고객관계관리(CRM)에 미치는 효과를 제시한다.

  • PDF

Design of Sentence Semantic Model for Cause-Effect Graph Automatic Generation from Natural Language Oriented Informal Requirement Specifications (비정형 요구사항으로부터 원인-결과 그래프 자동 발생을 위한 문장 의미 모델(Sentence Semantic Model) 설계)

  • Jang, Woo Sung;Jung, Se Jun;Kim, R.Young Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.215-219
    • /
    • 2020
  • 현재 한글 언어학 영역에서는 많은 언어 분석 연구가 수행되었다. 또한 소프트웨어공학의 요구공학 영역에서는 명료한 요구사항 정의와 분석이 필요하고, 비정형화된 요구사항 명세서로부터 테스트 케이스 추출이 매우 중요한 이슈이다. 즉, 자연어 기반의 요구사항 명세서로부터 원인-결과 그래프(Cause-Effect Graph)를 통한 의사 결정 테이블(Decision Table) 기반 테스트케이스(Test Case)를 자동 생성하는 방법이 거의 없다. 이런 문제를 해결하기 위해 '한글 언어 의미 분석 기법'을 '요구공학 영역'에 적용하는 방법이 필요하다. 본 논문은 비정형화된 요구사항으로부터 테스트케이스 생성하는 과정의 중간 단계인 요구사항에서 문장 의미 모델(Sentence Semantic Model)을 자동 생성하는 방법을 제안 한다. 이는 요구사항으로부터 생성된 원인-결과 그래프의 정확성을 검증할 수 있다.

  • PDF