• Title/Summary/Keyword: Big data Processing

Search Result 1,063, Processing Time 0.029 seconds

Strengthening Big Data Privacy through homomorphic encryption (동형암호화를 통한 빅데이터 privacy 강화 방안)

  • Oh, Minseok
    • Annual Conference of KIPS
    • /
    • 2018.05a
    • /
    • pp.139-141
    • /
    • 2018
  • 최근 IoT, SNS 등이 확대 되면서 대규모의 빅데이터가 생산되고 있고, 이러한 빅데이터는 AI 등 지능형 기술과 결합하여 다양한 분야의 예측과 의사결정을 지원하며 새로운 가치를 창출하고 있다. 그러나, 이러한 활용에 있어 가장 걸림돌이 되는 것은 빅데이터에 내제되어 있는 개인정보에 대한 위협이다. 본연구에서는 빅데이터에 내제되어 있는 개인정보를 보호하면서도 빅데이터의 효과적인 분석과 활용을 가능하게 할 수 있는 동형암호(homomorphic encryption)을 살펴보고 빅데이터의 프라이버시 강화 방안과 이를 통한 빅데이터의 활용방안에 대해 연구하고 향 후 과제 등에 대해 고찰해 보도록 한다.

Design and Implementation of Paper Classification Systems based on Keyword Extraction and Clustering (키워드 추출과 군집화 기반의 논문 분류 시스템의 설계 및 구현)

  • Lee, Yun-Soo;Pheaktra, They;Lee, Jong-Hyuk;Gil, Joon-Min
    • Annual Conference of KIPS
    • /
    • 2018.05a
    • /
    • pp.48-51
    • /
    • 2018
  • 컴퓨터 및 기술의 발전으로 힘입어 수많은 논문이 오프라인뿐 아니라 온라인으로 발행되고 있고, 새로운 분야들도 계속 생기면서 사용자들은 방대한 논문들 중 자신이 필요로 하는 논문을 검색하거나 분류하기에 많은 어려움을 겪고 있다. 이러한 한계를 극복하기 위해 본 논문에서는 유사 내용의 논문을 분류하고 이를 군집화하는 방법을 제안한다. 제안하는 방법은 TF-IDF를 이용하여 각 논문의 초록으로 부터 대표 주제어를 추출하고, K-means 클러스터링 알고리즘을 이용하여 추출한 TF-IDF 값을 근거로 논문들을 유사 내용의 논문으로 군집화한다.

Energy big data analysis and classification software based on machine learning (부하별 에너지 빅데이터 분석 소프트웨어 시스템)

  • Kang, Jeonghoon;Yoo, June-Jae;Choi, Hyoseop;Lee, Taewoo
    • Annual Conference of KIPS
    • /
    • 2018.05a
    • /
    • pp.54-55
    • /
    • 2018
  • 본 논문은 지속적으로 수집되는 전력량계 데이터를 자동으로 처리, 분석하기 위한 IoT 데이터 기반 자동분석 기법을 제시한다. 에너지 효율을 높이기 위해서는 대상 설비의 관리, 모니터링을 통해 운영을 최적화해야 한다. IoT 기술을 이용하여 에너지 설비 사용 효율을 확인하고, 관리 여부를 판단하는 진단기술을 구현하기 위해서는, IoT 전력량계를 통해 수집된 데이터를 다양한 머신러닝 알고리즘에 입력하여 관리에 필요한 결과 지표를 도출할 수 있어야 한다. 이런 기능을 제공하는 IoT 수집 시스템의 모니터링 및 자동 진단 시스템은 데이터 수집, 분석을 신속하게 수행할 수 있다. 데이터 수집과 고속, 대용량 데이터 저장에 적합한 분산 파일시스템과 고속 시계열 기능을 기반으로 의존도, 유사도 분석실행을 제공하는 고속 전처리 시스템의 특징을 제안한다.

Construction and Performance Evaluation of Standard System for Medical Big Data (의료 빅데이터를 위한 표준화 시스템 구축 및 성능평가)

  • Kim, Seung-Jin;Jeong, Chang-Won;No, Si-Hyeong;Kim, Ji-Eon;Kim, Tae-Hoon;Jun, Hong Yong;Lee, Yun Oh;Yoon, Kwon-Ha
    • Annual Conference of KIPS
    • /
    • 2018.05a
    • /
    • pp.275-276
    • /
    • 2018
  • 본 논문에서는 원광대학교병원 의료정보시스템의 임상데이터를 OHDSI 가 제안하는 공통데이터 모델로 변환하여 표준화 시스템 구축에 대해서 기술한다. 또한, 검색속도 향상을 위해 인덱싱 기법을 적용한 성능평가 결과를 보인다. 구축된 표준화 시스템은 다양한 임상연구에 활용될 것을 기대하고 있다.

Developing Sex Crime Prevention Index Analyzing Big Data and Surrounding Environments (빅데이터 및 환경 분석을 통한 상대적 성범죄예방지수 산출)

  • Song, Mingi;Choi, Ye-Eun;Han, Sung-Jae;Moon, Yoo-Jin
    • Annual Conference of KIPS
    • /
    • 2019.05a
    • /
    • pp.236-238
    • /
    • 2019
  • 이 논문은 서울시를 중심으로 공공 빅데이터 및 환경 분석을 통한 상대적 성범죄예방지수를 산출하기 위하여, 서울시의 법정동 별로 분석하고 그에 따른 위험도를 도출하는 데이터 베이스를 구축하였다. 이 시스템에서 개발한 상대적 성범죄예방지수를 활용하여 정부차원에선 위험도가 높은 지역에 성범죄 예방 자원을 추가 공급할 수 있는 근거 자료가 될 수 있다. 또한 개인 차원에서는 지역별 성범죄의 위험도를 인지하는 것을 넘어서, 실질적으로 주거지를 선택할 때에 유용한 정보로 활용할 수 있다.

Recommender System Development Based on Wine Review Big Data Analysis and Deep Learning (와인 후기 빅 데이터 분석과 딥러닝 기반 추천 시스템 개발)

  • Ji, Hong-Geun;Lee, Tae-Ki
    • Annual Conference of KIPS
    • /
    • 2019.10a
    • /
    • pp.763-766
    • /
    • 2019
  • 최근 사람들의 삶의 질이 향상됨에 따라 기호품인 와인의 수요가 늘어나고 있다. 그러나 와인은 생산하는데 길게는 수십 년이 걸리는 고가의 제품이므로 소비자가 와인과 잘못 구매했을 때의 기회비용이 크다. 본 논문에서는 전문 와인 테이스터 들의 후기 빅 데이터를 활용하여 딥러닝 기반 추천시스템을 개발을 다룬다. 테이스터 들의 후기 빅 데이터에 대해 Apache Pig와 자연어 처리를 통한 전 처리 과정을 수행해 리뷰 별로 특징 벡터를 구성하고, 하이퍼 매개변수 최적화와 조기 종료 기법을 사용해 데이터에 대하여 최적의 딥러닝 분류기를 구성하였다. 마지막으로, 구성된 시스템의 신뢰도를 검증하기 위해서 딥러닝의 정확도와 오차율을 확인하였고 시스템이 추천한 와인을 시각화 이미지와 비교하여 성능을 검증하였다.

A Study on the Automatic Recognition of AI-based Port Documents Using OCR - Based on the application of KNN algorithm- (OCR을 이용한 AI기반 항만서류 자동인식에 관한 연구 -KNN 알고리즘 적용을 중심으로-)

  • Kim, Jong-Eun
    • Annual Conference of KIPS
    • /
    • 2019.10a
    • /
    • pp.872-875
    • /
    • 2019
  • 우리나라의 수출입 화물 물량의 대부분은 항만을 통해 처리되고 있으며, 취급화물의 다양성과 선박의 대형화로 주변 국가들의 항만간 경쟁으로 심화되면서 항만 비용의 증가로 발생되고 있다. 이는 항만업무의 효율화와 생산성의 증가로 비용 감소효과를 바라볼 수 있는데, 4차 산업혁명의 주요 기술인 인공지능(OCR, AI알고리즘, 머신러닝, RPA등)의 기술 적용으로 개선할 수 있다. 본 연구에서는 이와 관련된 실질적 항만업무와 관련된 기술을 적용하여 업무의 효율화와 생산성 증가의 기술적 검증을 통해 항만의 경쟁력 강화와 국가 물류발전의 기술적 향상을 도모하고자 한다.

A Study on the Development of disposal income estimation model (가처분 소득 추정 모델 개발에 관한 연구)

  • Lim, SungJun;Lim, HeuiSeok
    • Annual Conference of KIPS
    • /
    • 2019.10a
    • /
    • pp.798-801
    • /
    • 2019
  • 역사적으로 생명 보험은 상호부조의 형태로 갑작스럽게 어려운 상황이 발생하여도 경제적 어려움으로부터 가정을 지키는 역할을 해 왔다. 이는 평상 시에 만약의 경우를 대비하여 일정 비용을 지불함으로써 한 가정의 보장을 잘 준비하였기 때문이다. 하지만 한 가정의 경제적 상황은 지속적으로 변하기 때문에 시간이 지남에 따라 청약 당시의 보장 상태가 적절히 유지되고 있음을 확신할 수 없게 된다. 따라서 본 연구에서는 가처분 소득 추정 모델 개발을 통해 기존에 생명보험에 가입한 고객의 가처분 소득을 추정함으로써 고객에게 적절한 보장 강화의 기회를 제공하도록 한다.

Voice Recognition Speech Correction Application Using Big Data Analysis (빅데이터 분석을 활용한 음성 인식 스피치 교정 애플리케이션)

  • Kim, Han-Kyeol;Kim, Do-Woo;Lim, Sae-Myung;Hong, Du-Pyo
    • Annual Conference of KIPS
    • /
    • 2019.10a
    • /
    • pp.533-535
    • /
    • 2019
  • 최근 청년 실업률의 증가에 따른 취업 경쟁이 날이 갈수록 심해지고 있다. 채용과정에서 면접의 비중을 높이는 기업도 갈수록 증가하고 있다. 또한 대기업에서는 면접의 객관성을 확보하기 위해 AI 면접을 도입했다. 이러한 면접의 도입으로 인해 취업 준비생들의 면접 준비에 드는 비용 부담이 증가하였다. 최근 AI분야에서 음성 인식과 자연어 처리에 대한 개발이 활발히 이루어지고 있다. 본 논문은 녹음된 면접 음성을 음성 인식 기술 중 STT(Speech To Text) 와 TTS(Text To Speech)를 활용하여 면접의 음성을 문자로, 면접 질문의 문장을 음성으로 변환한다. 또한 자연어 처리 및 감성어 사전(KNU)을 활용하여 면접 문장의 형태소 분석하고 긍정 및 부정 단어별 정보를 시각화 하여 나타낼 수 있게 구현하였다.

A Method of Grouping Features from Big Data based on Semantic Hierarchy for Accuracy Enhancement (빅데이터 환경에서 학습 정확도 향상을 위한 의미 계층 기반 속성 집단화 기법)

  • Lee, Keonsun;Lee, Keonsoo;Kang, Byeong-G
    • Annual Conference of KIPS
    • /
    • 2019.10a
    • /
    • pp.892-894
    • /
    • 2019
  • 빅데이터 기반의 기계학습은 대규모 데이터를 이용하여, 숨겨진 패턴을 찾아내는 학습과정과, 그렇게 찾아낸 패턴을 이용하여 새로운 데이터를 해석하는 추론과정으로 이루어진다. 이 과정을 통해 학습된 패턴은 데이터를 구성하는 속성들과 긴밀한 연관성을 갖고 있다. 학습에 사용된 데이터의 원 데이터를 구성하는 각각의 속성과 추론 결과가 동일한 계층 관계를 갖고 있다면, 모든 속성을 동일하게 처리할 수 있지만, 그렇지 않은 경우, 속성들 사이의 계층 정보를 고려하는 것이, 추론 결과의 정확도를 높일 수 있다. 이에 본 연구에서는 속성들 사이의 계층 관계를 고려한 추론 기법을 제안하고, 사례연구를 통해 제안 방법을 실제 상황에 적용하는 방법을 제시한다.