• 제목/요약/키워드: 정형 데이터

검색결과 728건 처리시간 0.027초

클라우드 환경에서 안전한 PACS 데이터 전송을 위한 AES 암호화 알고리즘 (AES Encryption Algorithm for safe PACS data Transmission in the Cloud Environment)

  • 조영복;우성희;이상호
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 춘계학술대회
    • /
    • pp.759-762
    • /
    • 2017
  • 제안기법은 도래하는 클라우드 환경에서 원격의료 시스템을 위한 PACS에서 전송되는 의료정보의 정형데이터와 비정형 데이터의 안전한 전달을 위해 제안한다. 정형데이터는 의료영상과 같은 민감한 데이터로 AES암호화해 전달하고 비정형데이터는 의료이미지의 일부에서 비식별화를위해 암호화된 모자이크 비식별화기법을 이용해 전달한다. 암호화키의 안전성 평가를 위해 사이즈를 증가해가며 실험한 결과 128비트의 크기가 196, 256의크기로 암호화해도 128키와 큰 차이를 보이지 않음을 증명하였다.

  • PDF

빅데이터 환경에서 기계학습 알고리즘 응용을 통한 보안 성향 분석 기법 (Security tendency analysis techniques through machine learning algorithms applications in big data environments)

  • 최도현;박중오
    • 디지털융복합연구
    • /
    • 제13권9호
    • /
    • pp.269-276
    • /
    • 2015
  • 최근 빅데이터 관련 산업 활성화에 따라 글로벌 보안 업체들은 지능적인 보안 위협 모니터링과 예방을 위해 분석 데이터의 범위를 정형/비정형 데이터로 확대하고, 보안 예방을 목적으로 사용자의 성향 분석 기법을 활용하려는 추세이다. 이는 기존 정형 데이터(기존 수치화 가능한 자료)의 분석 결과에서 추론할 수 있는 정보의 범위가 한정적이기 때문이다. 본 논문은 빅데이터 환경에서 기계학습 알고리즘($Na{\ddot{i}}ve$ Bayes, Decision Tree, K-nearest neighbor, Apriori)을 효율적으로 응용하여 보안 성향(목적 별 항목 분류, 긍정 부정 판단, 핵심 키워드 연관성 분석)을 분석하는데 활용한다. 성능 분석 결과 보안 성향 판단을 위한 보안항목 및 특정 지표를 정형/비정형 데이터에서 추출할 수 있음을 확인하였다.

빅데이터의 국내.외 활용 고찰 및 시사점 (Current Status of Big Data Utilization)

  • 이성훈;이동우
    • 디지털융복합연구
    • /
    • 제11권2호
    • /
    • pp.229-233
    • /
    • 2013
  • 정보기술 및 통신과 관련된 기술들을 융합화하고자 하는 노력들이 지속적으로 이루어지면서 우리주변에는 다양하면서도 수많은 데이터들이 만들어지고 있다. 스마트폰이 일반화 되고 있으며, 태블릿PC와 카메라, 게임기등을 통하여 다양한 비 정형 데이터들이 생성되고 있으며 이러한 데이터들로 인한 데이터 트래픽 또한 급증하는 추세이다. 또한 데이터의 크기와 형태가 다양하고 데이터의 증가 속도가 가파른 이른바 '빅데이터 시대'가 도래하고 있는 것이다. 현재 다양한 분야에서는 이러한 빅데이터를 활용하여 새로운 가치 창출을 이루고자 하고 있다. 본 연구에서는 이러한 빅데이터의 국내/외 활용에 대한 고찰 및 시사점등을 기술하였다.

비정형화 데이터를 활용한 수위예측 알고리즘 개발 : 청담대교 적용 (Development of water elevation prediction algorithm using unstructured data : Application to Cheongdam Bridge, Korea)

  • 이승연;유형주;이승오
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.121-121
    • /
    • 2019
  • 특정 지역에 집중적으로 비가 내리는 현상인 국지성호우가 빈번히 발생함에 따라 하천 주변 사회기반시설의 침수 위험성이 증가하고 있다. 침수 위험성 판단 여부는 주로 수위정보를 이용하며 수위 예측은 대부분 수치모형을 이용한다. 본 연구에서는 빅데이터 기반의 RNN(Recurrent Neural Networks)기법 알고리즘을 활용하여 수위를 예측하였다. 연구대상지는 조위의 영향을 많이 받는 한강 전역을 대상으로 하였다. 2008년~2018년(10개년)의 실제 침수 피해 실적을 조사한 결과 잠수교, 한강대교, 청담대교 등에서 침수 피해 발생률이 높게 나타났고 SNS(Social Network Services)와 같은 비정형화 자료에서는 청담대교가 가장 많이 태그(Tag)되어 청담대교를 연구범위로 설정하였다. 본 연구에서는 Python에서 제공하는 Tensor flow Library를 이용하여 수위예측 알고리즘을 적용하였다. 데이터는 정형화 데이터와 비정형 데이터를 사용하였으며 정형화 데이터는 한강홍수 통제소나 기상청에서 제공하는 최근 10년간의 (2008~2018) 수위 및 강우량 자료를 수집하였다. 비정형화 데이터는 SNS를 이용하여 민간 정보를 수집하여 정형화된 자료와 함께 전체자료를 구축하였다. 민감도 분석을 통하여 모델의 은닉층(5), 학습률(0.02) 및 반복횟수(100)의 최적값을 설정하였고, 24시간 동안의 데이터를 이용하여 3시간 후의 수위를 예측하였다. 2008년~ 2017년 까지의 데이터는 학습 데이터로 사용하였으며 2018년의 수위를 예측 및 평가하였다. 2018년의 관측수위 자료와 비교한 결과 90% 이상의 데이터가 10% 이내의 오차를 나타내었으며, 첨두수위도 비교적 정확하게 예측되는 것을 확인하였다. 향후 수위와 강우량뿐만 아니라 다양한 인자들도 고려한다면 보다 신속하고 정확한 예측 정보를 얻을 수 있을 것으로 기대된다.

  • PDF

정형적 명세를 이용한 웹 프로그램의 테스트 (Testing Web Program Using Formal Specification)

  • 안영희;최은만
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.2115-2118
    • /
    • 2002
  • 이 논문에서는 정형적 명세를 이용하여 테스트 데이터를 추출하는 방법을 제안한다. 복잡하고 구성요소가 다양한 웹 프로그램의 기능을 Object-Z 정형 명세 언어를 이용하여 핵심적으로 나타낸다. 이로부터 상태 모델을 구성하고 최상위 레벨의 STD 에서 세부적으로 STD 를 추가하여 테스트 시나리오를 추출한다. 실험 대상은 웹 뱅킹 업무로 정하고 계좌개설 과정의 테스트 데이터를 추출하였다. 제안한 방법은 사용기반 테스트 기법과 결합하여 웹 소프트웨어의 테스트 자동화에 중요한 요소가 될 것이다.

  • PDF

Spark 프레임워크 기반 비정형 빅데이터 토픽 추출 시스템 설계 (A Design on Informal Big Data Topic Extraction System Based on Spark Framework)

  • 박기진
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.521-526
    • /
    • 2016
  • 온라인상에서 다루어지는 비정형 텍스트 데이터는 대용량이면서 비구조적 형태의 특성을 가지고 있기 때문에, 기존 관계형 데이터 모델의 저장 방식과 분석 방법만으로는 한계가 있다. 더군다나, 동적으로 발생하는 대량의 소셜 데이터를 활용하여 이용자의 반응을 실시간으로 분석하기란 어려운 상황이다. 이에 본 논문에서는 대용량 비정형 데이터(문서)의 의미를 빠르고, 용이하게 파악하기 위하여 데이터 셋에 대한 사전학습 없이, 문서 내 단어 비중에 따라 자동으로 토픽(주제)이 추출되는 시스템을 설계 및 구현하였다. 제안된 시스템의 토픽 모델링에 사용될 입력 단어는 N-gram 알고리즘에 의하여 도출되어 복수 개의 단어도 묶음 처리할 수 있게 했으며, 또한, 대용량 비정형 데이터 저장 및 연산을 위하여 Hadoop과 분산 인메모리 처리 프레임워크인 Spark 기반 클러스터를 구성하여, 토픽 모델 연산을 수행하였다. 성능 실험에서는 TB급의 소셜 댓글 데이터를 읽어 들여, 전체 데이터에 대한 전처리 과정과 특정 항목의 토픽 추출 작업을 수행하였으며, 대용량 데이터를 클러스터의 디스크가 아닌 메모리에 바로 적재 후, 처리함으로써 토픽 추출 성능의 우수성을 확인할 수 있었다.

비정형 텍스트 데이터 정제를 위한 불용어 코퍼스의 활용에 관한 연구 (A Study on the Use of Stopword Corpus for Cleansing Unstructured Text Data)

  • 이원조
    • 문화기술의 융합
    • /
    • 제8권6호
    • /
    • pp.891-897
    • /
    • 2022
  • 빅데이터 분석에서 원시 텍스트 데이터는 대부분 다양한 비정형 데이터 형태로 존재하기 때문에 휴리스틱 전처리 정제와 컴퓨터를 이용한 후처리 정제과정을 거쳐야 분석이 가능한 정형 데이터 형태가 된다. 따라서 본 연구에서는 텍스트 데이터 분석 기법의 하나인 R 프로그램의 워드클라우드를 적용하기 위해서 수집된 원시 데이터 전처리를 통해 불필요한 요소들을 정제하고 후처리 과정에서 불용어를 제거한다. 그리고 단어들의 출현 빈도수를 계산하고 출현빈도가 높은 단어들을 핵심 이슈들로 표현해 주는 워드클라우드 분석의 사례 연구를 하였다. 이번 연구는 R의워드클라우드 기법으로 기존의 불용어 처리 방법인 "내포된 불용어 소스코드" 방법의 문제점을 개선하기 위하여 "일반적인 불용어 코퍼스"와 "사용자 정의 불용어 코퍼스"의 활용 방안을 제안하고 사례 분석을 통해서 제안된 "비정형 데이터 정제과정 모델"의 장단점을 비교 검증하여 제시하고 "제안된 외부 코퍼스 정제기법"을 이용한 워드클라우드 시각화 분석의 실무적용에 대한 효용성을 제시한다.

아파치 스쿱을 사용한 하둡의 데이터 적재 성능 영향 요인 분석 (Analysis of the Influence Factors of Data Loading Performance Using Apache Sqoop)

  • ;고정현;여정모
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권2호
    • /
    • pp.77-82
    • /
    • 2015
  • 빅데이터 기술은 데이터 처리 속도가 빠르다는 면에서 주목을 받고 있다. 그리고 관계형 데이터베이스(Relational Database: RDB)에 저장되어있는 대용량 정형 데이터를 더 빠르게 처리하기 위해서 빅데이터 기술을 활용하는 연구도 진행되고 있다. 다양한 분산 처리 도구들을 사용하여 분석 성능을 측정하는 연구는 많지만 분석하기 전 단계인 정형 데이터 적재의 성능에 관한 연구는 미미하다. 때문에 본 연구에서는 RDB 안에 저장되어있는 정형 데이터를 아파치 스쿱(Apache Sqoop)을 사용하여 분산 처리 플랫폼 하둡(Hadoop)으로 적재하는 성능을 측정하였다. 그리고 적재에 영향을 미치는 요인을 분석하기 위해 여러 가지 영향 요소를 변경해가면서 반복적으로 실험을 수행하였고 RDB 기반으로 구성된 서버 간의 적재 성능과 비교하였다. 실험 환경에서 아파치 스쿱의 적재 속도가 낮았지만 실제 운영하고 있는 대규모 하둡 클러스터 환경에서는 더 많은 하드웨어 자원이 확보되기 때문에 훨씬 더 좋은 성능을 기대할 수 있다. 이는 향후 진행할 적재 성능 개선 및 하둡 환경에서 정형 데이터를 분석하는 전체적인 단계의 성능을 향상시킬 수 있는 방법에 대한 연구의 기반이 될 것으로 예상한다.

의료 비정형 텍스트 비식별화 및 속성기반 유용도 측정 기법 (De-identifying Unstructured Medical Text and Attribute-based Utility Measurement)

  • 노건;전종훈
    • 한국전자거래학회지
    • /
    • 제24권1호
    • /
    • pp.121-137
    • /
    • 2019
  • 비식별화는 데이터셋으로부터 개인정보를 제거함으로써 개인을 식별할 수 없도록 하는 방법으로, 정보를 수집, 가공, 저장, 배포하는 과정에서 발생할 수 있는 개인정보 노출 위험도를 낮추기 위해 사용한다. 그간 비식별화와 관련된 알고리즘, 모델 등의 관점에서 많은 연구가 이루어졌지만, 대부분은 정형 데이터를 대상으로 하는 제한적인 연구로, 비정형 데이터에 대한 고려는 상대적으로 많지 않은 실정이다. 특히 비정형 텍스트가 빈번히 사용되는 의료 분야의 경우에서는 개인 식별 정보들을 단순 제거함으로써 개인정보 노출 위험도는 낮추지만, 그에 따른 데이터 활용성이 떨어지는 점을 감수하는 실정이다. 본 연구는 개인정보 보호 이슈가 가장 중요하고 따라서 비식별화가 활발하게 연구되고 있는 의료분야 데이터 중 비정형 텍스트를 대상으로 k-익명성 보호모델을 적용한 비식별화 수행 방안을 제시하고, 비식별화 결과에 대한 새로운 유용도 측정 기법을 제안하여 이를 통해 직관적으로 데이터 활용성을 판단할 수 있도록 하는 것을 목표로 한다. 따라서 본 연구의 결과물이 의료 분야뿐만 아니라 비정형 텍스트가 활용되는 모든 산업 분야에서 활용될 경우, 개인 식별 정보가 포함된 비정형 텍스트의 활용도를 향상시킬 수 있을 것으로 기대한다.

3차원 환경 복원을 위한 다수 카메라 최적 배치 학습 기법 (Optimal Camera Placement Leaning of Multiple Cameras for 3D Environment Reconstruction)

  • 김주환;조동식
    • 스마트미디어저널
    • /
    • 제11권9호
    • /
    • pp.75-80
    • /
    • 2022
  • 최근 현실감 있는 경험을 제공하기 위한 몰입형 가상현실(VR) 기술에 대한 연구 개발이 활발하게 진행되고 있다. 가상현실 참여자에게 실제와 유사한 실감적인 가상현실 체험을 제공하기 위해서는 실제 현실 공간에 존재하는 환경 및 객체의 정보를 정밀하게 캡처 및 복원하여 가상 환경 시스템의 모델 데이터로 적용한 시스템 구성이 필요하다. 이러한 가상 환경 구성에 필요한 실 데이터를 획득하기 위해서는 다수의 비정형 카메라를 활용한 셋업으로 이루어진다. 하지만, 다수의 비정형 위치의 카메라를 활용해 실제 공간에서의 3차원으로 구성된 정보를 획득할 경우 카메라의 개수 및 위치가 최적화되지 않아 복원의 오류가 발생할 수 있다. 또한, 정밀한 객체 복원을 위해 과도한 양의 비정형 카메라가 배치될 경우 비정형 카메라 배치에 따른 자원의 낭비 또한 발생할 수 있어 적절한 개수의 비정형 카메라가 배치되어야 한다. 본 논문에서는 3차원 공간 데이터를 복원 시 필요한 정보를 얻기 위해 배치되는 다수의 비정형 카메라를 최적화할 수 있는 최적 카메라 배치(Optimal Camera Placement) 학습 기법을 제안한다. 본 논문에서 제안한 방법을 통해 실제 환경 정보 획득 시 정확한 형태의 복원 데이터를 이용하여 가상 환경을 생성하고, 더욱 몰입도 높은 실감형 콘텐츠 시스템을 사용자에게 제공할 수 있다.