• 제목/요약/키워드: 마이그레이션

검색결과 124건 처리시간 0.025초

데이터 레이크 구축을 위한 Apache NiFi기반 ETL 프로세스 (Apache NiFi-based ETL Process for Building Data Lakes)

  • 이경민;이경희;조완섭
    • 한국빅데이터학회지
    • /
    • 제6권1호
    • /
    • pp.145-151
    • /
    • 2021
  • 최근 들어 인간의 모든 활동 영역에서 디지털 데이터가 생성되고 있고 데이터를 안전하게 저장하고 가공하여 유용한 서비스를 개발하려는 시도가 많아지고 있다. 데이터 레이크는 데이터의 출처나 데이터를 활용하는 분석 프레임워크에 독립된 데이터 저장소를 말한다. 본 논문에서는 스마트시티에서 생성되는 다양한 빅데이터를 데이터 레이크에 안전하게 저장하고 서비스에서 활용할 수 있게 ETL 하는 도구와 이를 효과적으로 사용하는데 필요한 웹기반 도구를 설계하고 구현한다. 원천 데이터를 품질검사하고 정제하여 데이터 레이크에 안전하게 저장한 다음 데이터 수명주기 정책에 따라 관리하는 일련의 과정(ETL)은 대부분 비용이 많이 드는 인프라와 개발 및 유지 관리에 상당한 노력이 필요한 기술이다. 구현기술을 통해 IT분야 전문지식이 없어도 가시적이고 효율적으로 ETL 작업 모니터링, 데이터 수명주기 관리 설정과 실행이 가능하다. 이와는 별개로 데이터 레이크에 신뢰할 수 있는 데이터를 저장하고 사용하려면 데이터 품질검사 리스트 가이드가 필요하다. 또한, 데이터 수명주기 관리 도구를 통해 데이터 마이그레이션 및 삭제 주기를 설정하고 예약하여 데이터 관리 비용을 줄일 수 있어야 한다.

전자기록의 장기보존을 위한 보존정보패키지(AIP) 구성과 구조 (The composition and structure of Archival Information Packages(AIP) for a long-term preservation of electronic records)

  • 임진희
    • 기록학연구
    • /
    • 제13호
    • /
    • pp.41-90
    • /
    • 2006
  • 전자기록 시대를 맞아 여러 유형의 생산시스템에서 만들어지는 다양한 전자기록을 일관된 방식으로 입수하여 보존관리하면서 이용자들이 기록의 존재를 쉽게 검색할 수 있게 하고 원하는 내용을 배부해줄 수 있는 유연하면서도 안정적인 전자기록관리시스템을 설계하는 것이 필요하게 되었다. 전자기록관리시스템 설계의 가장 기본이 되는 것이 바로 보존관리되는 과정에서의 기록의 구성과 구조라고 할 수 있다. 이 논문은 3-레이어 접근방식에 따라 전자기록의 개념적 구성과 논리, 물리적 구조를 설계하는 과정을 설명하고 있으며, 이 과정에서 3-레이어 접근방식의 유용성을 보여주고 있다. 이 논문은 디지털 정보객체의 장기보존을 위한 참조모델인 OAIS의 정보 모델을 벤치마킹하여 보존패키지(AIP) 개념을 기록에 적용한 '기록AIP'의 구성과 구조에 대해 논의한다. 개념 레이어에서는 기록AIP를 구성하는 요소들을 메타데이터의 그룹을 식별해내는 작업이 핵심이며 특히 OAIS 정보모델을 통해 기록정보의 서비스를 위해 필요한 메타데이터 그룹을 기록AIP의 구성에 필수적으로 포함해야 한다는 것을 강조하고 있다. 논리 레이어에서는 보존전략(마이그레이션과 에뮬레이션)이 기록AIP의 구조에 미치는 영향과 기록AIP를 인캡슐레이션할 것인지 여부에 따른 구조에 대해 논의한다. 이 논문은 현재의 수준에서 사용할 수 있는 정보통신 기술과 각종 표준을 기준선으로 하여 기록AIP를 어떻게 구성하고 구조화할 수 있는지 논의를 정리하고 있다.

디지털트윈 전시형 콘텐츠 개발을 위한 엔티티 기반 3차원 예술작품 데이터모델링 개선방안 연구 (A Study on the Improvement of Entity-Based 3D Artwork Data Modeling for Digital Twin Exhibition Content Development)

  • 김소진;김찬희;김안나;박현정
    • 스마트미디어저널
    • /
    • 제13권1호
    • /
    • pp.86-100
    • /
    • 2024
  • 최근 문화정책 기반 연구과제 및 공공기업들의 홍보수단으로 가상현실 전시형 콘텐츠 서비스가 적지 않게 제작되고 있다. 특히 시각, 예술, 기록 등 문화자원을 기초로 하는 대부분의 아카이브 자료들이 엔티티 기반 데이터모델링 개념으로 활용되고 있는 점이 두드러진다. 하지만 3차원 예술작품을 데이터화하여 축적하는 일은 결코 쉬운 일이 아니다. 현재 공공기관 메타데이터들의 실태를 살펴보면 오래된 국제표준을 기반으로 구축되었기 때문에 디지털트윈을 개발할 때 자원 디지털화의 부재가 있었다. 기존 시스템의 기능을 뛰어넘는 용량과 속도로 다차원 데이터들을 연결함에 데이터모델링 진화가 불가피하다는 점을 발견하였다. 따라서 우선 선행연구 중에 데이터모델링 설계의 요소들과 개념들을 고찰하였고 가상현실 콘텐츠를 개발할 때 3차원 모델링 데이터들의 마이그레이션을 위해 설계되는 경우 기존에 작성된 메타데이터를 분석하여 3차원 모델링에서 추가되어야만 하는 상위요소들을 개선하는 연구를 하였다. 나아가 본 연구에서는 새롭게 작성된 메타데이터를 데이터모델링 프로세스에 맞게 가상현실 콘텐츠에서 활용되는 과정을 직접 구현하여 가능성을 실증해 보았다. 이를 통해 개발자들이 가상현실 전시콘텐츠 제작에서 시소러스를 어떻게 데이터로 연결하는 과정을 검증하였고 메타데이터를 작성하는 사용자에게는 디지털 요소로 추가되어야 하는 필수요소들을 제안하였다. 향후 본 연구에서 도출된 데이터 방식으로 시각예술기록 및 3차원 모델링 데이터모델링 구조를 점진적으로 발전해 나간다면 앞으로 메타데이터 기반 데이터모델링이 현재보다 유의미해지고 개발자들의 공공데이터 활용성에 대해 더욱 향상할 것을 기대해 본다.

클라우드 환경에서의 ATT&CK 매트릭스 기반 이벤트 로그 분석 프레임워크 (Event Log Analysis Framework Based on the ATT&CK Matrix in Cloud Environments)

  • 김예은;김정아;채시윤;홍지원;김성민
    • 정보보호학회논문지
    • /
    • 제34권2호
    • /
    • pp.263-279
    • /
    • 2024
  • 클라우드 마이그레이션 증가와 함께 클라우드 컴퓨팅 환경에서의 보안 위협도 급증하고 있다. 이에 효율적인 사고조사를 수행하기 위한 로그 데이터 분석의 중요성이 강조되고 있다. 클라우드 환경에서는 서비스 다양성과 간편한 리소스 생성 등의 특성으로 인해 대량의 로그 데이터가 생성된다. 이로 인해 사고 발생 시 어떤 이벤트를 조사해야 하는지 판단하기 어렵고, 방대한 데이터를 모두 확인하려면 상당한 시간과 노력이 필요하다. 따라서 데이터를 효율적으로 조사하기 위한 분석체계가 필요하다. AWS(Amazon Web Services)의 로깅 서비스인 CloudTrail은 계정에서 발생한 모든 API 호출이벤트로그를 수집한다. 그러나 사고 발생 시 어떤 로그를 분석해야 하는지 판단하기 위한 인사이트 제공 역할은 부족하다. 본 논문에서는 Cloud Matrix와 이벤트 정보를 연계하여 사고 조사를 효율적으로 수행할 수 있도록하고, 이를 기반으로 사용자 행위 로그 이벤트의 발생 빈도 및 공격 정보를 동시에 확인할 수 있는 자동화 분석프레임 워크를 제안한다. 이를 통해 ATT&CK Framework를 기반으로 주요 이벤트를 식별하고, 사용자 행위를 효율적으로 파악함으로써 클라우드 사고 조사에 기여할 것으로 기대한다.