• 제목/요약/키워드: MLOps

검색결과 7건 처리시간 0.026초

MLOps workflow language and platform for time series data anomaly detection

  • Sohn, Jung-Mo;Kim, Su-Min
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권11호
    • /
    • pp.19-27
    • /
    • 2022
  • 본 연구에서는 시계열 데이터 이상 탐지 수행을 위한 MLOps(Machine Learning Operations) 워크플로를 기술하고 관리할 수 있는 언어와 플랫폼을 제안한다. 시계열 데이터는 IoT 센서, 시스템 성능 지표, 사용자 접속량 등 많은 분야에서 수집되고 있다. 또한, 시스템 모니터링 및 이상 탐지 등 많은 응용 분야에 활용 중이다. 시계열 데이터의 예측 및 이상 탐지를 수행하기 위해서는 분석된 모델을 빠르고 유연하게 운영 환경에 적용할 수 있는 MLOps 플랫폼이 필요하다. 이에, 최근 데이터 분석에 많이 활용되고 있는 Python 기반의 AMML(AI/ML Modeling Language)을 개발하여 손쉽게 MLOps 워크플로를 구성하고 실행할 수 있도록 제안한다. 제안하는 AI MLOps 플랫폼은 AMML을 이용하여 다양한 데이터 소스(R-DB, NoSql DB, Log File 등)에서 시계열 데이터를 추출, 전처리 및 예측을 수행할 수 있다. AMML의 적용 가능성을 검증하기 위해, 변압기 오일 온도 예측 딥러닝 모델을 생성하는 워크플로를 AMML로 구성하고 학습이 정상적으로 수행됨을 확인하였다.

연합학습시스템에서의 MLOps 구현 방안 연구 (The Study on the Implementation Approach of MLOps on Federated Learning System)

  • 홍승후;이강윤
    • 인터넷정보학회논문지
    • /
    • 제23권3호
    • /
    • pp.97-110
    • /
    • 2022
  • 연합학습은 학습데이터의 전송없이 모델의 학습을 수행할 수 있는 학습방법이다. IoT 혹은 헬스케어 분야는 사용자의 개인정보를 다루는 만큼 정보유출에 민감하여 시스템 디자인에 많은 주의를 기울여야 하지만 연합학습을 사용하는 경우 데이터가 수집되는 디바이스에서 데이터가 이동하지 않기 때문에 개인정보 유출에 자유로운 학습방법으로 각광받고 있다. 이에 따라 많은 연합학습 구현체가 개발되었으나 연합학습을 사용하는 시스템의 개발과 운영을 위한 시스템 설계에 관한 구체적인 연구가 부족하다. 본 연구에서는 연합학습을 실제 프로젝트에 적용하여 IoT 디바이스에 배포하고자 할 때 연합학습의 수명주기, 코드 버전 관리, model serving, 디바이스 모니터링에 대한 대책이 필요함을 보이고 이러한 점을 보완해주는 개발환경에 대한 설계를 제안하고자 한다. 본 논문에서 제안하는 시스템은 중단 없는 model-serving을 고려하였고 소스코드 및 모델 버전 관리와 디바이스 상태 모니터링, 서버-클라이언트 학습 스케쥴 관리기능을 포함한다.

악성코드 대응을 위한 신뢰할 수 있는 AI 프레임워크 (Trustworthy AI Framework for Malware Response)

  • 신경아;이윤호;배병주;이수항;홍희주;최영진;이상진
    • 정보보호학회논문지
    • /
    • 제32권5호
    • /
    • pp.1019-1034
    • /
    • 2022
  • 4차 산업혁명의 초연결사회에서 악성코드 공격은 더욱 기승을 부리고 있다. 이러한 악성코드 대응을 위해 인공지능기술을 이용한 악성코드 탐지 자동화는 새로운 대안으로 주목받고 있다. 그러나, 인공지능의 신뢰성에 대한 담보없이 인공지능을 활용하는 것은 더 큰 위험과 부작용을 초래한다. EU와 미국 등은 인공지능의 신뢰성 확보방안을 강구하고 있으며, 2021년 정부에서는 신뢰할 수 있는 인공지능 실현 전략을 발표했다. 정부의 인공지능 신뢰성에는 안전과 설명가능, 투명, 견고, 공정의 5가지 속성이 있다. 우리는 악성코드 탐지 모델에 견고를 제외한 안전과, 설명가능, 투명, 공정의 4가지 요소를 구현하였다. 특히 외부 기관의 검증을 통해 모델 정확도인 일반화 성능의 안정성을 입증하였고 투명을 포함한 설명가능에 중점을 두어 개발하였다. 변화무쌍한 데이터에 의해 학습이 결정되는 인공지능 모델은 생명주기 관리가 필요하다. 이에 인공지능 모델을 구성하는 데이터와 개발, 서비스 운영을 통합하는 MLOps 프레임워크에 대한 수요가 늘고 있다. EXE 실행형 악성코드와 문서형 악성코드 대응 서비스는 서비스 운영과 동시에 데이터 수집원이 되고, 외부 API를 통해 라벨링과 정제를 위한 정보를 가져오는 데이터 파이프라인과 연계하도록 구성하였다. 클라우드 SaaS 방식과 표준 API를 사용하여 다른 보안 서비스 연계나 인프라 확장을 용이하게 하였다.

서비스형 엣지 머신러닝 기술 동향 (Trend of Edge Machine Learning as-a-Service)

  • 나중찬;전승협
    • 전자통신동향분석
    • /
    • 제37권5호
    • /
    • pp.44-53
    • /
    • 2022
  • The Internet of Things (IoT) is growing exponentially, with the number of IoT devices multiplying annually. Accordingly, the paradigm is changing from cloud computing to edge computing and even tiny edge computing because of the low latency and cost reduction. Machine learning is also shifting its role from the cloud to edge or tiny edge according to the paradigm shift. However, the fragmented and resource-constrained features of IoT devices have limited the development of artificial intelligence applications. Edge MLaaS (Machine Learning as-a-Service) has been studied to easily and quickly adopt machine learning to products and overcome the device limitations. This paper briefly summarizes what Edge MLaaS is and what element of research it requires.

MLOps를 위한 효율적인 AI 모델 드리프트 탐지방안 연구 (A Study on Efficient AI Model Drift Detection Methods for MLOps)

  • 이예은;이태진
    • 인터넷정보학회논문지
    • /
    • 제24권5호
    • /
    • pp.17-27
    • /
    • 2023
  • 오늘날 AI(Artificial Intelligence) 기술이 발전하면서 실용성이 증가함에 따라 실생활 속 다양한 응용 분야에서 널리 활용되고 있다. 이때 AI Model은 기본적으로 학습 데이터의 다양한 통계적 속성을 기반으로 학습된 후 시스템에 배포되지만, 급변하는 데이터의 상황 속 예상치 못한 데이터의 변화는 모델의 성능저하를 유발한다. 특히 보안 분야에서 끊임없이 생성되는 새로운 공격과 알려지지 않은 공격에 대응하기 위해서는 배포된 모델의 Drift Signal을 찾는 것이 중요해짐에 따라 모델 전체의 Lifecycle 관리 필요성이 점차 대두되고 있다. 일반적으로 모델의 정확도 및 오류율(Loss)의 성능변화를 통해 탐지할 수 있지만, 모델 예측 결과에 대한 실제 라벨이 필요한 점에서 사용 환경의 제약이 존재하며, 실제 드리프트가 발생한 지점의 탐지가 불확실한 단점이 있다. 그 이유는 모델의 오류율의 경우 다양한 외부 환경적 요인, 모델의 선택과 그에 따른 파라미터 설정, 그리고 새로운 입력데이터에 따라 크게 영향을 받기에 해당 값만을 기반으로 데이터의 실질적인 드리프트 발생 시점을 정밀하게 판단하는 것은 한계가 존재하게 된다. 따라서 본 논문에서는 XAI(eXplainable Artificial Intelligence) 기반 Anomaly 분석기법을 통해 실질적인 드리프트가 발생한 시점을 탐지하는 방안을 제안한다. DGA(Domain Generation Algorithm)를 탐지하는 분류모델을 대상으로 시험한 결과, 배포된 이후 데이터의 SHAP(Shapley Additive exPlanations) Value를 통해 Anomaly score를 추출하였고, 그 결과 효율적인 드리프트 시점탐지가 가능함을 확인하였다.

악성 이메일 공격의 사전 탐지 및 차단을 통한 이메일 보안에 관한 연구 (A Study on Email Security through Proactive Detection and Prevention of Malware Email Attacks)

  • 유지현
    • 전기전자학회논문지
    • /
    • 제25권4호
    • /
    • pp.672-678
    • /
    • 2021
  • 시간이 지날수록 새로운 맬웨어는 계속 증가하고, 점점 고도화되고 있다. 악성 코드를 진단하기 위해 실행파일에 관한 연구는 다양하게 진행되고 있으나, 비실행 문서파일과 악성 URL, 문서 내 악성 매크로 및 JS 등을 악용하여 이메일에 악성 코드 위협을 내재화한 공격은 탐지하기 어려운 것이 현실이다. 본 논문에서는 악성 이메일 공격의 사전 탐지 및 차단을 통한 이메일 보안을 위해 악성 코드를 분석하는 방법을 소개하고, AI 기반으로 비실행 문서파일의 악성 여부를 판단하는 방법을 제시한다. 다양한 알고리즘 중에 효율적인 학습 모델링 방법을 채택하고 Kubeflow를 활용하여 악성 코드를 진단하는 ML 워크플로 시스템을 제안하고자 한다.

딥러닝 형상관리를 위한 블록체인 시스템 설계 (Design for Deep Learning Configuration Management System using Block Chain)

  • 배수환;신용태
    • 한국정보전자통신기술학회논문지
    • /
    • 제14권3호
    • /
    • pp.201-207
    • /
    • 2021
  • 머신러닝의 한 종류인 딥러닝은 각 학습 과정을 진행할 때, 가중치를 변경하면서 학습을 수행한다. 딥러닝을 수행할때 대표적으로 사용되는 Tensor Flow나 Keras의 경우 학습이 종료된 결과를 그래프 형태로 제공한다. 이에 과다학습으로 인한 퇴화 현상 또는 가중치의 잘못된 설정으로 인해 학습 결과에 오류가 발생하는 경우, 해당 학습 결과를 폐기해야한다. 이에 기존 기술은 학습 결과를 롤백하는 기능을 제공하고 있지만, 롤백 기능은 최대 5회 이내의 결과로 제한된다. 또한, 딥러닝의 모든 과정을 기록하고 있는 것이 아니기 때문에 값을 추적하기 어렵다. 이를 해결하기 위해 MLOps의 개념을 적용한 기술이 존재하지만. 해당 기술에서는 이전 시점으로 롤백하는 기능을 제공하지 않는다. 본 논문에서는 기존 기술의 문제점을 해결하기 위해 학습 과정의 중간 값을 블록체인으로 관리하여 학습 중간 과정을 기록하고, 오류가 발생할 경우 롤백할 수 있는 시스템을 구성한다. 블록체인의 기능 수행을 위해서 딥러닝 과정 및 학습 결과 롤백은 Smart Contract를 작성하여 동작하도록 설계하였다. 성능평가는 기존의 딥러닝 방식의 롤백 기능을 평가하였을 때, 제안방식은 100%의 복구율을 가지는 것에 비교하여 기존 기법에서는 6회 이후에 복구율이 감소되어 50회일 때 10%까지 감소하는 것을 확인하였다. 또한, 이더리움 블록체인의 Smart Contract를 사용할 때, 블록 1회 생성 시 157만원의 금액이 지속적으로 소모되는 것을 확인하였다.