데이터를 둘러싼 정책과, 기업과 기술의 진화는 빠르게 변화하고 있으며, 모든 지향점은 기업들이 다양한 데이터를 활용하여 경쟁력을 확보하고 이를 통해 AI기반의 혁신을 하고자 하는데 있다. 이 과정에서 수 많은 기업의 업무 전무가, 데이터 사이언티스트 등이 다양한 기업의 혁신을 지원할 수 있는 AI 모델을 검증하는 과정을 거치게 됩니다. 하지만, 이렇게 수 많은 AI 모델이 실제 비즈니스에 적용되기 위해서는 인프라, 및 서비스 관점의 기술이 반드시 필요하게 됩니다. MLOps는 기업에 필요한 혁신적인 아이디어(AI Model)을 적시에 비즈니스 환경에 적용할 수 있도록 지원하는 기술 및 트렌드 입니다. 주요 내용은 - 데이터를 둘러싼 환경의 변화 - 기업의 AI Model 적용시 마주하는 현실 - MLOps가 해결 가능한 문제들 - MLOps의 영역별 주요 기술들 - MLOps 도입 시 기업의 AI 환경은 어떻게 변할까? - AI 모델을 비즈니스 환경에 적용(배포)한다는 것은? 2021년 12월 코리아 데이터 비즈니스 트렌드(데이터산업진흥원 주최)에서 발표한 내용을 공유 가능한 부분만 정리함. 발표 영상 참고 : https://www.youtube.com/watch?v=lL-QtEzJ3WY

1. MLOps 기술 소개와 적용 사례
(Trends of MLOps tech in business)
freepsw
2021.12
1

2. 2
시장의 변화와 MLOps
정책 변화로 데이터 활용도 증가 및 기업 경쟁력 확보를 위한 AI 기반 비즈니스 혁신 가속화
국가 정책 변화
(데이터 3법)
시장 경쟁 심화
(Big Tech, FinTech …)
기술 진화 가속
(오픈소스 SW 등)
AI / Data 기반 혁신 필요
(기업의 생존)
AI 적용을 통한
비즈니스 혁신
“MLOps 관심 증가”

3. 3
MLOps란?
기업에 필요한 혁신적인 아이디어를 적시에 비즈니스 환경에 적용할 수 있도록 지원하는 기술
Machine
Learning Operation
• Research 단계 (아이디어 검증)
• 모델의 예측 정확도 중요
• 고정된 학습 데이터
• Data 분석가 주도
• 고객 서비스 단계 (실제 비즈니스)
• 서비스 안정성 / 자원 효율성 중요
• 시간에 따라 변하는 데이터
• SW Engineer, Infra Engineer 주도
“더 많은 아이디어, 더 많은 실험, 더 빠른 적용”

4. 4
그러나 기업이 마주하는 현실은?
제한된 학습환경에서 동작하던 많은 가정이 실제 비즈니스 환경에서 동작하지 않음
모델 학습 모델 서비스
데이터 처리
너무 많은 조합 (데이터, 모델, 변수)
모델 재사용(재현) 어려움
대규모 학습 환경 구성 어려움
저 품질의 데이터
데이터 처리에 많은 시간 소요
원하는 데이터를 찾기 어려움
학습 환경과 운영 환경의 차이
계속 변하는 데이터
다양한 제약 (자원 한계, 예측 속도 등)
“예측 불가한 대량의 데이터 유입” “짧은 주기의 재 학습” ＂불규칙한 모델의 예측 정확도 ”

5. 5
MLOps로 기업의 문제를 해결할 수 있는 영역들
각 단계별로 조직 및 목표가 다르므로, 이를 유연하게 연결하여 운영할 수 있어야 함.
Feature
Engineering
Features Model Hyper
parameter
ML Code
Model
Training
Model
Validation
“ 모델 학습(실험) 단계 ”
[ Data Scientist / ML Engineer]
Model
Packaging
Model
Deploying
Model
Serving
Model
Monitoring
“ 모델 서비스 단계”
[ SW Engineer / ML Engineer ]
다양한 모델 실험
모델 개선 요청
(재 학습)
Data
Finding
Data
Ingestion
Data
Processing
Data
Validation
“ 데이터 준비 단계 ”
[ Data Engineer ]
새로운 데이터 확보

6. 6
MLOps로 기업의 문제를 해결할 수 있는 영역들
각 단계별로 조직 및 목표가 다르므로, 이를 유연하게 연결하여 운영할 수 있어야 함.
Data
Catalog
Data
Ingestion
Data
Processing
Data
Validation
Feature
Engineering
Model
Packaging
Model
Deploying
Model
Serving
Model
Monitoring
Features Model Hyper
parameter
ML Code
Model
Training
Model
Validation
“ 데이터 준비 단계 ” “ 모델 학습(실험) 단계 ” “ 모델 서비스 단계”
[ Data Engineer ] [ Data Scientist / ML Engineer] [ SW Engineer / ML Engineer ]
다양한 모델 실험
모델 개선 요청
(재 학습)
새로운 데이터 확보
“
적시에 고품질
데이터 제공
“
“
분석에 집중할 수 있는
환경 제공
“
“
비즈니스 가치에
집중
“
“
기업이 보유한 데이터에서 가치를 찾아내는
모든 과정에서 혁신이 필요
“

7. MLOps에서 지원하는 기술들
모든 단계는 자동화된 Pipeline을 통해 다양한 환경에서 동작하고, 모니터링 가능해야 함.
적시에 고품질
데이터 제공
분석에 집중할 수
있는 환경
• ML Lifecycle 지원 (모델 구성, 학습, 이력 관리, 모델 공유)
• 수 많은 반복된 실험을 쉽고, 빠르게 실행 가능한 자동화 기술
• ML Lifecycle의 자동화된 ML Pipeline 제공
비즈니스 가치에
집중
• 학습된 모델을 서비스로 전환 (실행 가능한 프로그램)
• 배포된 모델의 버전 및 예측 이력 관리
• 실제 모델의 성능 모니터링 (Data Drift, Explainable AI )
• 배포 à 모니터링 à 재학습을 연결하는 Pipeline 제공
• 데이터 품질관리, 버전 관리, 메타 관리
• 대량의 학습 데이터 처리 (ELT 관심 증가)
• 자동화된 데이터 파이프라인 관리
핵심 기능 관련 기술
Auto Sklearn

8. MLOps 도입을 통해 기업의 AI 환경은 어떻게 바뀔까?
분석가
Model Experiments
Feature
Engineering
Features Model Hyper
parameter
ML Code
Model
Training
Model
Validation
Model Experiments
Feature
Engineering
Features Model Hyper
parameter
ML Code
Model
Training
Model
Validation
Model Experiments Pipeline
Feature
Engineering
Features Model Hyper
parameter
ML Code
Model
Training
Model
Validation
Feature
Store
Experiments
Mgmt.
• Feature Store에서 필요한 데이터 검색 후,
• AutoML로 최적의 모델/hyperparameter를 찾고,
• 학습된 모델의 결과 비교 및 저장, 공유
Auto Sklearn
MLOps Pipeline

9. MLOps 도입을 통해 기업의 AI 환경은 어떻게 바뀔까?
분석가
Data Quality
(Lineage, Metadata…)
Data Pipeline
Data
Finding
Data
Ingestion
Data
Processing
Data
Validation
Data Pipeline
Data
Finding
Data
Ingestion
Data
Processing
Data
Validation
Data Pipeline
Data
Finding
Data
Ingestion
Data
Processing
Data
Validation
Model Experiments
Feature
Engineering
Features Model Hyper
parameter
ML Code
Model
Training
Model
Validation
Model Experiments
Feature
Engineering
Features Model Hyper
parameter
ML Code
Model
Training
Model
Validation
Model Experiments Pipeline
Feature
Engineering
Features Model Hyper
parameter
ML Code
Model
Training
Model
Validation
Feature
Store
Experiments
Mgmt.
“ Model 학습에 사용된 data pipeline을 활용해 학습 데이터 갱신 ”
MLOps Pipeline

10. MLOps 도입을 통해 기업의 AI 환경은 어떻게 바뀔까?
분석가
Data Quality
(Lineage, Metadata…)
Data Pipeline
Data
Finding
Data
Ingestion
Data
Processing
Data
Validation
Data Pipeline
Data
Finding
Data
Ingestion
Data
Processing
Data
Validation
Data Pipeline
Data
Finding
Data
Ingestion
Data
Processing
Data
Validation
Model Experiments
Feature
Engineering
Features Model Hyper
parameter
ML Code
Model
Training
Model
Validation
Model Experiments
Feature
Engineering
Features Model Hyper
parameter
ML Code
Model
Training
Model
Validation
Model Experiments Pipeline
Feature
Engineering
Features Model Hyper
parameter
ML Code
Model
Training
Model
Validation
Feature
Store
Experiments
Mgmt.
Model Service
Pipeline
Model
Packaging
Model
Deploying
Model
Serving
Model
Monitoring
Model Service
Pipeline
Model
Packaging
Model
Deploying
Model
Serving
Model
Monitoring
Model Service
Pipeline
Model
Packaging
Model
Deploying
Model
Serving
Model
Monitoring
Model
Repository
“ 배포할 모델을 선택하면, 자동으로 모델을 운영 환경에 배포
실시간 모델 모니터링을 통한 AI 서비스 개선 ”
MLOps Pipeline

11. 11
AI 모델을 비즈니스에 적용(배포)한다는 것은?
기업은 검증된 모델을 빠르게 실 환경에 적용하여, 비즈니스 성과를 달성하기를 원하지만..
다양한 인프라 환경
(Multi Cloud, On-premise, Edge Server)
복잡한 AI 전처리/후처리 필요
(AI Pipeline 지원)
다양한 분석 프레임워크 지원
(tensorflow, pytorch, tensorRT 등)
안정적인 모델 관리
(Canary, Rollback, 보안/인증)
자원 사용 최적화
(Auto Scale, Serverless)
모델 상태 모니터링 필요
(처리량, 속도, 상태 등)
Data Scientist
+
Data Engineer
+
Cloud Engineer
+
Infra Engineer
최적의 예측 성능 지원 필요
(실시간 영상 처리)

12. 12
MLOps 도입 없이는 모델 배포에 많은 시간과 노력 소요
기업은 검증된 모델을 빠르게 실 환경에 적용하여, 비즈니스 성과를 달성하기를 원하지만..
[모델 배포 소요시간] [ Data Scientist의 업무 부담]
Data Scientist들은 업무 시간의 50%를
모델 배포에 시간을 투자
약 64% 이상의 기업들이 모델의 비즈니스 적용에
1개월 이상 소요됨

13. 13
AI 모델을 비즈니스에 적용(배포)하기 위해서는?
복잡한 ML 모델을 운영 환경에 빠르고 안정적으로 적용 및 지속 개선하여 비즈니스 경쟁력을 유지 하는 것
Model Repository
Code
Training Data
Model Weight
Hyperparameter
Data Pipeline
Train model
Build
ML app
Explain
Model
Deploy
ML app
Monitoring
(Model, App)
Triggering
ML app
Feature
Store
Model
Repository

14. 14
MLOps를 도입한 기업의 경쟁력
AI가 기업 경쟁력에 핵심 도구로 부상하면서 MLOps가 효율성과 가치창출을 주도하는 중요 요소임
비즈니스 경쟁력 확보
더 많은 모델을 더 빨리 적용
고객이 원하는 가치에 집중
지속 개선으로
기업 경쟁력 유지
투자 효율성 개선 일관된 분석 환경
모델 / 서비스/ 인프라
관리 단순화
자동화된 ML Pipeline 으로
지속적인 모델 개선
낮은 운영비로 높은 생산성
분석 조직의 수 많은
모델 관리 및 공유
자동화된 ML Pipeline 기반의
고품질 학습 데이터 확보