제7부 엔터프라이즈 운영과 MLOps

7.5 GPU 가상화·공유 II — MPS·MIG 비교·선택

7.5.1 이 장에서 배우는 것 / 선수 지식

7.4에서 공유 스펙트럼(타임슬라이싱·vGPU)을 봤다. 이 장(II)은 나머지 둘 — MPS(공간 공유)와 MIG(하드웨어 분할, 4.10) — 를 깊게 보고, 네 방식을 한 표에 놓아 "언제 무엇을"의 의사결정을 완성한다. 가상화·공유 묶음(7.4~7.5)의 마무리이자 제7부 운영의 핵심 결정 도구.

핵심 통찰: MPS와 MIG는 정반대 끝이다. MPS는 격리를 거의 안 하고 최대한 함께 실행해 활용률을 극대화하고(신뢰하는 워크로드의 작은 커널), MIG는 하드웨어로 완전히 갈라 격리·예측을 준다(멀티테넌트·QoS). 타임슬라이싱(시간 분할·격리 없음)·MPS(공간 공유·약한 격리)·vGPU(VM·메모리 분할)·MIG(하드 분할·완전 격리)의 네 점을 격리·활용·QoS로 매핑하면 어떤 상황에 무엇을 쓸지가 정리된다.

배우는 것:

MPS — 여러 프로세스의 커널을 공간적으로 동시 실행(SM 공유), 작은 커널 활용률↑, 약한 격리·한계.
MIG — GPU를 하드웨어로 분할(SM·메모리·대역·L2 격리), GI/CI·프로파일, 완전 격리·QoS, 고정 입자.
네 방식 비교표 — 타임슬라이싱·MPS·MIG·vGPU를 격리·활용·메모리 분할·결함 격리·입자·용도로.
조합 — MIG 안의 MPS, vGPU MIG-백드, k8s에서 MIG 슬라이스.
의사결정 프레임 — 격리·QoS·신뢰·운영 모델로 방식 선택.

선수 지식: 7.4(공유 스펙트럼·타임슬라이싱·vGPU), 4.10(MIG 하드웨어 분할), 5.12(활용률·인스턴스)·1.6(점유율), 7.2(k8s device plugin·MIG 매니저), 5.7(LLM 메모리). MLOps는 7.7. 환경은 7.2 클러스터·MIG 지원 GPU.

정직: MIG 프로파일(슬라이스 크기·개수)은 GPU 세대 의존이고, MPS의 격리·제어 옵션·MIG 지원 기능은 버전 의존이다 — 이 장은 원리·격리 트레이드오프·의사결정을 가르치고 구체 프로파일·명령은 개념으로. 모든 수치는 환경 의존.

7.5.2 MPS — 공간 공유로 활용률

7.4의 타임슬라이싱은 프로세스들이 시간으로 번갈아 GPU를 썼다(한 번에 하나). 작은 커널(GPU를 다 못 채우는, 낮은 occupancy 1.6)이면 그 시간 동안 SM이 절반만 차 낭비다. MPS(Multi-Process Service) 는 여러 프로세스의 커널을 공간적으로 동시 실행(SM을 나눠)해 GPU를 채운다.

타임슬라이싱은 작은 커널이면 그 순간 SM이 절반만 차 낭비된다. MPS는 MPS 데몬이 여러 프로세스 컨텍스트를 병합해 커널 co-execution하여 GPU를 채운다.

MPS의 성질:

공간 공유: 여러 프로세스의 커널이 SM을 나눠 동시 실행 → 작은 커널 다수(낮은 occupancy)에서 활용률↑. 컨텍스트 전환 오버헤드↓.
약한 격리: 메모리는 분할 안 됨(공유) — 한 프로세스가 메모리를 많이 쓰면 다른 것이 OOM. 다만 MPS는 클라이언트별 메모리 한도·활성 스레드(%) 제한 같은 제어를 일부 제공(하드 격리는 아님).
결함: 한 프로세스 오류가 다른 프로세스에 영향 가능(완전 격리 아님).
용도: 신뢰하는 워크로드의 작은 커널 동시 — 추론 다중 프로세스, HPC의 GPU당 여러 MPI 랭크, Triton 다중 인스턴스(5.12)의 효율↑.

# MPS 활성화(개념) — MPS 제어 데몬 시작 후 프로세스들이 공유
nvidia-cuda-mps-control -d        # 데몬 시작
# 이후 그 GPU의 CUDA 프로세스들이 MPS로 커널 co-execution
# 클라이언트별 제한(버전 의존): CUDA_MPS_ACTIVE_THREAD_PERCENTAGE 등

견해: MPS는 "신뢰하는 워크로드의 작은 커널 활용률" 에 강하다(5.12의 인스턴스 동시성을 실질적 공간 동시로). 그러나 메모리 미분할·약한 격리라 멀티테넌트·QoS엔 부적합 — 그것은 MIG. MPS는 같은 팀·같은 신뢰 경계에서 GPU를 빽빽이 채울 때.

7.5.3 MIG — 하드웨어 분할로 완전 격리

MIG(Multi-Instance GPU, 4.10) 는 GPU를 하드웨어로 여러 독립 인스턴스로 분할한다. 각 인스턴스는 전용 SM·메모리·메모리 대역·L2 캐시 슬라이스를 가져 완전히 격리된다.

각 슬라이스 = 독립된 작은 GPU. 다른 슬라이스와 메모리·연산·대역이 격리된다.

MIG의 구조·성질:

GI(GPU Instance) → CI(Compute Instance): GI가 메모리+SM 묶음을 잘라내고, 그 안에 CI(연산 단위). 프로파일로 크기 지정.
프로파일: 예 1g.10gb·2g.20gb·3g.40gb·7g.80gb(이름·크기·개수는 GPU 세대 의존, 확인 필요). 슬라이스 크기·개수가 정해짐.
완전 격리: 메모리·SM·대역·결함이 슬라이스 간 격리 → 성능 예측 가능·QoS·멀티테넌시·보안 경계. 한 슬라이스의 워크로드가 다른 슬라이스에 영향 못 줌.
한계: 고정 입자(프로파일 크기로만) — 임의 분할 불가. 정적(재구성하려면 드레인 필요). 슬라이스를 넘는 작업 불가(한 잡이 자기 슬라이스보다 큰 자원 못 씀). 일부 기능 제한.

# MIG 구성(개념) — MIG 모드 활성화 후 프로파일로 인스턴스 생성
nvidia-smi -i 0 -mig 1                          # GPU0 MIG 모드 on
nvidia-smi mig -i 0 -cgi 1g.10gb -C             # 1g.10gb GI+CI 생성(반복)
nvidia-smi mig -lgi                              # 인스턴스 목록
# k8s: MIG 매니저(7.2)가 슬라이스를 자원으로 광고(nvidia.com/mig-1g.10gb 등)

견해: MIG는 "멀티테넌트·QoS·예측"의 정답이다 — 외부 고객·다른 팀·혼합 워크로드에 격리된 슬라이스를 줘 간섭·OOM·보안을 차단하고 성능을 보장한다. 대가는 고정 입자·정적 재구성 — 슬라이스 크기가 워크로드에 맞아야 하고, 슬라이스보다 큰 모델은 적재하지 못함. 작은 모델 다수·멀티테넌트면 MIG, 큰 모델 하나면 GPU 전체(또는 다GPU TP).

7.5.4 네 방식 비교 — 의사결정 표

7.4~7.5의 네 방식을 한 표에:

축	타임슬라이싱	MPS	MIG	vGPU
공유 방식	시간 분할	공간(SM) 동시	하드웨어 분할	VM 가상화
메모리 분할	✗(공유)	✗(공유, 제한 옵션)	○(하드)	○(프로파일)
연산 격리	✗	약함	○(하드)	△(시간분할/MIG백드)
결함 격리	✗	약함	○	○(VM)
성능 예측·QoS	✗	△	○	○
입자	유연(오버서브)	유연	고정(프로파일)	프로파일
활용률 효과	중	높음(작은 커널)	중(슬라이스 단위)	중
용도	개발·작은추론·신뢰	신뢰·작은커널 동시	멀티테넌트·QoS	VM·VDI·멀티테넌시
운영 모델	베어메탈/k8s	베어메탈/k8s	베어메탈/k8s	VM(하이퍼바이저)

의사결정 프레임:

의사결정 프레임

핵심: 격리(멀티테넌트·QoS)는 MIG, 활용률(신뢰·작은 커널)은 MPS, VM은 vGPU, 개발은 타임슬라이싱. 메모리 분할(격리)이 필요하면 MIG/vGPU, 활용률만이면 MPS/타임슬라이싱. 이 표가 제7부 공유 결정의 핵심이다.

7.5.5 조합 — 함께 쓰기

방식들은 조합되기도 한다:

조합	설명
MIG 안의 MPS	MIG 슬라이스 하나를 MPS로 다시 공유(슬라이스 내 작은 커널 동시)
vGPU MIG-백드	vGPU를 MIG 슬라이스 기반으로 → VM에 '하드 격리된' GPU 몫
k8s + MIG	MIG 매니저(7.2)가 슬라이스를 자원으로 광고(nvidia.com/mig-1g.10gb) → 파드가 슬라이스를 요청, 스케줄러가 배치(격리된 멀티테넌트 추론)
MIG + 토폴로지	슬라이스를 GPU·노드에 배치

예: 추론 클러스터.

견해: 실무는 MIG(격리) + k8s(스케줄, 7.2) + 필요시 MPS(슬라이스 내 활용) 를 조합한다. vGPU 환경이면 MIG-백드 vGPU로 VM에 하드 격리. 조합으로 "격리 + 활용 + 스케줄링"을 동시에 — 단 복잡도가 오르니 필요한 만큼만.

7.5.6 워크스루 — 선택·구성

시나리오	선택
A) 데이터과학 개발 공유(베어메탈, 신뢰)	타임슬라이싱(7.2 device plugin replicas)
B) Triton 다중 인스턴스 작은 모델 추론(신뢰)	MPS(co-execution 활용↑, 5.12)
C) 외부 고객 멀티테넌트 추론(격리·QoS)	MIG(슬라이스별 격리) + k8s
D) VMware VDI·VM AI	vGPU(7.4), 격리 강하면 MIG-백드
E) 큰 LLM 하나(KV 변동, 5.7)	공유 X, GPU 전체 또는 다GPU TP(5.9)

MIG 구성 흐름(C):

검증:

검증	무엇을
MIG	슬라이스 간 성능이 서로 영향 안 받는지(한 슬라이스 부하↑ 때 다른 슬라이스 일정)
MPS	작은 커널 다중 프로세스에서 활용률·처리량↑(타임슬라이싱 대비)
메모리	격리 방식(MIG/vGPU)은 슬라이스 OOM이 다른 것에 영향 없음 확인

7.5.7 중간 점검 (체크포인트)

[ ] MPS가 여러 프로세스의 커널을 공간 동시 실행(SM 공유)해 작은 커널 활용률을 높임과, 약한 격리·메모리 미분할의 한계를 안다.
[ ] MIG가 GPU를 하드웨어로 분할(SM·메모리·대역·L2 격리)해 완전 격리·QoS를 주며, 고정 입자·정적의 한계를 안다.
[ ] 네 방식(타임슬라이싱·MPS·MIG·vGPU) 을 격리·활용·메모리 분할·용도로 비교한다.
[ ] 의사결정 프레임(VM? 멀티테넌트·QoS? 신뢰·작은 커널? 개발?)으로 방식을 고른다.
[ ] 조합(MIG 안 MPS, MIG-백드 vGPU, k8s MIG 슬라이스)을 안다.

증상→의심: 작은 커널 다중 프로세스인데 활용률 낮음 → 타임슬라이싱(공간 동시 아님) → MPS. 멀티테넌트인데 한 테넌트가 다른 테넌트 영향 → MPS/타임슬라이싱(격리 약) → MIG. MIG 슬라이스에 큰 모델 안 올라감 → 고정 입자·슬라이스 작음 → 큰 프로파일·GPU 전체. MIG 재구성에 드레인 필요 → 정적(정상) → 계획적 재구성. VM에서 하드 격리 필요 → vGPU만으론 약함 → MIG-백드 vGPU. LLM 공유 OOM → KV 변동(5.7) → MIG 격리·GPU 전체.

7.5.8 트레이드오프·대안

방식	강점	약점	누구에게
타임슬라이싱	간단·범용·유연	격리 없음·OOM	개발·작은추론·신뢰
MPS	작은 커널 활용률↑·공간 공유	약한 격리·메모리 미분할	신뢰·작은커널 동시
MIG	완전 격리·QoS·예측·보안	고정 입자·정적	멀티테넌트·QoS·production
vGPU	VM·VDI·메모리 분할·관리	가상화 오버헤드·라이선스	VM/VDI·멀티테넌시

견해: 격리·QoS가 핵심이면 MIG(외부 테넌트·혼합·SLA), 신뢰하는 작은 커널 활용률이면 MPS, VM/VDI면 vGPU, 개발·간단이면 타임슬라이싱. 큰 모델 하나는 공유 말고 GPU 전체·다GPU(5.9). 실무는 MIG + k8s + (필요시) MPS 조합이 많다. 메모리 분할(격리)이 필요한가가 큰 갈림길 — 필요하면 MIG/vGPU.

비엔비디아 정직: 공간 공유(MPS류)·하드 분할(MIG류)·가상화(vGPU류)는 개념적으로 다른 가속기·클라우드에도 유사물이 있다(클라우드 GPU 인스턴스가 내부적으로 MIG/vGPU 활용). MIG의 강점은 하드웨어 수준 완전 격리, MPS는 공간 공유 활용률이다. 클라우드면 인스턴스가 공유를 추상화 — 직접 운영 vs 인스턴스를 환경으로 판단.

7.5.9 흔한 함정

MPS를 격리로 오해. 메모리 미분할·약한 격리 — 멀티테넌트·QoS 부적합. 격리는 MIG.
MIG를 활용률 도구로만. MIG는 격리·QoS가 본질 — 작은 커널 활용률 극대는 MPS가 나을 수 있음(MIG는 슬라이스 입자).
MIG 고정 입자 무시. 슬라이스보다 큰 모델은 적재하지 못함, 임의 분할 불가 → 워크로드에 맞는 프로파일·GPU 전체.
MIG 동적 재구성 가정. 정적 — 재구성에 드레인 필요. 계획적으로.
작은 커널에 타임슬라이싱. 공간 동시가 아니라 시간 분할이라 활용률 한계 → MPS.
멀티테넌트에 MPS/타임슬라이싱. 격리 없어 간섭·보안·OOM → MIG.
LLM 공유에 격리 안 함. KV 변동(5.7)으로 OOM·간섭 → MIG 격리.
방식을 환경 무시하고. VM이면 vGPU, 베어메탈이면 MIG/MPS/타임슬라이싱 — 운영 모델에 맞게.

7.5.10 연습문제

연습 1 (MPS vs 타임슬라이싱). 작은 추론 모델 4개를 한 GPU에서 다중 프로세스로 실행한다. 타임슬라이싱과 MPS의 차이를 활용률 관점에서 설명하라.

정답

타임슬라이싱: 4개 프로세스가 GPU를 시간으로 번갈아 점유(한 번에 하나). 작은 모델의 커널은 GPU(SM)를 다 못 채우므로(낮은 occupancy, 1.6), 한 프로세스가 실행되는 순간 SM이 절반만 차 나머지가 유휴 → 시간 분할이라 4개가 번갈아도 각 순간 활용률이 낮음. MPS: 4개 프로세스의 커널을 공간적으로 동시 실행(SM을 나눠) → 작은 커널들이 함께 GPU를 채움 → 같은 순간에 여러 프로세스가 SM을 점유해 활용률·처리량↑. MPS 데몬이 컨텍스트를 병합해 co-execution, 컨텍스트 전환 오버헤드도↓. 즉 작은 커널 다중 프로세스에서 MPS가 타임슬라이싱보다 활용률이 높다(5.12의 인스턴스 동시성을 실질적 공간 동시로). 단 MPS는 약한 격리(메모리 미분할)라 신뢰하는 워크로드에. 멀티테넌트면 MIG.

연습 2 (MIG 격리). 외부 고객 3곳에 GPU를 파는 추론 서비스다. 왜 MIG여야 하고 MPS·타임슬라이싱은 안 되는지, MIG가 격리하는 자원을 제시하라.

정답

외부 고객 멀티테넌트는 완전 격리·QoS·보안이 필수 — 한 고객의 부하·메모리·크래시가 다른 고객에 영향을 주면 안 되고, 성능이 예측 가능해야(SLA). MPS·타임슬라이싱은 부적합: 메모리 미분할(공유 풀)이라 한 고객이 메모리를 다 잡으면 다른 고객 OOM, 연산 격리가 약해 한 고객 부하가 다른 고객 지연을 늘림(간섭), 결함·보안 격리도 약함. MIG가 격리하는 자원: SM(연산)·메모리(프레임버퍼)·메모리 대역폭·L2 캐시 슬라이스를 하드웨어로 분할 → 각 고객이 독립된 작은 GPU 슬라이스를 받아 메모리·연산·대역·결함이 완전 격리. 한 슬라이스의 워크로드가 다른 슬라이스에 영향 못 줌 → 성능 예측·QoS·보안 경계·간섭 차단. k8s가 슬라이스를 자원으로 광고(7.2)해 고객별 배치. 멀티테넌트 production의 정답은 MIG(또는 MIG-백드 vGPU).

연습 3 (MIG 한계). MIG로 GPU를 7개 슬라이스로 나눴는데, 한 모델이 슬라이스 하나보다 크고, 또 워크로드 변화로 슬라이스 크기를 바꿔야 한다. 두 한계와 대응을 설명하라.

정답

한계 ① 고정 입자·슬라이스 초과 불가: MIG 슬라이스는 정해진 프로파일 크기(예 1g.10gb)이고, 한 잡이 자기 슬라이스보다 큰 자원을 못 쓴다(슬라이스를 넘나들 수 없음). 큰 모델이 슬라이스 하나에 안 들어가면 그 분할로는 못 돌림. 대응: 큰 프로파일(예 2g/3g/7g) 슬라이스를 쓰거나, 그 모델은 MIG 끄고 GPU 전체(또는 다GPU TP, 5.9)로. 슬라이스 크기를 워크로드 분포에 맞춰 설계. 한계 ② 정적 재구성: MIG 분할 변경(슬라이스 크기·개수)은 동적이 아니라 그 GPU의 워크로드를 드레인하고 재구성해야 한다(실행 중 즉시 변경 불가). 대응: 워크로드 패턴을 미리 분석해 프로파일을 계획적으로 설정, 재구성은 유지보수 창에서(k8s면 노드 cordon/drain 후 MIG 매니저로 재구성). 정리: MIG는 격리를 주는 대신 유연성(임의 크기·동적 변경)을 희생 — 슬라이스 크기를 워크로드에 맞게 설계하고, 큰 모델·가변은 GPU 전체/다GPU나 계획적 재구성.

연습 4 (네 방식 선택). 각각에 타임슬라이싱·MPS·MIG·vGPU 중: (a) HPC 잡이 GPU당 4 MPI 랭크(신뢰), (b) VMware 가상 데스크톱, (c) 사내 여러 팀이 격리되어 추론(QoS 보장), (d) 한 연구자의 실험용 작은 모델 여러 개.

정답

(a) MPS — GPU당 여러 MPI 랭크(프로세스)가 작은 커널을 동시에 → 공간 공유로 활용률↑, 신뢰하는 워크로드(같은 잡)라 약한 격리 OK. 타임슬라이싱보다 co-execution이 효율적. (b) vGPU — VMware 가상 데스크톱(VDI)은 VM 환경이라 하이퍼바이저 + vGPU로 GPU 가상화·프로파일 메모리 분할·그래픽 가속(7.4). (c) MIG — 사내 여러 팀이 격리되어 QoS 보장이 필요하면 하드웨어 완전 격리(메모리·SM·대역)로 팀 간 간섭·OOM 차단, 성능 예측. 신뢰가 일부 있어도 QoS 보장이면 MIG. (d) 타임슬라이싱 — 한 연구자의 실험(신뢰 경계 같음·메모리 작음)은 간단한 시간 분할로 작은 모델 여럿 활용↑. 격리·QoS 불필요. 핵심: 신뢰·작은커널 동시=MPS, VM/VDI=vGPU, 멀티테넌트 QoS=MIG, 개발·간단=타임슬라이싱.

연습 5 (조합). 멀티테넌트 추론 클러스터에서 MIG·k8s·MPS를 어떻게 조합하나? 각각의 역할을 설명하라.

정답

조합: ① MIG — 각 GPU를 하드웨어 슬라이스로 분할해 테넌트 간 완전 격리(메모리·SM·대역·결함). 외부/타 팀 테넌트가 서로 간섭·OOM·보안 침범 못 하게, 성능 예측·QoS. ② k8s + MIG 매니저(7.2) — MIG 슬라이스를 스케줄 가능 자원으로 광고(nvidia.com/mig-1g.10gb 등) → 파드가 슬라이스를 요청하면 스케줄러가 격리된 슬라이스에 배치. 배포·복제·오토스케일(6.8)·관측(DCGM 7.3)을 슬라이스 단위로 운영. ③ MPS(슬라이스 내) — 한 테넌트의 슬라이스 안에서 그 테넌트가 작은 모델 다중 프로세스를 실행하면, 슬라이스 내부를 MPS로 공간 공유해 활용률↑(슬라이스 안은 같은 신뢰 경계라 MPS 약한 격리 OK). 정리: MIG=테넌트 간 격리(바깥), k8s=슬라이스 스케줄·운영, MPS=슬라이스 안 활용률(테넌트 내부). 격리(MIG) + 스케줄링(k8s) + 활용(MPS)을 계층으로 — "격리는 하드웨어로, 운영은 k8s로, 내부 효율은 MPS로". 복잡도가 오르니 필요한 계층만.

7.5.11 요약 · 다음 장

MPS는 여러 프로세스의 커널을 공간 동시 실행(SM 공유)해 작은 커널 활용률을 높인다 — 약한 격리·메모리 미분할이라 신뢰하는 워크로드에. MIG는 GPU를 하드웨어로 분할(SM·메모리·대역·L2 격리)해 완전 격리·QoS·예측을 준다 — 고정 입자·정적이 대가.
네 방식: 타임슬라이싱(시간·격리 없음)·MPS(공간·약한 격리)·MIG(하드 분할·완전 격리)·vGPU(VM·메모리 분할). 격리 vs 활용 vs 운영 모델로 선택 — 멀티테넌트·QoS=MIG, 신뢰·작은커널=MPS, VM/VDI=vGPU, 개발=타임슬라이싱, 큰 모델=GPU 전체/다GPU.
조합: MIG(격리) + k8s(스케줄, 7.2) + MPS(슬라이스 내 활용), MIG-백드 vGPU. 격리는 하드웨어로, 운영은 k8s로, 내부 효율은 MPS로.
메모리 분할(격리) 필요 여부가 큰 갈림길 — 필요하면 MIG/vGPU, 활용률만이면 MPS/타임슬라이싱. LLM(KV 변동)·멀티테넌트는 격리.
정직: MIG 프로파일은 GPU 세대 의존, MPS 격리는 제한적, 클라우드는 인스턴스가 공유를 추상화. 가격 미포함(BK-04).

방금 본 격리 스펙트럼(타임슬라이싱 < MPS < vGPU < MIG)은 성능 트레이드오프일 뿐 아니라 보안 경계이기도 하다 — 그 관점은 7.6 AI 인프라 보안(번호는 책 끝이나 내용은 여기 다음 자리)에서 잇는다.

다음 장(논리 순서): 7.6 AI 인프라 보안 — 컨테이너·공급망·쿠버네티스. 지금까지 운영 도구(NVAIE·k8s·DCGM·공유)를 배웠으니, 그 대상 — 컨테이너 이미지·모델 가중치·클러스터 접근 — 이 공격면이기도 하다는 관점을 더한다. 이후 7.7 MLOps 라이프사이클과 관측성으로 제7부를 마무리한다.