NVIDIA가 AI 시대를 얼마나 잘 준비했는지 짐작되는 기술... GPU 간, CPU-GPU 간 빠르게 통신할 수 있는 NVLINK 4.0 (feat. CXL, PAM4)

NVIDIA가 AI 시대를 얼마나 잘 준비했는지 짐작되는 기술... GPU 간, CPU-GPU 간 빠르게 통신할 수 있는 NVLINK 4.0 (feat. CXL, PAM4)

 

GPU는 CPU에 비해 병렬 연산에 특화되어있다고 하죠. 그런데 그러한 GPU 수만개가 병렬로 되어있는데 ChatGPT 같은 LLM을 돌리기 위해선 GPU 끼리의 통신 속도도 충분해야 병목이 되지 않고 빠르게 돌릴 수 있습니다. 기존 PCI Express (PCIe) Gen5 보다도 7배나 높은 900GB/s의 속도를 보여주는, NVIDIA의 자체 칩 간 통신 규격 NVLINK에는 일반적으로 사용되는 NRZ와 같은 방식을 쓰지 않고 PAM4라는 기술로 초당 보낼 수 있는 정보를 대폭 늘리고, 고속도로 차선 수를 늘린 것처럼 링크 수도 확대했는데요. AI 시대 NVIDIA가 얼마나 부지런히 준비했는지를 보여주는 대목입니다.

 

엔비디아의 h 100이 MV 링크라는

0:02

파격적인 규격을 채용을함으로써

0:04

엄청나게 주목을 받고 지금 돈을 많이

0:06

벌듯이 cxl 마찬가지로 그런 식으로

0:08

주목을 받을 수가 있다라는

0:12

거예요네 여러분 반갑습니다 안대 공학

0:14

에러입니다 엔비디아의 GPU 몇 만

0:16

개씩이나 사가는 빅테크 기업들 근데

0:18

이게 한 방에 어떻게 다 처리가 될

0:20

수 있을까 요런 거 궁금하지

0:22

않으십니까 그러니까 GPU 많이 사가

0:23

않는데 이런 것들이 어떻게 다 연기가

0:25

돼 가지고 그 엄청난 LM 채치 PT

0:27

같은 것들 제미나이 같은 것들 런

0:29

것들을 어떻게 돌 것이냐 요런게 또

0:31

하드웨어가 지원이 되어야 되는

0:32

거거든요 근데 이게 가능하도록

0:34

엔비디아가 만들었기 때문에 빅테크

0:37

기업들이 요거를 사갈 수밖에 없는

0:38

이유도 있거든요 그래서 오늘 그

0:40

이유를 설명드리려고 왔는데 바로 MV

0:42

링크와 관련된 얘기입니다 어떻게

0:44

보면은 엔비디아가 AI 데이터

0:46

센터라는 새로운 형태의 데이터 센터를

0:48

구축하는데 가장 큰 공신을 했다는

0:50

것이 바로 MV 링크라고 볼 수도

0:53

있는데요 요즘 핫한 cxl 같은 것도

0:55

다 이런 것들과 연관이 있는 거거든요

0:56

그래서 오늘이 MV 링크에 대해서

0:57

간략하게 설명드리도록 하겠습니다

0:59

실제로 보면 는 저 PCI J 5보다

1:01

일곱 배나 빠른 속도로 움직인다고

1:03

하면서 보여지는 거 보이시죠 그러면서

1:05

저렇게 스택으로 쌓아가면서 트레이드를

1:06

쌓고 저거를 또 MV 링크 스위치라는

1:09

걸로 해서 각각 연결을 해 가지고

1:11

케이블 카트리지에 따다다닥 꽂아

1:13

가지고 dgx gh 20000 저렇게

1:15

레그로 구성을 해 가지고 저거를 쫙

1:17

확장을 해서 만들면 하나의 데이터

1:19

센터가 구축이 되는 겁니다 슈퍼

1:21

파라고 부르죠 근데 저렇게 많이

1:23

했는데 어떻게 GPU 그리 서로

1:25

커뮤니케이션 하면서 할 것이냐라는

1:26

부분인데 이걸 알려면 기존의 컴퓨팅

1:28

방식을 우리가 이해를 해야 됩니다

1:29

입니다 원래 우리가 CPU GPU

1:32

있다 결국 얘네들이 각각 계산을 하는

1:33

애들이잖아요 CPU CPU 나름대로의

1:35

어떤 특화된 작업들 GPU GPU

1:37

작업들을 이렇게 하게 되는데

1:38

일반적으로 이런 CPU GPU은

1:40

각각이 자기가 쓰고자 하는 램이

1:42

있습니다 CPU 쓰는 시스템 메모리가

1:44

있고 GPU 쓰는 램이란게 있죠

1:46

그래서 어떻게 보면은 물론 뭐 애플

1:48

같은 경우에는 이제 공용으로

1:49

유니파이드 메모리라고 해서이 메모리를

1:51

gpus 가져가고 cpus 가져갈 수

1:53

있도록 서로 접근할 수 있도록 이렇게

1:54

설계를 했는데 기본적으로 원칙상으로는

1:56

CPU 할당돼 있는 램이 따로 있고

1:59

GP에 할당돼 있는 는 램이 따로

2:00

있습니다 그 그래서 만약에 CPU

2:02

GPU 이제 협업을 해서 같이

2:03

계산해야 될 수도 있잖아요 예를 들어

2:04

우리가 어떤 특정한 텍스트를 받아들일

2:06

때는 CPU 처리를 했다가 그

2:07

텍스트로 체체 피트로 막 이렇게 쳐

2:09

가지고 다시 추론할 때는 GPU 뭐

2:10

행렬 연산을 막 어마무시하게 해

2:12

가지고 그 값을 다시 메모리에 넣어

2:14

놨다가 그 값 다시 표 가져와서 그걸

2:16

다시 네트워크로 내보내고 이런

2:17

가정들을 잘 해야지 AI 데이터

2:19

센터가 잘 이제 운용을 하게 되는

2:21

거죠 그러니까 우리가 채치 피을 잘

2:22

쓰게 되는 거죠 근데 이게 각각의

2:24

메모리가 가지고 있다라고 하면은이

2:26

PCI 익스프레스는 버스를 이용해

2:27

가지고이 왔다 갔다 하게 되는데 가

2:30

썼던 램을 다시 이쪽 CPU 옮기고

2:32

또 옮긴 거를 다시 또 CPU 썼다가

2:34

다시 옮기고 이러 과정을 막 반복을

2:35

하게 된다는 거죠 그것뿐만 아니라

2:37

여러 곳에 램을 왔다 갔다 해야 되는

2:38

필요성뿐만 아니라이 PCI

2:40

익스프레스고 하는 요러한 특정한 버스

2:43

요러한 속도의 제한이 걸려 가지고이

2:45

많은 양을이 속도 제한이 밴드위스

2:47

제한에 따라서 많은 양을 한 번에

2:49

보내지 못할 수도 있다는 거

2:50

되겠습니다 그래서 엔비디아가 새롭게

2:52

자기들의 독자 규격으로 만든 MV

2:54

링크라는 것이 뭐냐 지금 보시는게 저

2:56

GPU window 저 하나하나가

2:57

코어라고 보시면 되고 저 GPU

2:59

있는데 다른 다른 GP 커뮤니케이션을

3:01

하고 싶은 거예요 그럼 기존에는 이제

3:02

PCI 익스프레스를 이용해 가지고 저

3:04

밴드위스만큼 제가 보낼 수 있는 어떤

3:05

특정한 용량만큼만 보낼 수 있었는데

3:07

GPU GPU끼리 다이렉트로 저렇게

3:10

통신할 수 있도록 MV 링크라는

3:12

규격을 만들었다는 것이 되습니다

3:14

그러니까 기존의 PCI 익스프레스에서

3:15

사용하는 그러한 것들을 이용하지 않고

3:17

피지컬리 그리고 신호처리으로도 새로운

3:20

기술들을 도입했거나 보니까 MV 링크

3:22

GPU 그리 빠르게 통신을 할 수

3:24

있으니까 PCI 익스프레스 다 훨씬

3:26

더 더 많은 데이터를 한 번에 내보낼

3:28

수 있다라는 것이 되겠어요 그래서

3:29

지금 보 보시면은 CPU 있고 GPU

3:31

있어서 요렇게 GPU 그리 서로

3:32

연관을 지으려고 하면은 특별하 이게

3:34

스위치가 있어 가지고 CPU 이렇게

3:36

연결이 될 수 있겠죠 이렇게

3:37

하이라키컬 하게 연결이 될 수 있어서

3:39

커뮤니케이션 하게 되는데 요거를

3:40

만약에 스위치를 바깥으로 두고이

3:42

사이사이를 CPU이 서로 통신할 수

3:44

있게끔 MV 링크가 구성을 할 수

3:46

있게 되면은 얘들끼리 빨리빨리

3:48

처리해서 CPU 그리 통신할 수 있는

3:49

것만 처리할 수 있다 즉 GPU

3:51

어마무시하게 많다 하더라도 GPU

3:53

그리 서로 통신하면서 묶어서 처리할

3:55

수 있는 것이 되겠죠 현재이 4세대에

3:57

접어든 MV 링크 같은 경우에는 최대

3:59

초당 900gb 전송이 됩니다 이게

4:02

PCI J 5의 일곱 배거 지금 가장

4:05

최근에 나온 SSD 아고 하더라도

4:07

PCI Z 4 혹은 J 5로 나오게

4:08

되는데 그런 것들 속도보다도 일곱

4:11

배가 넘는 대역폭을 가지고 있다는게

4:12

되겠습니다 그래서 GPU CPU MV

4:15

링크를 통해서 직접적으로 통하는 요란

4:17

MV 링크도 있고 GPU끼리 얘네들

4:20

그리 이렇게 서로 통하면서 밴드

4:21

위치를 넓혀 가지고 많은 데이터를

4:23

서로 통신하면서 처리할 수 있도록

4:24

이렇게 할 수 있는 것이 되겠죠요

4:26

밑에 있는게 하이밴드 위 그래픽

4:28

메모리 그래서 어마무시한 양의

4:30

데이터들이 왔다갔다 거잖아요 이미지를

4:31

생성하던 비디오를 생성하던 채치

4:33

피트를 하든 행렬 연산과 온갖

4:35

연산들을 많이 할 텐데 그러한 메모리

4:37

용량을 늘리는 것뿐만 아니라 매물만

4:38

늘리면 뭐 합니까 이게 또 왔다 갔다

4:40

빨리 해야 되지 않습니까 그래서

4:41

그거를 넓히기 위해서 MV 링크라는

4:43

독자 규격을 사용하였다 이렇게 이해를

4:46

하시면 되겠고요 그래서 2세대

4:47

300gb 3세대 600gb 4세대

4:49

900gb 아지 올리고 있는데이

4:51

기술을 어떻게 mbd가 구했느냐 사실

4:54

기술적으로 봤을 때는 물리적인 영향을

4:56

더 키운게 영향이 커요 여기 링크라고

4:58

돼 있죠 gpo 당 링크라 라는 거를

4:59

여섯 개 12 개 18개 그러니까 더

5:01

많은 고속도로를 배치해서 한 번에

5:03

보낼 수 있는 고속도로를 만들었다라는

5:05

돼요 그만큼 돈이 많이 들겠죠 근데

5:07

그렇게 돈이 많이든만큼 그만큼 더

5:09

비싸게 파니까 요렇게 한다고 보시면

5:10

되겠고요 볼트 아키텍처 암페어

5:12

아키텍처 호퍼 아키텍처 이거는 다

5:14

VB a00 h 100이라고 보시면

5:16

됩니다 그 GPU 구성에 맞게 맥시멈

5:18

레인 수를 더 많이 늘렸다고 보시면

5:20

돼요 그렇게 해서 훨씬 더 많은

5:21

컴퓨팅을 지원할 수 있게 얘기를

5:23

했다라고 보시면 될 거 같고요 그래서

5:25

지금 h00 4가는이 마이크로소프트나

5:27

메타 같은 곳에는이 18개 링크를

5:29

사용해 가지고 밴드 스를 넓힌 것이

5:31

되겠습니다 결국 돈을 많이 때려

5:32

넣었다고 보시면 돼요 독자적으로 만든

5:34

h 100이라는 GPU ES 독자적인

5:36

링크를 사용하니까 이렇게 지원을 하게

5:38

되는 것이 되겠고 그래서 h 백에서

5:40

이제 GPU 아고 GPU 그리

5:41

요렇게이 레인 수를 18개를 해서

5:43

서로 엄청나게 빠르게 통신할 수

5:45

있도록 하고 또이 토폴로지를 여러 개

5:47

이렇게 인터커넥트를 잘해 가지고

5:49

통신할 수 있도록 연결 한다라고

5:50

보시면 될 거 같고요 더욱 재밌는

5:52

것이이 칩 2칩 링크를 봤을 때는

5:54

원래이 두 개의 프로세서를 단일

5:55

패키지 안에 결합해 가지고 슈퍼칩

5:57

만드는 버전을 얘기를 하는 건데 요

5:59

대표적게 바로 이제 그레이스 하퍼

6:01

슈퍼칩 있죠 걔들 같은 경우에는

6:02

GPU CPU 결합을 한 구조가

6:04

되니까이 치투 칩 링크를 MV 링크

6:06

규를 통해서 훨씬 더 많은 데이터를

6:08

빠르게 전송할 수 있도록 그러니까

6:10

hpc 나 AI 작업에 제대로 대응할

6:12

수 있도록 만들었다고 보시면 될 거

6:13

같고요 이제이 컴퓨팅에 이제 레고

6:15

링크라고 부리는 요런 MV 링크 같은

6:16

경우에는 마치 레고 조각으로 이렇게

6:18

딱딱딱 꽂는 것처럼 엄청나게 많이

6:20

연결되 있는 GPU 연산을 하기

6:21

위해서 특히 이제 dgx 시스템 같은

6:23

것들이 그렇죠 모든 여덟 개의 GPU

6:25

있는 MV 링크의 MV 스위치 칩을

6:27

통해서 직접 이렇게 빠르게 소통할 수

6:29

있도록 로 스위칭을 해 준다는게

6:30

되겠습니다 아까 말씀드렸다시피 여섯

6:32

개 12개 18개로 이제 링크 수를

6:34

점차 늘려가면서이 속도를 물리적으로

6:37

고속도를 넓힌 거를 통해서 두 배

6:39

이상 빠르게 만들었거든요 근데

6:40

그것뿐만이 아니에요 이걸 링크

6:41

어그리게이션이라고 하는데이 링크를

6:43

점차 적적 쌓았다는 거죠 근데 거기에

6:45

더해서 GPU 포트가 더 몇 개가

6:47

있느냐고 네트워크 스위치가 얼마나

6:49

좋으냐에 따라서 또 증가를 한게 된

6:51

것이 되겠습니다 여기에 더해서 m

6:53

링크는 PCI 엑스프레스가 안 쓰는

6:55

새로운 신호처리 기술을 썼는데 그게

6:57

바로 지금 보시는 팜 4라고 하는

6:58

겁니다 팜 4 원래는 보통 이제 넌

7:00

리턴 to 0라고 해서 아날로그

7:02

신호를 디지털 신호로 바꿀 때 요렇게

7:04

아날로그로 돼 있는 파형을 디지털

7:06

신호로 바꿀 때 0 0 1 0 0 1

7:08

1 요렇게 보내죠라 레벨을 구성해서

7:11

나눠 가지고 특정 단위 시간 동안

7:13

0과 1을 하나씩만 보내도록 했는데

7:14

판포 같은 경우에는 이렇게 레벨을

7:16

같은 시간에 하나 둘 셋 넷네 가지

7:19

측위를 나타내는 펄스 앰플리튜드

7:21

모듈레이션 요러한 방식을 쓰다는

7:23

거예요 이렇게 되면은 같은 시간에

7:24

서로 다른 층위의 어떠한 아날로그

7:26

시너를 디지털 신너로 바꿈으로 돼서

7:28

더 많은 정보를 보내 수가 있겠죠

7:29

대신에 이러한 신호처리 빠르게 잘해

7:31

주기 위해서는이 신호의 인테그리티 잘

7:33

보장을 해 줘야 되는데 요러한

7:34

고속에서 MV 링크 규격을 잘 맞출

7:36

수 있는 것들로 설계를 했다라고

7:37

보시면 되겠습니다 제가 오늘

7:39

엔비디아의이 HB GPU이 여러 개

7:41

모였을 때 얘네들이 어떻게

7:42

커뮤니케이션을 해 하느냐를 굳이

7:45

설명드린 이유는 앞으로 AI

7:46

데이터센터가 어마무시하게 많이 지어질

7:48

거고 이와 관련된 기술들이 쏟아질

7:50

겁니다 왜냐면은 여기에 대한 니즈가

7:52

엄청나게 많은데 h 100만 중요한게

7:54

아니에요 HB도 많이 써야 되고

7:56

그리고 거기에 들어가는 또 CPU

7:57

있어야 될 거예요 CPU 들어간다

7:58

하면은 그 CPU GPU 소통을 할

8:01

수 있는 그런 규격도 있어야 되는데

8:02

그렇다 보니까 지금 다시 주목받는

8:04

게이 cxl 같은 거죠 엔비디아의

8:06

00이 MV 링크라는 파격적인 규격을

8:09

채원을함으로써 엄청나게 주목을 받고

8:11

지금 돈을 많이 벌듯이 cxl

8:13

마찬가지로 그런 식으로 주목을 받을

8:14

수가 있다라는 거예요 그래서

8:15

앞으로는이 단일칩 뿐만이 아니라 칩간

8:18

커뮤니케이션이라는 향고 데이터 규격

8:19

같은 거 요런 것들도 주요 기술들의

8:22

포인트가 될 거고 요것과 관련해서도

8:23

많은 시장이 만들어질 거고 우리가

8:25

사용하는 데이터 규격도 바뀌어질

8:27

것이기 때문에요 부분도 계속해서 팔로

8:28

하면서 소식 전해드리도록 하겠습니다

8:30

이렇게 엔비디아 젠슨의 배짱 장사는

8:33

다 이유가 있다라는 측면에서 기수

8:35

설명을 하고 있는

8:42

안공였습니다