저글링 2~3마리 모았더니 울트라리스크가... [작은 AI 모델을 섞기만 하면 GPT3.5보다 성능이 좋다는데 이건 온디바이스AI 혁명입니다]

저글링 2~3마리 모았더니 울트라리스크가... 작은 AI 모델을 섞기만 하면 GPT3.5보다 성능이 좋다는데 이건 온디바이스AI 혁명입니다

 

안될공학 - IT 테크 신기술

 

#온디바이스AI #GPT #인공지능

https://www.youtube.com/hashtag/%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5

안될공학 - IT 테크 신기술

 

GPT의 기반인 Transformer 논문 이름이 “Attention is All You Need" 였죠. 최근 아카이브에 “Blending is All You Need" 라는 논문이 올라왔습니다. 작은 AI 모델 2~3개를 잘 섞어 학습하면 그보다 10배인 챗GPT 보다 더 좋은 성능을 낸다는 건데요. 실제로 130억, 60억, 60억 이렇게 세개 섞은 모델이 1750억개의 GPT3.5 보다 챗봇 성능 지표 기준으로 더 나은 값이 나온 결과를 보였습니다. 온디바이스AI가 현재 스냅드래곤 기준 100억개 내외 수준의 LLM을 돌릴 수 있는 것으로 보았을 때, 이게 가능하다면 훨씬 더 큰 규모의 AI 모델도 온디바이스로 구동이 가능하지 않을까 생각이 드는데요. 관련 논문 자세히 보시면서 온디바이스AI 혁명의 시작이 아닌지 살펴봅시다

 

 

지금 어떤 상황이냐 요런 것들 한 두

0:01

개 조합을 해 가지고이 커다란 놈 한

0:03

놈을 이겼다는 얘기를 하고 있는

0:04

거예요이

0:07

논문이네 여러분 반갑습니다대 공학

0:09

에러입니다 갤럭시 언팩 행사도 이렇게

0:11

있었고 그렇게함에 따라서 온디바이스

0:12

AI 것에 대해서 상당히 관심이

0:15

높아지고 있는데요 일단 그게 뭐냐라는

0:17

것부터 시작해서 이제는 그 개념은

0:18

알겠는데 이거 어차피 체치 PT만큼

0:21

못 하는 거 아니야 요런 의문을 많이

0:22

가지시기 합니다 그런데 제가 지난주에

0:24

본 논문 중에서 어 이거 이제 진짜

0:26

온디바이스 AI a 최지 PT 급으로

0:29

말을 하는 모델이 나올 수 있겠는데

0:31

싶은 논물이 있어서 깜짝 놀라서 제가

0:32

소개를 해 드리려고 하는데요 원래

0:34

GPT 기반이 됐던 그

0:58

트랜스포머라쳇 한번 좀 더 정리를 해

1:00

보면서이 논문에 대한 내용이 진짜

1:02

사실인지 앞으로 온디바이스 AI

1:04

세상이 어떻게 펼쳐질지 요런 것들

1:05

한번 살펴보도록 하겠습니다 지난번에

1:07

제가 갤럭시 언팩 행사에서 온디바이스

1:08

AI 지금 채지 피티와 같은 서버용

1:10

AI a 차이점을 제가 한번

1:11

설명드렸는데 모르시는 분들이 있을 것

1:13

같아서 다시 한번 간략하게

1:14

설명드리겠습니다 그 우리가 손전등

1:16

같은 경우에는 배터리를 넣고 전원만

1:17

켜면은 불이 켜지잖아 그러니까 언제

1:19

어디서나 불을 딱 켤 수가 있지만

1:21

불이 막 엄청나게 화나진 않죠 그리고

1:23

여러 개 켤 수도 없잖아요요 하나에

1:24

대해서만 딱 할 수 있는 겁니다

1:26

반면에 우리 집에 저렇게 다양한

1:27

전구들이 있다 보면은이 전선만 연결돼

1:29

있으면 는 여러 개를 다 켤 수가

1:30

있잖아요 훨씬 더 환하게 할 수가

1:32

있습니다 어떤 느낌인지 감이 오십니까

1:33

온 디바이스 AI 바로이 손전등 같은

1:35

거예요이 스마트폰과 같이 포터블 한

1:37

디바이스들 이렇게 들고 다니면서

1:38

하는데 특별한 연결이 필요 없어 즉

1:40

커뮤니케이션이 필요 없는 거예요

1:41

여러분들이 통신이 통하지 않는다

1:42

하더라도이 디바이스에 배터리만

1:44

있으면은이 AI 관련된 서비스를

1:45

이용할 수 있다라고 이해를 하시면

1:47

되는 거예요 그렇다 보니까이

1:48

디바이스에서 동작을 할 수 있게끔

1:50

만들어야 되다 보니 칩 사이즈에

1:51

한계가 있고 또 전력 소모에도 한계가

1:53

있고 이렇다 보니까 너무나도 큰 모델

1:54

지금 서버에 올리는 체 gptn

1:56

gpt4 같은 모델 요런 것들을

1:57

올리기는 쉽지가 않죠 반면에 서버에서

1:59

는 우리가 채집 히에 이렇게 뭐

2:01

텍스트를 쓰면은 그걸 쓴게 서버로

2:03

갑니다 서버로 가서 거기에서 막 돌아

2:05

가지고 다시 통신을 통해서 우리

2:07

휴대폰으로 넘어오는 거죠이 전기도

2:09

마찬가지잖아요 발전소에서 터 전선을

2:11

타고 와 가지고 우리 집에 전압 전류

2:12

이렇게 딱 이게 되고 있어야지 전원이

2:14

흐르면서 불이 켜지듯이 다양한 모양의

2:16

전구들을 켜기 위해서는 저렇게

2:17

연결들이 다 되어 있어야 한다는 거죠

2:19

요게 딱 비교가 될 수 있을 건데

2:20

온디바이스 AI 된다는 것은 결국

2:22

간단하지만 제약이 있다라는 거죠

2:24

그래서 파라미터 수의 제약이 있습니다

2:25

실제로 l&m 모델들을 잘 보면은

2:27

역대 l&m의 파라미터 수를 본

2:29

건데요 사이에도 굉장히 많은 것들이

2:30

나왔어요 GPT 3 3.5만 하더라도

2:32

150억 개였고 메가트론 튜링 팜이

2:35

든가 뭐 이런 것도 이제 500

2:36

빌리언 그러니까 5,000억 개가

2:37

넘어가죠 GPT 폰 얼만지도 몰라요

2:39

근데 지금 디바이스에 넣을 수 있는

2:41

수준이이 라마 큰 모델보다 더 작은

2:43

모델이에요 지금 10빌리언 그러니까

2:45

100억 개 정도 넣을 수 있거든요

2:46

그러니까이 위에 있는 애들은

2:47

얘네들보다 훨씬 작은 모델인데

2:48

온디바이스 AI 구동하기가 어렵다라고

2:50

보시면 될 거 같아요 대충 후려쳐서

2:52

말씀드리면 그렇다는 거예요 그래서

2:53

실제로 갤럭시 s24 시리즈 울트라에

2:55

들어간 스냅드래곤 h gen

2:56

3라는이를 보면은 업투 10빌리언

2:59

그러니까 100억개 까지 디바이스를

3:00

넣을 수 있다라고 하는 거고 나중에

3:02

윈도우즈 온 암으로 퀄컴이 내놓는

3:04

스냅드래곤 x 엘리트요 칩 같은

3:05

경우에는 13 빌리언 아지

3:07

지원합니다는 얘기까지 있죠 좀 더

3:08

확장이 된다는 겁니다 그러니까 이제

3:10

라마 2에 이제 7빌리언 리 70억

3:11

개짜리 요런 것들은 130억 개보다

3:13

작으니까 돌아갈 수 있다라고 보는

3:15

것이 되겠는데 물론 이걸 단순히

3:17

소화한다 뿐만이 아니라이 초당 토큰

3:19

수도 중요해요 요거 같은 경우에는

3:20

초당 토큰 수가 3개니까 굉장히 빠른

3:22

편이죠이 작은 모델에서 빠르게 돌아갈

3:24

수 있다 뭐 이런 얘기를 하고 있는

3:25

것이 되겠습니다 그래서 온디바이스

3:26

AI 있는 일단 그러한 큰 모델을

3:28

가져서 돌릴 수 있을 만한 그런 뉴럴

3:31

엔진이 있는 것이냐가 있는 것이냐라는

3:33

것도 중요하고 거기에서 이제 빠르게

3:34

돌려서 저렇게 토큰을 바로바로 그

3:36

토큰은 이제 단어라고 보시면 돼요

3:37

요러한 것들이 구동될 수 있도록

3:39

온디바이스 AI 대한 관심이 높아지고

3:40

있다 근데 아까 앞서 보셨다시피이

3:42

크기가 너무 작은 것만 되니까 요런

3:45

것들 어떻게 하지 했는데 지금 어떤

3:46

상황이냐 요런 것들 한 두 개 조합을

3:48

해 가지고이 커다란 놈 한 놈을

3:49

이겼다는 얘기를 하고 있는 거예요이

3:50

논문이 그래서이 논문입니다 블렌딩

3:52

is 올유니드 더 싸고 더 좋은

3:56

대한제 뭐에 대해서 트릴리온 파라미터

3:58

LM 그래서 캠브리지 대학과

4:01

유니버시티 컬리지 런던 요기서 했네요

4:03

뭐이 자세히 볼 건 아니고이 논문을

4:04

쭉 보시면은 뭔가 도면을 보면서

4:06

말씀드릴게 별로 없는데 일단 블렌딩

4:08

방법 자체가 서로 다른 작은 이런

4:10

대화형 AI 모델들이 있잖아요 여기서

4:11

6일과 1빌 썼다고 하는데 저렇게

4:14

작은 모델들 두 개에 답을 주는 거를

4:16

임의로 선택해 가지고 생성하는 방식을

4:18

택하고 있어요 핵심이 작은 애 두

4:19

이명서 서로 도와가면서 점차 더 좋은

4:22

답변을 만든다는 것에 있습니다 느낌이

4:24

다른 것들을 합쳐 가지고 더 큰 거를

4:26

발성할 수 있다라는 얘기를 하는 것이

4:27

되겠고요 그런 성과부터 먼저

4:28

말씀드리면 여기 지금 인게이지먼트와

4:31

리텐션이란 돼 있죠 인게이지먼트

4:32

리텐션 요게 인게이지먼트 리텐션

4:34

우리나라 말로 하면은 이제 참여도

4:36

사용자 유지율 요걸 얘기를 하는 건데

4:38

여기 체포 같은 시스템에서 계속 이제

4:40

사용자가 이걸 유지를 하고 있느냐

4:41

아니면 참여도가 얼마나 되냐라는

4:43

척도를 나타낸 거예요 그래서 이제

4:44

블라인드 테스트를 한 거죠 그렇게

4:45

해서 해 봤는데 요거 두 개를

4:47

블렌딩한 거 136 6을 블렌딩한

4:49

거가 채지 PT 3.5 다 훨씬 높은

4:52

인게이지먼트와 훨씬 높은 리텐션을

4:54

가지고 있다 개별은 훨씬 낮죠 훨씬

4:56

낮은데 두 개 합치가 훨씬 더

4:57

높다라는 결과를 가지고 온 거예요

4:59

그래서 블렌딩 알고리즘 보니까 먼저

5:00

모델을 일단 선택을 해야겠죠 그래서

5:01

블렌딩을 어떻게 하느냐 어떻게 섞을

5:03

거냐 하는데 일단은 어떤 걸 할지를

5:04

골른 다음에 그 좀 유닉한 애들끼리만

5:07

뽑습니다 그런 다음에 사용자한테 어떤

5:09

보 입력을 받겠죠 그럼 그 받으면은

5:11

모든 AI 모델들이 일단은 다 생성을

5:12

하는 거예요 그래서 얘는 이렇게

5:13

대답하고 얘는 저렇게 대답하고 이걸

5:15

다 갖고 온 다음에 그렇게 각각

5:16

생상된 거를 어떤 기준에 따라 일단

5:18

평가를 합니다 점수를 먹기는 거죠

5:19

그래서 평가 과정을 통해 가지고 가장

5:21

적절한게 뭐냐라고 다시 또 응답이

5:22

결정이 돼서 사용자한테 전달이 됩니다

5:24

그러면 이거를 이제 시스템이

5:25

사용자에게 피드백을 주고 요러한

5:26

데이터들이 어떻다 저었다 이렇게

5:28

의견을 주면은 그거 자체로 또 사실

5:29

습을 하는 거예요 그럼 더 작은 것에

5:30

있어서도 좋은 모델을 뽑아낼 수 있다

5:32

이거 엄청난 발견 있지 않습니까 제가

5:33

예전에 스테이블 디퓨전 나온 로라

5:35

모델 같은 것들도 소개해드렸지만 결국

5:37

큰 모델을 디스틸레이션 이렇게 좀

5:39

작게 만든다거나 아니면 이제 튜닝을

5:40

하면서로 랭크로 이렇게 점차 경량화를

5:42

만들어 갖고 쓰면은 아무래도 이게

5:44

스케링 효과 때문에 똑같은 숫자를

5:46

나타내던 거를 열 비수로 표현하던

5:47

거를 뭐네 빗으로 밖에 표현 안 하고

5:48

뭐 이렇게 하면은 아무래도 손실이

5:49

있거든요 근데 이런 방식으로 서로

5:51

모델들 그리 서로 학습하면서 피드백을

5:52

준 거를 학습을 하면은 기존 모델보다

5:54

훨씬 더 좋다라고 하면은이 온디바이스

5:56

AI 그래도 상당히 좋은 품질의 어떤

5:58

AI 서비스가 가 통신 없이도 될 수

6:00

있다라는 것이 또 한번 뛰어넘는

6:02

결과이기 때문에 이게 아카이브 있는

6:03

논문이지만 바로 정리해서 한번 공유를

6:05

해 드려봤습니다 온디바이스 AI

6:06

갤럭시 출시와 함께 이렇게 주목을

6:08

받고 있는 상황인데 정말 빠르게

6:09

발전이 되고 있고 AI 모델이 어느

6:11

정도 정리가 되면은 요런 것들을

6:12

각자가 mpu 갖고 있기 때문에 AI

6:14

모델만 바꿔서 AI 서비스를 확장해서

6:16

돌릴 수가 있겠죠 그래서 지금 하루가

6:18

멀다 하고 AI 모델이 너무나도

6:19

빠르게 발전되기 때문에이 gpt3

6:21

gpt4 뭐 이런 얘기가 나오지만

6:23

아도 우리가 진짜로 널리 쓸 수 있는

6:25

AI 진짜 격려가 돼서 빠르게 퍼지지

6:27

않을까 싶어서 오 한번 요약해

6:28

보았습니다 아직 아카이브에 있는

6:30

논문이기 하지만 이렇게 신박하게

6:31

블렌딩하는 방법으로 GPT 3.5

6:34

수준에 우월한 AI 모델을 만들 수

6:35

있는 정양화 모델을 바라보니 정말로

6:37

온디바이스 AI 할 수 있는게

6:39

무궁무진해질 거라고 기대하고 있는

6:40

안대 공학