이미지 생성 이젠 실시간으로! 텍스트 입력하면 즉각 고퀄 이미지 생성, 애니메이션도 뚝딱! [기존 확산 모델과는 다른 LCM-LoRA 원리와 디자인 업계 판을 뒤바꿀 예시까지!]

이미지 생성 이젠 실시간으로! 텍스트 입력하면 즉각 고퀄 이미지 생성, 애니메이션도 뚝딱! 기존 확산 모델과는 다른 LCM-LoRA 원리와 디자인 업계 판을 뒤바꿀 예시까지!

 

Stability AI에서 내놓은 Stable Diffusion 은 이후 Stable Diffusion XL 모델까지 내놓으며 점차 고퀄리티의 이미지 생성 툴로 진화하고 있는데요. 이제는 Latant Consitancy Model (LCM) 이라는 새로운 모델로 단계를 축소하여 빠른 속도로 이미지를 생성합니다. LoRA 모듈과 결합하여 빠르게 튜닝된 LCM-LoRA는 이제 디자이너들이 일러스트를 할 때에도 방법 자체가 완전히 바뀔 수도 있을 것으로 보이는데요. 그동안 늘 버퍼링으로 한참을 기다려야했던 것이 이렇게 빠르게 가능해지면서 생기는 변화와 다양한 예시들을 소개해드리겠습니다.

 

이렇게나 빨리 생성이 된다는 거죠

0:01

지금 보이세요 지금 바로 실행한

0:02

거거든요 그래서 저 정도로 뭔가

0:04

흡족할 만한 이미지가 생성이 된다라고

0:06

보시면 되겠고요 매트릭스 1 장면의

0:08

한 장면을 저렇게 애니메이션으로 바로

0:10

적용 할 수 있다라는 거 그럼

0:11

텍스트를 쳐 가지고 내가 원한

0:12

영상들을 바로바로 캐치를 할 수

0:14

있으니까 구조적으로 움직임에 따라서도

0:16

바로바로 즉각적으로 반응할 수

0:20

있도록네 여러분 반갑습니다 안대 공학

0:22

에러입니다 세상이 정말 빠르게 바뀌고

0:24

있습니다 그런데 또 한번 정말

0:26

엄청나게 변했는데요 11월 9일부터

0:28

이제 이미지 생선과 관련돼서

0:30

초고속으로 정말 빠르게 변환 부분을

0:31

알려 드리려고 합니다 바로 스테이블

0:33

디퓨전 LCM 로라라는 모델을

0:35

나옴으로써 지금 보시다시피 실시간으로

0:38

저렇게 뭔가를 인식하면 저에 대해서

0:40

바로바로 즉각적으로 정말 빠르게

0:42

이미지를 생성해 줘서 거의 동영상으로

0:44

쉽게 애니메이션을 만들 수 있는

0:45

그러한 모델이 소개가 되었습니다 사실

0:47

지금 보시는 요러한 것뿐만이 아니라

0:49

이걸 응용한 다양한 사례들이 있거든요

0:51

그래서 오늘 영상에서 이거의 원리에

0:52

대해서는 잠깐만 끄지 마세요 얼거 다

0:54

하고 나서 짧게만 다룬 다음에 굉장히

0:57

다양한 예시들을 제가 많이 보여 드릴

0:58

거예요 이제 여러분 디자이너분 분들의

1:00

일러스트레이션 하는 방식 디자인하는

1:02

방식 그림을 그리는 방식 자체가 아예

1:03

이러한 방식으로 실시간으로 어떻게

1:05

AI 상호작용하면서 이미지를 생성해

1:07

나가는 방식으로 바뀔 수도 있는

1:09

겁니다 그리고 이게

1:13

가능해짐으로써 disc 텍스트로

1:15

넣어도 바로바로 반응하면서 생성할 수

1:16

있으니까 이걸 터도 한 상당히 다양한

1:18

애플리케이션도 등장할 것으로

1:20

생각됩니다 이런 인사이트도 함께 같이

1:21

알아보도록 하시죠 최근에 이렇게 AI

1:24

생성된 이미지들 많이 보셨죠 진짜

1:26

실제로 있을 법한 아니면은 정말

1:27

아이디얼 하게 만든 거 같은

1:28

애니메이션 같기도 하고 이렇게

1:30

아리따운 여성분과 멋있는 남성분

1:31

이렇게 쉽게 생성할 수 있고 귀엽게

1:33

한다거나 아니면 섹시하게 한다거나

1:35

이런 것들 다 피처로 넣어 가지고

1:36

만들 수도 있죠 그래서 또 이제

1:38

문제가 되기도 한데 너무 또 문란하게

1:39

이렇게 생성하고 해서 어쨌든 이러한

1:41

것들이 가능해진게 바로 스테이블

1:43

디퓨저에 있는 디퓨전 모델을 실제로

1:45

상용화하면서 많은 사람들이이 디퓨전

1:48

모델이란 거 특히나 레이턴트 디퓨전

1:50

모델이란 걸 기반으로 해서 텍스트를

1:52

통해서도 이걸 토대로 이미지를 역으로

1:54

생성할 수 있게 하는 이런게 가능해

1:56

졌거든요 이거의 기본적인 원리를

1:57

간단하게만 후려쳐서 설명드리자면 흔

1:59

레이턴트 디퓨전 모델 ldm이라고

2:01

얘기를 하는데요 요게 텍스트를 입력을

2:03

해 넣으면은 이미지를 역으로

2:05

생산해내는게 되겠습니다 근데 이게

2:07

원리가 되게 재밌어요 어떤 식이야

2:09

원래는이 이미지를 요렇게 이미지

2:11

인코드 해 가지고 하면은 요거를 점차

2:13

이렇게 노이즈를 풀어요 이렇게 점점점

2:15

시커멓게 해 갖고 정말 나중에는

2:16

아무것도 안 보이는 포드 디퓨전 해서

2:18

트레이닝을 해 두면은 나중에는 역으로

2:20

이러한 노이즈로부터 특정한 이렇게

2:22

이미지 커맨드가 나오 지면은 그걸

2:24

통해서 여를 이렇게 생성을 해 낸다는

2:26

겁니다 즉 우리가 물에다가 잉크 한

2:28

방을 딱 떨어뜨리면 점점 확산하자

2:30

확산이 디퓨전 이죠 확산되는 그

2:31

개념의 역의 과정을 텍스트를 통해서

2:34

아무것도 없는 상태에서 점차 단계

2:36

단계 계산해서 이미지를 생성해

2:38

나간다는 거죠 그래서이 노이즈를 점차

2:39

이렇게 제거를 해 나가는 방식으로

2:41

역디 퓨전을 통해서 굉장히 고의

2:42

성도의 그리고 굉장히 고퀄리티의

2:44

이미지를 생성해 낼 수가 있는 것이

2:45

대요 여기서 확장된 모델이 이제 한

2:47

네배 정도 큰 모델인 스테이블 디퓨전

2:49

엑 라지라 모델입니다 SD XL이라고

2:51

부르죠 그래서이 스테빌리티 API

2:53

통해서이 개발자들이 요거를 이용을할

2:55

수 있도록 지원을 하고 있고이

2:56

스테이블 디퓨저 라지는 스테이블

2:58

디퓨저 2.1 1보다도 더 좋은

3:00

구성을 갖고 있습니다 근데 이것보다

3:02

한 단계 더 발전된게 이번에 나온

3:04

거예요 바로 기존에 있는 레이턴트

3:05

컨시스턴시 모델이라는 거를 제시를 한

3:07

건데요 아까는 레이턴트 디퓨전

3:09

모델이라고 했죠 디퓨전 확산을

3:11

시킨다는 거예요 단계별로 확산을

3:12

시키고 노이즈를 조금 넣고 또 조금

3:14

넣고 이렇게 단계 단계 단계 단계

3:16

여러 단계를 해 가지고 노이즈를 썼고

3:17

반대로 노이즈가 완창 섞여 있는

3:19

아무것도 없는 상태에서 또 단계별로

3:21

단계별로 벗겨내면서 이미지를

3:22

생성해내는 형태가 바로 기존의 ldm

3:24

모델이라고 했죠 레이턴트 디퓨저 모델

3:26

근데 LCM 컨시스턴시 모델이라는

3:28

거는 목적은 이거예요 빠르게 생성하고

3:30

싶다는 거예요 그러면은 우리가 잉크

3:32

한 방을 떨어뜨리고 두 방을

3:33

떨어뜨리고이 단계를 계속 단계 단계를

3:35

쪼개 갖고 해야지만이 고품질을 낼

3:36

수가 있었는데이 단계를 축소를 시키고

3:38

싶은 거예요 기존에는 수십번의이

3:40

스테이지가 있어야 됐거든요 그래서이

3:41

디퓨전 단계를 거치고 역 디퓨전

3:43

거치면서 고퀄리티의 저런 사진들을

3:45

내보낼 수 있었는데 지금은 여기

3:47

보이시죠네 번의 스텝의

3:49

인퍼런스만으로도 이렇게 고퀄리티의

3:51

이미지를 생성해 낼 수 있다라는 것이

3:53

되겠죠 이게 어떻게 가능하냐 좀

3:54

신기하죠 이거는이 역으로 확산하는

3:56

과정 있죠 거꾸로 이제 텍스트와이

3:58

노이즈가 왕창 섞인 거에서 역으로

4:00

이렇게 이미지를 생성해 나갈 때요 역

4:02

확산 과정에서 특정한 부분을 수식으로

4:04

아예 대체를 해 버렸어요 노이즈를

4:05

점점 벗겨지는 거를 정확하게 말해서

4:07

이제 프리티 플로 기반의이 미분

4:09

방정식 공대 다니신 분들 아시죠 미방

4:11

정말 싫은 거 미방을 통해서 이거

4:13

미방을 푸는 걸로 대체를 했다는

4:14

거예요 그러니까 여러 가지 스텝이

4:16

있었는데 요거를 어떤 특정한 방정식을

4:18

푸는 형식으로 대체를 해 버리니까

4:20

기존 방식보다 훨씬 더 빠르게이 다음

4:22

모델은 이렇게 될 거야라고 예측을

4:23

바로바로 해 버리니까 요걸 빨리 할

4:25

수 있었는데 이게 퀄리티도 괜찮았다는

4:26

겁니다 동단에 이러한 방식으로

4:28

하니까이 LCM 같은 경우에는

4:29

기존보다 훨씬 더 적은 시간 동안의

4:31

학습만으로 충분히이 데이터를 확보할

4:33

수 있는 이런 것도 되었다고 합니다

4:35

바로이 논문이 LCM 로라 로라도

4:37

나중에 설명드릴게요 어 유니버설

4:39

스테이브 디퓨전 엑셀러레이션 모주

4:41

이렇게 돼 있는데 실제 논문에

4:43

들어가서 보면은 뭐 대표적으로 피카츄

4:46

피카츄를 그냥 하면은 투스텝 포스텝

4:49

8스텝 할 때이 8스텝 보세요 8스텝

4:51

이거 뭐 조은 적기도 안니고 조금

4:52

애매하잖아요 32 스텝까지 가야 좀

4:54

봐줄 만한데 LCM 로라를 딱 갖다

4:56

붙였더니 토스텐 만에 오 포스텐 만에

4:58

오 8 스텝 번에 오 점점 잘 나오죠

5:01

이렇게 LCM 로라를 하면은 적은

5:02

단계이 적은 단계를 통해서도 이렇게

5:05

충분히 좋은게 나오더라 허인 패스도

5:07

이렇게 올라왔는데 예제들이 더

5:08

있습니다 자 이런 사진들 봅시다 한

5:10

번 추론을 때는 좀 뭉개져 있죠 두

5:11

번째도 좀 모고 왔는데 세 번째네

5:14

번째 충분히 어 흡족하지 그래서 점점

5:16

더 이제 정교화 되는 가정인데

5:18

이렇게나 빠르게 추론을 할 수

5:19

있으니까 여러분들이 실시간으로

5:21

텍스트를 넣더라도 이거를 바로바로

5:22

생성해낼 수 있다는 겁니다 여기서

5:24

LCM D 붙은 로라라는 거는 로랭크

5:26

어댑테이션 약자 든요 요게

5:27

어마어마하게 큰 모델이 있으면 이걸

5:29

미세 조정하는 방식을 말하는 건데

5:31

원래 이제 선생님이 되는 큰 모델이

5:33

있고 요거를 좀 추출해 가지고

5:34

디스틸레이션이라 하거든요 좀 작은

5:36

모델로 이렇게 미세 조정하는 형태를

5:37

우리가 디스틸레이션이라고 하는데

5:39

기본적으로 로랭크 어댑테이션이 모듈을

5:41

추가함으로써 기존 모델에 조금만

5:42

수정을 해 가지고이 LCM 적용을

5:44

한다는 겁니다 그러니까 기존에 있는

5:46

스테이블 디퓨전 이라든가 아니면

5:47

스테이블 디퓨전 엑스라지 로라를

5:49

적용해서 LCM 적용해서 빠르게

5:51

만들어 낼 수 있다는 거죠 즉 지금

5:53

바로 생성이 가능해서 수많은 예제들이

5:55

지금 나오고 있다는 겁니다 그래서

5:56

지금부터 제가 예제를 보여 드리면요

5:58

첫 번째 이런 거 이런 거 그냥

5:59

애니메이션 손쉽게 실시간으로 만들 수

6:01

있다는 겁니다 텍스트로 넣어 가지고

6:02

그리고 이런 것도 보세요 어 뭐라고

6:03

넣는지 모르겠지만 아 좀 섹시한

6:05

여자분이 나오시네요 LCM 로라를

6:07

이용해서 특정한 프롬프트를 넣으면은

6:09

이렇게나 빨리 생성이 된다 거죠 지금

6:11

보이세요 지금 바로 실행한 거거든요

6:12

그래서 저 정도로 뭔가 흡족할 만한

6:14

이미지가 생성이 된다라고 보시면

6:16

되겠고요 그리고 이거는 다른

6:17

애니메이트 디프 모델과 합성을 해

6:18

가지고 한 것으로 보이는데 매트릭스

6:20

원 장면의 한 장면을 저렇게

6:22

애니메이션으로 바로 적용할 수

6:23

있다라는 거 요런 것도 있습니다

6:25

동도나 인트로 때 보여 드렸다시피

6:26

이렇게 캔버스 상에서 적당히 아무

6:28

때나 그리면 는 아무때나 그려도

6:30

저렇게나 예쁘게 그려 준다는 겁니다

6:32

아 진짜 장난 아니지 않습니까 그래서

6:33

불을 저렇게 지글지글 하면은 불처럼

6:35

그냥 렇게 대충 보이고 모자를 씌우면

6:37

모자도 저렇게 씌워지고 알아서 이렇게

6:39

이미지를 텍스트에 즉각적으로

6:40

반응한다는 거죠 밑에 거를 일단

6:42

기본적인 텍스트로 이미지를 생성한

6:43

다음에 저기서 추가로 저렇게 할 수

6:45

있도록 벌써부터 애플리케이션을

6:46

조용해서 사용하고 있다는 걸로 보면

6:48

되겠습니다 기본적으로 스테이블 디퓨전

6:50

1.5 버전에도 저렇게 텍스트를 칠

6:52

때마다 저렇게 바로바로 나타나니까 야

6:54

이거는 진짜 혁명이죠 않습니까

6:55

그동안에는 항상 모든 기술들이

6:57

그렇지만 성능 우선적으로 끝까지

6:59

끌어올렸다가 이제는 이게 정말 빠르게

7:01

되면 어떻게 될까 하니까 완전히 다른

7:03

애플리케이션으로 확장할 수가 있다는

7:04

거죠 이게 메타버스에 들어가면은

7:06

즉각적으로 텍스트를 만들면 우리가

7:07

뭔가 바로 생성해서 나타나는 걸로 할

7:09

수 있겠고 그리고 뭘 치고 나서 한참

7:11

기다리면서 하는게 아니니까 콘텐츠를

7:13

생산하고 이미지를 생산하고

7:14

비주얼라이제이션 할 때 훨씬 더 빠른

7:16

생산성으로 지원을 할 수가 있겠죠

7:17

거기다가 저렇게 즉각적으로 바로

7:19

하니까 프레임을 다 만들어서 하면은

7:20

동영상처럼 저렇게 애니메이션으로

7:22

표현을 할 수도 있다던가 아까도

7:23

보여드렸지만 원래 있는 이미지에서 좀

7:25

더 구체화를 하기 위해서 저 포맷으로

7:27

해서 좀 더 확장을 해서 더 멋있게

7:28

만든다고 아니면 현재 있는 그림

7:30

저것도 적당히 이렇게 움직이면 자기가

7:32

원하는 대로 할 거니까 여러분 이걸

7:34

생각해 보세요 아 이렇게 하면은

7:35

스테이블 디퓨전이 혹은 AI 이런

7:37

식으로 반응을 하더라는 거를 점차

7:39

디자이너들이 감각을 익혀 나간다는

7:41

거예요 그러면은 아 이렇게 했을 때

7:43

이렇게 변하는 걸로 하자 이걸 잘하는

7:45

사람들이 오히려 디자인을 잘하는

7:46

사람으로 앞으로는 바뀔 수도 있다라는

7:48

그야말로 패러다임의 변화라고 볼 수

7:50

있지 않겠습니까 그리고 단순히

7:51

디자인에만 국한된게 아닙니다 저렇게

7:53

계속 이제 텍스트를 치잖아요 그럼

7:54

텍스트를 쳐 가지고 내가 원한

7:56

영상들을 바로바로 캐치를 할 수

7:57

있으니까 보통 이제 하나치 치고 한참

7:59

기다렸다 하면 아 이거면 됐다 적다

8:01

있자 이렇게 되는데 나한테 쏙 맞는

8:03

거를 바로바로 텍스트를 하니까 내

8:04

반응이 바로 즉각적으로 반응하니

8:06

거기에 대해서 내가 원하는 이미지를

8:07

더 정확하게 생성할 수 있는 가능성도

8:09

높아진게 되겠습니다 그래서 이렇게

8:11

여러분들이 원하시는 형태의 어떤

8:12

애니메이션 모습이나 뭐 가상 연화

8:14

친구라던 저기 가상 연화 친구인지

8:15

모르겠지만 어쨌든 저런 식으로 생성을

8:17

할 수 있다는 거 마지막으로 요런

8:18

예제도 신박하죠 저렇게 어떠한

8:20

구조적으로 움직임에 따라서도 바로바로

8:22

즉각적으로 반응할 수 있도록 요게

8:24

제가 좀 차아 보니까 텍스트로 저렇게

8:25

입력을 해서 생성을 한 다음에

8:27

웹캠으로 바로 저 이미지를 해서 저걸

8:30

다시 컨버팅하는 이런 식으로 뭔가

8:31

접근했다고 하는데 요거 방식도

8:33

신기하죠 그러니까 이게 빠르게

8:34

생성하는 것만으로도 다른 사람들이

8:36

집단지성을 이용해서 더 나은

8:37

애플리케이션을 적용할 수 있다라는게

8:39

우리가 주목해야 될 부분이 아닐까

8:40

싶습니다네 이렇게 AI 또 쏟아지고

8:42

12월에는 또 구글에서 재미 나이를

8:44

발표한다고 해서 오픈에는 또 빨리

8:46

gpt4 터보를 발표하고 계속해서

8:47

경쟁이 심화되는게 아닐까 싶은데요

8:49

어쨌든 지금 2023년을 살고 있는

8:51

우리 모두는 정말 어마무시한 기술의

8:53

혁신을 보고 있고이 기술의 혁신이

8:55

어떻게 파급이 되느냐 사업 자체를

8:57

바꿔 놓고 우리 생산성을 바꿔 놓고

8:59

심지어 기성의 직업들도 대체할 수

9:01

있는 그런 위험성까지 경종을 올리고

9:02

있는게 아닌가 싶습니다 이렇게 오늘도

9:04

빠르게 AI 소식을 전해드리고 있는

9:06

안배

9:12

공화였습니다