동영상이 이제 정말 자연스럽게 생성됩니다. Runway, Pika Lab, Stable Video Diffusion 모두 이겨버린 구글... [압도적 성능의 이유는 시공간 결합?]

 

동영상이 이제 정말 자연스럽게 생성됩니다. Runway, Pika Lab, Stable Video Diffusion 모두 이겨버린 구글... 압도적 성능의 이유는 시공간 결합?

 

 

안될공학 - IT 테크 신기술

 

 

구글 리서치에서 Github 통해 새로운 Text-to-Video, Image-to-Video 모델인 Lumiere를 공개하였습니다. 기존에는 Key Frame 이 되는 장면들을 기준으로 사이사이를 채워넣는 시간적 방법에 공간 업샘플링을 사용했다라고 한다면, Lumiere는 전체 생성 시간을 통째로 다 가져와서 생성하기 때문에 더욱 자연스러운 결과를 만들어내는데요. 이제 정말 영상 촬영자들이 필요 없을 정도로 영상 생성형 AI 가 고도화 되고 있습니다. 바로 서비스를 하지 않는 것을 보면 향후 Gemini 의 후속 세대에 탑재되지 않을까 생각이 되는데요. 실제 기술 내용과 함께 향후의 영상 업계 트렌드까지 생각해보겠습니다. #구글 #생성형AI #Lumiere

 

 

얼마 전에 재미 나이를 발표했 아아

0:01

바드가 그렇게 욕 먹고 나서 재미

0:02

나이를 발표하고 나서 갤럭시에

0:04

제미나이 온 디바이스로 막 들어가고

0:06

온 디바이스 아닌 버전으로 들어갑니다

0:08

그리고 곧 제미나이 울트라도 들어갈

0:10

텐데 요런 이제 영상 생선 관련해서도

0:12

결국 제미나이 다음 버전으로 들어가지

0:17

않을까네 여러분 반갑습니다 안델 공학

0:19

에러입니다 구글 리서치에서 새로운

0:22

텍스트 투 비디오 그리고 이미지 2

0:24

비디오 서비스를 발표했는데요이

0:26

서비스를 바로 하는 것은 아니지만

0:28

기터 브의 상세한 내용에 의 논문과

0:30

함께 지금 보시는 이렇게 다양한

0:32

형태의 어떤 이미지를 생성할 수 있는

0:34

것들을 발표를 했습니다 기존의 피카

0:36

랩이라는 아니면 런웨이 이러한 다양한

0:38

업체들에서 이러한 생성형 AI 모델을

0:40

제시를 하고 해서 좀 새롭게 느껴지지

0:42

않을 수가 있는데요 이게 또 구글이라

0:44

한다기보다는 기준에 있는 모든 것들을

0:47

압도하는 성능을 가지고 있기 때문에

0:49

좀 살펴볼 필요가 있을 것 같아서

0:50

오늘 좀 준비를 했습니다 지금

0:52

보시다시피 특정한 어떠한 어

0:53

그림체라고 하죠 그런 그림체가

0:55

있으면은 그런 형태로 이미지를 생성해

0:57

주기도 하고 특정한 부위만 저렇게

0:58

활성화해서 하는 거 저런 거는 이미

1:00

이제 런웨이 같은 데서 이제 하고

1:01

있는 거긴 하죠 거기다가 특정한

1:03

부분들을 저렇게 옷만 갈아입히는 저런

1:05

것도 가능하고 저게 영상으로

1:06

가능하다는 얘기입니다 그리고 하도

1:07

요즘 AI 업데이트가 많이 되니까

1:09

이런 것들이 별로 신기하지 않을 수가

1:10

있는데 오늘이 구글 루미에르 같은

1:13

경우에는 전체적인이 영상의 맥락을 다

1:15

이해한 다음에 그냥 짧은 클립으로

1:17

지원을 하는 것이 아니라 다양한

1:18

스토리 기반으로 좀 더 자연스럽게

1:20

표현할 수 있다는 점이 좀 주목할

1:22

만한 부분인 거 같습니다이 부분 좀

1:23

살펴 보시도록 하시죠 일단 발표된

1:25

홈페이지 보시면은 구글 리서치에

1:27

루미에르고 돼 있고 여기 보시죠

1:29

스페이스 스타임 디퓨전 모델 포

1:31

비디오 제너레이션 시공간적으로 디퓨전

1:33

모델을 썼다고 하는 부분인데이 뭐게

1:35

좀 핵심입니다 물론 뭐 다 이제

1:37

스페이스 타임 다 하고 있는데게

1:39

일관적으로 처리한 부분들이 있거든요

1:40

요거 나중에 좀 설명드릴게요 그러면서

1:41

텍스트툴 비디오 하면서 이렇게

1:43

사실적인 감각의 영상들을 자연스럽게

1:46

표현하는 부분들 있는데 전 특히

1:48

이렇게 회전하는 거 있잖아요 여기도

1:49

이제 지금 이제 연어회가 스시가

1:50

이렇게 나와 있는데 회전하는 형태가

1:52

좀 잘 고인이 안 됐거든요 회전하면

1:54

좀 약간 일그러지기 하고 좀 어색한

1:55

그런 연출이 많았는데 카메라 포인트

1:57

어 뷰에서 요렇게 생성을 할 때에

1:59

회전을 할 때 자연스러운 어떤 영상을

2:02

연출을 한다라는 것이 좀 상당히 좀

2:04

인상적인 부분이었어요 그리고 이미지가

2:05

딱 주어지면 이렇게 추가적으로

2:07

생성되는 거 코끼리가 막 이제

2:08

바닷속을 이제 걸어 다닌다거나 그리고

2:10

다양한 부분들이 있죠 요건 또 이제

2:12

유명한 곰돌이 이미지죠 그런데 상당히

2:14

좀 자연스러운 모습들 그리고이

2:15

아이스크림요 아이스크림 같은 경우에도

2:17

상당히 사실적으로 표현되는 부분들이

2:18

있습니다 사실 이렇게만 보면은 뭐가

2:20

다 나는지 사실 몰라요 이것도 이제

2:21

그림창 하나 주어지면이 합성 이미지로

2:24

생산을 하는 거죠 그래서 다양한

2:25

이미지들을 이렇게 비슷한 느낌으로

2:26

생산을 한다던가 그리고 그 뒤에 좀

2:28

이제 세부적인 내용들이 있는데 요거

2:29

는 제가 이제 논문들을 살펴보면서

2:31

어떤 것들이 이런 것을 가능하게

2:33

했느냐 그리고 핵심적인 부분은 기준에

2:35

있는 모든 이미지 투 비디오 혹은

2:37

텍스트 투 비디오의 성능을 압도한다는

2:39

거에 있어서 정말 압도하는 건지도 좀

2:41

살펴 봐야겠죠 그래서 이렇게 빈부분이

2:43

있더라도 이렇게 매끄럽게 생성을 할

2:45

수 있는 부분 이렇게 카파도키아의

2:46

어떠한이 열기구가 있더라도 이제

2:48

자연스럽게 생각하는 부분들 요런 것들

2:50

엄청나지 않습니까 일부 이미지 혹은

2:53

영상들이 망가져 있더라도 우리가

2:55

제대로 복원해낼 수 있는 그러한

2:57

비디오를 생산해낼 수 있다라는

2:58

측면에서 상당히 파급력 높을 것으로

3:00

예상이 됩니다 그래서 논문을 보시면은

3:02

루미르 어 스페이스타임 디퓨전 모델

3:04

포 비디오 제너레이션 이렇게 돼 있고

3:06

이보세요 페라리 같은 것도 이렇게

3:08

각도를 조절해 가면서도 잘 생성을

3:10

합니다 다양한 예시들이 있는데 사실

3:11

페이퍼로는 요게 이제 와닿지 않으니까

3:14

여기서는 이제 기술적인 부분들 좀

3:15

살펴보도록 할게요 관심 있으신 분들은

3:17

요러 것들 이미지들 예를 들어 뭐

3:18

이제 요런 것들 이거 프롬프트가

3:20

이렇게 되는 거예요 화성에서 걷고

3:22

있는 우주비행사라고 하면 이렇게 이제

3:24

영상으로 재생된다 그나 그리고 이런

3:25

명화 있죠 이게 진주 귀고리를 한

3:27

손이요 이런 것도 이제 재생해서 막

3:28

웃고 있는 걸로 변할 수 있는 것들

3:30

요것도 영상으로 보시면 재밌을 것

3:31

같습니다 일단 놀라운 부분은 바로

3:33

성능을 다른 어떠한 AI 모델보다 다

3:35

죄다 앞선다는게 핵심입니다 지금

3:37

보시는게 이제 논문에 나와 있는

3:39

텍스트 투 비디오 그리고 이미지 투

3:41

비디오 이렇게 이제 나와 있는 거죠

3:43

그래서 비디오 퀄리티와 텍스트

3:44

얼라인먼트 그리고 비디오 퀄리티를

3:45

각각 비교를 한 것이 되겠는데요

3:47

여기서 말하는 비디오 퀄리티라고 하는

3:48

거는 결국 각각의 이제 방법론들이

3:50

있죠 여기 이제 젠도 있고 피카

3:51

앱에서 나온 것도 있고 뭐 젠 2도

3:53

있고게 이제 런웨이 젠 2죠 그리고

3:55

애니메이트 디프 이런 것들 다 했는데

3:56

주황색이 기준도 있는 것들이고이

3:58

베이스라인의 에 비해서 구글의

4:00

루미에르가 훨씬 더 높죠 이게 두 배

4:03

이상 되는 것도 있고 굉장히 다

4:04

높습니다 비디오 퀄리티가 이정도

4:05

된다라고 얘기를 하는 것이고 텍스트

4:07

얼라인먼트라고 하는 것은 텍스트의

4:09

설명과이 프롬프트에 맞췄을 때이

4:11

비디오가 얼마나 잘 표현하느냐라는

4:13

거에 대해서 이제 사용자들 테 이렇게

4:14

평가를 내린 거죠 그래서 이제 평가를

4:16

해 보니까 기본 베이스 라인보다 훨씬

4:18

더 높은 수준을 가지고 있다 그리고

4:19

이미지 2 비디오 같은 경우에도 카랑

4:21

svd gen2 같은 경우에 훨씬 더

4:22

높다라고 하는 부분들을 보실 수가

4:24

있습니다 그러니까 사용자들의 선호도

4:25

자체가 기존에 있는 것보다 훨씬 더

4:27

높게 나왔다는 것에 상당히 의미가

4:28

있는 것이 되겠죠 뿐만 아닙니다

4:30

논문에 보시면은 여기 테이블 1에

4:32

각각이 메소드 별로 fvd is 아는

4:35

지표를 설명하고 있는데요 것도 이제

4:36

평가 지표 그든 fvd고 하는 거는

4:39

레체 비디오 디스턴스고 해서이 모델이

4:41

생성한 비디오의이 품질을 평가하는

4:43

매트릭 있니다 그니까 비교하자면 이런

4:45

거예요 예를 들 이제 어떤 로렉스

4:46

시계가 있어요이 로렉스 시계를 완전

4:48

짝퉁으로 하나 만든다고 칩시다 근데

4:50

이게 이제 겉면으로 보나 내부에 어떤

4:52

기어가 움직이는 장면으로 보나

4:53

배터리가 어떤 걸 쓰느냐를 비교를

4:54

했을 때나 각각의 어떤 차이점들을 다

4:57

발견해 가지고이 디퍼런스 차이를 다

4:59

다 계상하는 거예요 이걸 디스턴스

5:00

표현을 하고 그래서 얘네들의이

5:02

디스턴스 그이 다 합쳐졌을 때 가장

5:04

작은 것이 그만큼 진품에 비해서

5:06

짝퉁이 얼마나 비슷하게 만들어졌냐

5:09

지표가 되겠죠 이런 것처럼이 fvd

5:11

점수가 낮으면 낮을수록이 생성한

5:13

비디오가 원보 하의 특징과 비교해

5:15

봤을 때 상당히 가깝다고 판별할 수

5:17

있는 그런 기준이 된다라고 볼 수가

5:18

있겠죠 그래서 실제 비디오와

5:19

특징적으로 얼마나 더 유사하라고 봤을

5:22

때에이 루미에르가 32점을 가지고

5:24

있어서 거의 최하위권에 발생하는

5:26

정도죠 물론 svd 좀 더 낮은

5:28

수준을 가지고 있 긴 합니다 svd

5:30

이제 스테이블 디퓨전 이의 비디오인데

5:32

걔네들이 좀 더 앞서긴 한데 루미에르

5:34

좀 더 상당히 낮은 부분을 보실 수가

5:36

있습니다 거기다가 IS 같은 경우에는

5:37

높을수록 좋은 건데 이게 인셉션

5:39

스코라 해서이 생성된 비디오의 어떤

5:41

퀄리티랑이 다이버시티 그니까 다양성을

5:43

평가를 하는 거죠 예를 들어 어떤

5:45

미술 작품이 있다고 하면은 요걸 이제

5:47

전문가들이 심사원들이 봤을 때이

5:49

그림의 화풍이 아 이번 시대에

5:51

정확하게 표현이 되느냐 그럼 어떤

5:52

명확성 평가를 하지만 얼마나 또

5:54

다체롭게 표현되는지 이런 것들을

5:55

정성적으로 평가를 하게 되잖아요

5:57

우리가 이제 치킨 맛을 볼 때도

5:58

치킨을 먹을 때 아 정말 달콤해 근데

6:00

쌉사름한 것도 있고 좀 새콤하게 하고

6:02

근데 기존에 있는 맛은 아니고 이런

6:04

것들의 명확한 포지션 양념 치킨임도

6:06

불구하고 요러한 거짓을 가지고 있다

6:08

이러한 다양성을 풍미를 가져 하지만이

6:10

치킨이 아주 고품질의 어떤 치킨이라고

6:12

판정을 내리듯이이 is 그러한

6:14

면이라고 보시면 될 것 같아요 AI

6:16

스코로 봤을 때에이 비디오가 특정한

6:18

주제를 명확하게 전달하면서도 훨씬 더

6:20

다양한 장면을 표현할 수 있느냐 요런

6:21

것들을 평가를 하는데 요것도

6:23

3실점으로 상당히 낮은 스코어를

6:24

가지고 있죠 그래서 이거의 원인이

6:26

뭐냐는 좀 살펴보면은 기준에 있는

6:27

방식들을 생각해 보죠 여기 ts

6:29

이라고 돼 있는 거는 템포럴 슈퍼

6:31

레졸루션 내 줄의 말입니다

6:32

tsr이라는게 어 번역할 때는 뭐

6:34

초고해상도 이렇게 번역하기도 하는데

6:36

시간에 따라서 이러한 것들의 슈퍼

6:38

레졸루션 각 프레임 프레임의 뭔가

6:41

새로운 프레임을 채워 다라고 보시면

6:42

될 거 같아요 그래서 시간적으로

6:44

시간이 흐름에 따라서 동영상은 여러

6:45

개의 어떤 이미지 장면들을 넣음으로써

6:47

이제 이미지가 생성이 되잖아요 그리고

6:49

재생이 되는 건데 여기에서이

6:51

기본적으로 AI 모델들은 시간에

6:53

따라서이 떨어져 있는 주요 키프레임을

6:55

생성할 때이랑 키프레임 사이사이에

6:57

뭔가를 채워놓는 역할을 했다는 거예요

6:58

그래서이 키 프레임이라고 하면은 어떤

7:00

기점이 된다고 보시면 돼요 아이 시점

7:02

그리고요 시점 1초마다 한 번씩이

7:04

사이사이에 뭔가를 메워 넣어야겠다라고

7:06

하는 접근을 했거든요 그러면이 기본

7:07

단위가이 tsr 단위라는게이 키

7:10

프레임들의 어떠한 하나의 단위로서

7:12

요거에 하나의 맥락을 이해하는 형태로

7:14

접근 했다라고 보시면 되는데 그런

7:16

다음에 이제 공간적으로 이제 스페이셜

7:18

슈퍼 레볼루션은 공간적으로 이렇게 또

7:19

더 확장을 하는 거죠 그래서

7:21

시간적으로 이렇게 쫙 늘린 다음에

7:22

공간적으로 이게 뭐 비어 있는

7:24

부분이라든가 여기서 보시면 펜더가

7:25

움직일 때마다 그 빈 부분들을

7:27

채워주는 형식대로 하는게 기존 방식

7:29

이라면은 루미라 같은 경우에는 아예이

7:31

시간적인이 도메인을 하나로 쫙

7:33

합쳤어요 여기서 5 세컨드로 나와

7:35

있죠 5초에 해당하는이 영역의

7:37

전체적인 맥락을 다 이해한 다음에 한

7:39

방에 시간에 대한 것들을 생성을 하고

7:41

거기에 대해서 SSR 적용한다라고

7:43

보시면 될 거 같아요 이게 핵심적인

7:45

차입니다 그래서 여기서 말하는 st

7:47

유넷 스페이스타임 유닛이라고 하는

7:49

것은 결국 프리트레인 돼 있는이

7:51

텍스트 2 이미지 요런 유닛이 있죠

7:53

텍스트를 이제 이미지로 생성하는 요런

7:54

유닛이 있는데 비디오를 생성하기

7:56

위해서 이제 뭔가 규모를 더 줄인

7:58

다음에 다시 또 업샘플링 해서 변환해

8:00

가지고 뭔가를 생성하는 방식으로 접근

8:02

한다라고 보시면 되겠습니다 기존 유행

8:03

방식 그대로 사용하되 시간을 적절히

8:05

사용해서 생성했다고 보시면 되겠고요

8:07

그래서 여기 루션 베이스드 인플레이션

8:09

블록 여기 인플레이션이라고 하는게

8:10

결국 영상을 재생하기 위해서는

8:12

텍스트를 이미지로 변하고이 이미지를

8:14

또 비디오로 생성을 해야 되잖아요

8:15

점점 확장을 해 나가야 되는데 그러한

8:17

방식을 이제 2D 컨볼루션이라는 방식

8:19

우리가 흔히 이제 합성 고비라고

8:20

부르죠 요러 형태로 해가지고 비디오

8:22

표현을 좀 효율적으로 압축을 한

8:23

다음에 다시 업스킬링 해서 생성을

8:25

하는 방식으로 접근을 했다 그리고

8:27

어텐션 방식을 사용해 가지고 그 전에

8:29

CNN 방식보다 훨씬 더 멀리 떨어져

8:31

있는 그러한 맥락을 이해를 하는

8:32

방식으로 접근을 했다고 보시면 될 것

8:34

같습니다 그래서 이러한 이미지들이

8:35

생성되는 거죠 사실 이제 런웨이 아든

8:37

뭐 스테이블 비디오 디퓨전 같은 거

8:39

굉장히 잘 만들어지긴 했어요 여기서

8:40

조금 더 구글이 앞서 간다고 하는

8:42

것이 잠깐 재생하는 그런 비디오

8:44

클립들 같은게 결국 우리 일상에 어떤

8:46

영향을 미칠 거냐라고 보면은 좀

8:48

의미가 없을 수 있잖아요 그런데

8:49

요러한 것들을 특정한 전체

8:50

맥락으로서의 수 있는 거대한 모델로서

8:53

요거를 생성할 수 있다라는 것은 또

8:55

어떤 상용화 측면에서 상당히 큰

8:56

발전이라고 볼 수가 있습니다 동단

8:58

지금 이제 구글 리서치에서 이렇게

8:59

논문을 내놓으면서 기터브 이런 것들을

9:01

공기를 했지만 이거를 실제로 서비스로

9:02

아직 제공을 하고 있지 않거든요 요게

9:04

또 좀 주목을 해 볼 만한 건데 얼마

9:06

전에 재미 나이를 발표했 아아 바드가

9:08

그렇게 욕 먹고 나서 재미 나이를

9:09

발표하고 나서 갤럭시에 제미나이 온

9:12

디바이스로 막 들어가고 온 디바이스

9:14

아닌 버전으로 들어갑니다 그리고 곧

9:15

제미나이 울트라도 들어갈 텐데 요런

9:17

이제 영상 생성 관련해서도 결국

9:19

제미나이 다음 버전으로 들어가지

9:21

않을까 요런 것들을 미리 알리는게 될

9:23

거 같고요 오픈 AI 있도 비디오를

9:25

생성하는 GPT 5 같은 것들 점점

9:27

소식이 들려오고 있잖아요 거기에

9:28

선제적으로 뭔가 생성을 하면서 점차

9:30

서비스 제공으로 압수하는게 아닌가

9:31

싶습니다 이렇게 오픈 AI 비롯해서

9:33

다양한 업체들이 비디오 생성 관련해서

9:35

끊임없이 새로운 AI 모델을 제공하고

9:38

서비스를 제공하는 가운데 구글 역시도

9:39

뒤쳐지지 않고 모든 성능을 압도하는

9:42

새로운 비디오 생성 AI 내놓은 것에

9:44

흥분을 감추지 못하면서 간략하게

9:46

압축하여 소개드리고 있는 안대 공화