Google Imagen를 통해 생성됨(사하라 사막에서 밀짚모자와 네온 선글라스를 쓴 작은 선인장) 상상을 현실로 그리는 AI

상상을 현실로 그리는 AI

 

[가상인간연구팀 심홍매]

텍스트, 이미지, 음성 데이터 등 다양한 형태(modality)로 이루어진 데이터 특징을 효과적으로 학습하기 위한 방법을 Multimodal learning이라고 하는데요,  최근 국내외 학계 및 업계에서는 멀티모달 인공지능(AI)  모델 관련 연구들을 활발히 진행하고 있으며 이미 업계들에서는 우수한 성능의 서비스들도 출시하고 있습니다. 오늘 그중 몇 개의 대표적인 Multimodal 연구사례에 대하여 간단히 소개해 드리도록 하겠습니다.

 

[Nvidia GauGAN]

2019년에 Nvidia는 GAN(generative adversarial networks)을 기반으로 대략적인 스케치를 사실적인 이미지로 바꿔주는 실시간 AI 페인팅 애플리케이션인 GauGAN 을 발표하였습니다.  2년 후 NVIDIA는 GauGAN의 후속 제품인 GauGAN2를 공식 출시했습니다. GauGAN2는 그림마저 필요 없고 간단한 텍스트를 입력하면  이에 부합되는 이미지를 알아서 만들어 줍니다. 

공식 블로그에 기재되어 있는 예시와 같이 “ocean waves hitting rocks on the beach”를 입력하면 모델은 점진적 조정을 통해 입력된 텍스트와 일치하는 이미지를 생성할 수 있게 됩니다

 

[그림 1] “ocean waves hitting rocks on the beach” 관련 생성 된 이미지 (출처:  Nvidia GauGAN2 )

 

GauGAN2는 다양한 텍스트 프롬프트와 스케치를 통해 사용자에게 보다 세밀한 컨트롤과 빠른 장면 커스터마이징을 제공해주고 있습니다.

 

[그림 2] 사용자가 간단한 텍스트와 스케치로 사실적인 이미지를 생성 및 보완 함 (출처:   Nvidia GauGAN2 )

 

사용자는 상상한 장면의 모든 요소를 직접 그리지 않아도 됩니다. “호수 위의 은하수”와 같은 짧은 문구를 입력해 이미지의 주요 특징과 테마를 빠르게 생성할 수 있습니다. 스케치를 통해 호수를 더 크게 만들거나 전경에 몇 그루의 나무를 추가하고 하늘에 별을 더 생성하는 등 사용자 정의 또한 가능합니다. ‘고갱 2’는 현실기반의 이미지뿐 아니라 다른 세상의 풍경도 묘사할 수 있다. 예를 들어 영화 ‘스타워즈’ 시리즈에서 두 개의 태양이 있는 상징적인 행성 타투인(Tatooine)의 풍경을 재현하려면 ‘사막’, ‘모래언덕’, ‘태양’이라는 텍스트만으로 시작점을 만들고, 이를 바탕으로 사용자가 두 번째 태양을 스케치해 넣으면 됩니다.

GauGAN2는 1,000만개의 풍경 이미지 데이터를 사용하였기에 풍경 생성에만 중점을 둡니다. nvidia 연구팀은 또한 이미지에 사람이 포함된 장면이 없는지 확인하기 위하여 이미지 검토 관련 작업을 하고 있습니다.”라고 밝혔으며 이렇게 하면 GauGAN2의 편견을 줄이는데 도움이 될 수 있고,  비록 아직 데모 단계이지만 추후 풍경뿐만이 아니라 다양한 이미지 생성을 위해 관련된 편견성을 줄이기 위한 작업도 함께 할  예정이라고 입장을 밝혔었습니다.

 

[OpenAI DALL·E]

2021년 Open AI에서는 원하는 것을 텍스트로 설명하면 이미지로 생성해주는 DALL.E는 를 소개했었습니다.  이 서비스는 고해상도의 이미지를 짧은 시간 내에 생성하고 포토샵이나, 디지털 아트 기술 없이도 간단한 도구와 텍스트 수정으로 이미지를 쉽게 편집할 수 있다는 장점이 있습니다. 1년 후 Open AI에서는 DALL.E의 후속 버전인  DALL.E 2를 발표하게 되었는데요, 당시 생성된 이미지들의 놀라운 성능들로 인해 몇 주간 트위터에서 큰 파장을 일으켰었습니다.  기존 DALL.E는 종종 일반 배경에 대해 만화 같은 방식으로만 이미지를 렌더링 할 수 있었으나 새로운 DALL-E 2는 복잡한 배경, 피사계 심도(depth of field) 효과, 사실적인 그림자, 음영 및 반사가 포함된 사진 같은 고해상도 이미지를 생성할 수 있게 되었습니다. 기존 DALL-E가 256 ×256 이미지를 생성한 것에 비해 DALL-E 2는 이를 4배 업스케일링하여 1024 ×1024까지의 해상도를 지원한다고 합니다. 

 

[그림 3] 1. vaporwave 스타일로 우주의 열대 리조트에서 휴식하고 있는 우주 비행사 2. 털실로 짠 괴물처럼 보이는 한 그릇의 수프 (출처:   Open AI DALL.E 2 )

 

더불어 DALL-E 2는 자연어로부터 이미지를 생성할 뿐만 아니라, 기존 이미지에 대해 원하는 방향으로의 수정을 할 수 있습니다. 원래 상업용 이미지를 만들 때도 시안을 뽑은 후 디자이너와의 협의를 통해 이를 점차 수정하는 과정을 거치는데, DALL-E 2에도 자연어로 이런 요청을 할 수 있다는 것입니다.

 

[그림 4] 왼쪽 그림과 같이 원본 이미지에 코기를 추가할 위치를 선택하면 실제 배경과 코기가 합성된 이미지가 생성 됨.(출처:   Open AI DALL.E 2 )

 

오픈 AI는 GPT-3 때와 마찬가지로 신뢰할 수 있는 소규모 이용자에게 DALL-E 2를 선 공개한 이후에 개선 작업을 거쳐 일반 대중에게 공개할 계획이라고 합니다. GPT-3는 공격적이거나 유해한 텍스트를 생성하는 문제가 있었습니다. 하여 오픈AI는 GPT-3 이용자들로부터 피드백을 받아서 더 안전한 버전인 ‘인스트럭트 GPT(InstructGPT)’를 만들었습니다. DALL-E 2에서도 이용자 피드백을 활용해서 제품을 개선하고자 한다고 밝혔습니다. 오픈 AI는 우선 초기 이용자들에게 다양한 방식을 이용해 DALL-E 2가 공격적이거나 유해한 이미지를 생성하게 만들어 보라고 권장하는 방식들을 통해 발견된 문제들을 모두 해결하고 나면 DALL-E 2를 더 많은 사람들에게 공개할 예정이라고 합니다.

 

[Google Imagen]

최근 구글에서도 텍스트 입력을 기반으로 사실적인 이미지를 생성할 수 있는 텍스트-이미지 확산 모델(Diffusion Model)인 Imagen을 공개하였습니다. 구글 연구팀은 기존의 유사 AI들도 환상적이고 흥미로운 다양한 이미지를 생성할 수 있지만, Imagen이 생성한 이미지는 정확성과 이미지의 충실도(fidelity)에서 더 뛰어나다고 주장하고 있습니다. Imagen 공식 사이트에는 입력된 텍스트와 그에 따라 생성된 이미지의 사례들이 소개되어 있습니다. 이러한 이미지들은 마치 사람이 직접 포토샵을 한 것처럼 착각할 정도의 깔끔하고 높은 해상도의 퀄리티를 갖고 있습니다.

 

[그림 5] 입력된 텍스트 기반으로 google Imagen을 통해 생성된 1024 × 1024 이미지 예시 (출처:   google Imagen )

 

Imagen은 텍스트를 이해하는 대형 변환기(transformer) 언어모델의 성능을 기반으로 정확도 높은(high-fidelity ) 이미지를 생성하는 확산 모델을 결합하였습니다. 구글 연구팀은 Imagen을 통해 텍스트 전용 말뭉치로 사전 훈련된 거대 언어모델의 텍스트 임베딩이 텍스트-이미지 합성(text encoding)에 상당이 효과적이라는 것을 발견했다고 합니다.

 

[그림 6] Imagen 시각화: 1. Imagen는 먼저 frozen된 T5-XXL 인코더를 사용하여 입력 텍스트를 일련의 텍스트 임베딩으로 인코딩함. 2. 조건부 확산모델은 텍스트 임베딩을 64×64 이미지에 매핑함. 3. 다음 텍스트 조건부 초고해상도 확산 모델을 이용하여 64×64 이미지→  256×256 이미지→ 1024×1024 이미지로 업 샘플링 함.

 

공개된 논문에 의하면 Imagen의 성능 평가를 위해 텍스트-이미지 모델에 대한 벤치마크인 DrawBench를 사용해 Imagen을 VQ-GAN+CLIP, Latent Diffusion Models 및 DALL-E 2를 포함한 최신 방법들과 비교한 결과, [그림 7]과 같이 평가자들이 다른 모델보다 Imagen을 선호한다는 것을 발견했다고 합니다.

 

[그림 7] Imagen의 Drawbench 평가 결과 (출처:   Google Imagen )

 

아래 [그림 8]은 평가에 사용된 텍스트 및 각 모델에 대한 이미지 생성 결과입니다. 그중 “A horse riding an astronaut.” prompt에 대응되는 결과를 보면 “우주 비행사를 타고 있는 말”인데 모두 “말을 타고 있는 우주 비행사”에 대응되는 이미지를 생성한 것을 볼 수 있습니다. “A panda making latte art.”에 대해서는 Imagen은 부합되는 이미지를 생성했으나 DALL.E 2는 “펜더라떼 아트”에 대응되는 이미지를 생성한 걸 볼 수 있습니다. 또한 컬러 카테고리 관련 된 실험에서 “A black apple and a green backpack.” prompt에 대해 Imagen은 검정 사과, 초록색 백에 부합되는 이미지를 생성했으나, DALL.E 2는 초록색 사과, 검정 백이란 prompt 에 부합되지 않는 이미지를 생성한 걸 확인할 수 있습니다. 이처럼 여러 예시들을 봤을 때 Imagen이 더 사실적인 이미지를 생성하지만 color , aligned 관련해서 모델들은 여전히 어려움을 겪고 있음을 확인 할 수 있습니다.

 

[그림 8] Drawbench 평가 작업 시 사용된 Imagen , DALL.E 2 생성 결과 (출처:   Google Imagen Paper )

DALL-E와 마찬가지로 Imagen도 아직은 대중에게 공개되지 않을 거라고 합니다. 구글은 여러 가지 이유로 일반 대중이 사용하기에 아직 적합하지 않다고 말했습니다. 한 가지 예로, 텍스트-이미지 모델은 일반적으로 웹에서 수집하고 선별되지 않은 대규모 데이터 세트에 대해 학습되므로 많은 문제가 발생할 수 있습니다.

이외에도 국 내 외에는 다양한 멀티모달 서비스나 연구사례들이 많은데요, 최근 중국 칭화대에서는 텍스트를 입력하면 4초 분량의 32 frame 동영상을 생성할 수 있는 CogVideo(Large-scale Pretraining for Text-to-Video Generation via Transformers)란 모델을 공개했습니다. 아직 논문은 공개되어 있지 않고 결과 물만 정리해 둔 상태입니다. 해당 기술도 아직은 성숙되지 않았지만, 기타 기술의 발전속도를 참고한다면 해당 모델들의 성능도 급성장할 것 같습니다. 그때 해당 기술을 잘 활용한다면 단순히 말로 직접 애니메이션이나, 영화, 뮤직비디오 등도 만들 수 있지 않을까 조심스럽게 생각을 해봅니다.

 

[Conclusion]

텍스트-이미지, 텍스트-비디오 등과 같은 멀티모달은 확실히 환상적인 창의적 잠재력을 가지고 있지만 문제가 많은 것은 사실입니다. 예를 들어 가짜 뉴스, 스팸 메일 또는 괴롭힘에 사용되는, 원하는 거의 모든 이미지를 생성하는 시스템을 상상해 봅시다. 학계와 업계에서 모두 우려했듯이 이러한 시스템은 사회적 편견도 인코딩하며 그 결과는 종종 인종 차별적이거나 성 차별적이거나 다른 방식으로 안 좋은 결과를 초래하게 될 수도 있습니다. 지금도 짧은 시간 내에 고해상도 고 퀄리티의 이미지를 생성할 수 있는데 앞으로 상업적으로 사용할 수 있는 품질의 이미지를 생성할 수 있다면, 지금보다 더 쉽게 딥페이크 이미지를 만들어 낼 수 있고, 해당 이미지를 이용하여 동영상까지 제작을 한다면 더 많은 사람들에게 범죄를 저지르는데 악용되는 건 불가피하게 될 것입니다.

 

기술 자체를 발전시키는 한편, 위와 같이 사회적으로 해결해야 할 문제들도 함께 공존하게 되는데요, 좋은 기술들이 악용되지 않도록 함께 고민하고 대책을 마련하면서 기술을 발전시킨다면 앞으로도 더 상상치 못하는 무궁무진한 사람들에게 도움을 줄 수 있는 연구와 서비스들이 나오지 않을까 기대해 봅니다!

 

 

인류 모두에게 이익이 되는 안전한 AGI 만들기

 

• OpenAI에 대해 알아보기
• AGI로 가는 길에 대한 선구적인 연구
• 우리의 연구에 대해 알아보세요
• AI를 통한 업무와 창의성의 변화
• 우리 제품 살펴보기
• 기술의 미래를 만드는 데 동참하세요
• 채용정보 보기

 

 

 

• ChatGPT 엔터프라이즈 소개

 

 

 

• OpenAI는 Scale과 협력하여 기업의 모델 미세 조정 지원을 제공합니다.

 

 

 

• GPT-3.5 Turbo 미세 조정 및 API 업데이트

 

 

 

• OpenAI, 글로벌 일루미네이션 인수

 

안전과 책임

안전하고 유익한 AI를 만들기 위한 우리의 노력에는 잠재적인 위험과 이점에 대한 깊은 이해와 영향에 대한 신중한 고려가 필요합니다.

 

 

연구

우리는 생성 모델과 이를 인간의 가치에 맞추는 방법을 연구합니다.

 

 

 

• 인공 지능에 대한 신뢰 구축 조치: 워크숍 진행

 

 

 

• 프론티어 AI 규정: 공공 안전에 대한 새로운 위험 관리

 

 

 

• 프로세스 감독을 통한 수학적 추론 개선

 

 

 

• 언어 모델은 언어 모델의 뉴런을 설명할 수 있습니다.

 

제품

당사의 API 플랫폼은 안전 모범 사례에 대한 최신 모델과 가이드를 제공합니다.

 

 

 

• OpenAI는 Scale과 협력하여 기업의 모델 미세 조정 지원을 제공합니다.

 

 

 

• ChatGPT에 대한 맞춤 지침

 

 

 

• GPT-4 API 일반 가용성 및 Completions API의 이전 모델 지원 중단

 

 

 

• 함수 호출 및 기타 API 업데이트

 

OpenAI 채용

안전하고 유익한 AI를 개발하려면 다양한 분야와 배경을 가진 사람들이 필요합니다.

 

나는 우리 팀이 계속해서 배우도록 격려합니다. 다양한 주제나 분야의 아이디어는 종종 새로운 아이디어에 영감을 주고 잠재적인 설루션 공간을 넓힐 수 있습니다.