본문 바로가기

say와 AI 챗봇친구 만들기 보고서

AI 챗봇 이란? - 정의, 원리, ChatGPT, 구축 과정 [AI 챗봇의 시작부터 성공 노하우까지 완벽 정리]

728x90
반응형
SMALL

 

AI 챗봇 이란? - 정의, 원리, ChatGPT, 구축 과정 [AI 챗봇의 시작부터 성공 노하우까지 완벽 정리]

 

챗봇 이란?

AI 챗봇의 정의

 

챗봇(Chatbot)은 인간과 자연스럽게 대화할 수 있는 소프트웨어 애플리케이션을 의미합니다. AI 챗봇은 음성 명령이나 텍스트 채팅 또는 두 가지 모두를 통해 인간의 대화를 시뮬레이션하는 컴퓨터 프로그램입니다. AI 챗봇은 Chatterbot의 줄임말로, ‘Talkbot’ ‘interactive agent’ 또는 ‘Artificial conversation entity’ 등 다양한 동의어를 가지고 있습니다.

 

AI 챗봇은 사람처럼 고객과 상호 작용하는 자동화된 프로그램이기 때문에, 활동 자체에는 비용이 거의 들지 않는다고 볼 수 있습니다. AI 챗봇은 하루종일 고객을 응대하며 시간이나 물리적 위치에 제한을 받지 않습니다. 24시간 내내 직원이 일할 수 없거나, 그럴 재정 자원이 충분하지 않은 기업에게 매력적인 기술이죠. 직원의 시간을 더 효율적으로 사용할 수 있을 뿐만 아니라, 비용 절감 효과도 누릴 수 있습니다.

AI 챗봇 활용 분야

 

AI 챗봇은 인공지능을 통해 일상적인 작업을 효율적으로 수행하는 대화형 도구입니다. 특히 B2C (Business to Consumer) 및 B2B(Business to business) 환경에서 간단한 작업을 처리하기 위해 챗봇을 사용합니다.

 

AI 챗봇은 자연어 처리를 사용하여 사용자의 텍스트나 그래픽, 음성을 통해 웹 서비스나 앱과 상호작용합니다. 또한 예측 인텔리전스 및 분석을 통해 사용자의 선호도를 학습하고, 이 지식을 이용하여 고객에게 권장사항을 제공하거나 고객의 요구사항을 예측할 수도 있죠.

 

GPT (Generative Pre-trained Transformers) 와 같은 AI 챗봇은 자연스러운 인간 언어를 이해하고 인간과의 대화를 에뮬레이션하며, 사용자가 요구한 작업을 실행할 수 있습니다. 일반적으로 특정 응답에 대응하도록 사전 프로그래밍된 챗봇과 달리, GPT는 머신러닝과 자연어 처리 알고리즘을 사용하여 대화의 맥락과 어조에 따라 응답을 생성하는 특징이 있습니다. ChatGPT, Bard, PaLM과 같은 언어 모델은 사용자의 질문에 대답할 뿐만 아니라 기사, 소셜미디어 게시물, 에세이, 코드 및 이메일 등 다양한 서면 콘텐츠를 작성할 수 있는 것이죠.

👉 ChaGPT3와 GPT4의 답변 비교 분석

 

 

NLP vs. NLU

 

AI 챗봇에 관해 검색이나 자료를 읽다 보면, NLP와 NLU라는 단어가 자주 나오는 것을 확인하실 수 있습니다. NLP는 AI가 자연어를 처리할 수 있도록 만드는 것과 관련된 모든 것을 포함하는 포괄적인 용어입니다. 자연어 이해(NLU, Natural Language Understanding)은 다양한 머신러닝 알고리즘을 사용하여 감정을 식별하고 NER(Named Entity Recognition)을 수행하며 의미론을 처리하는 NLP의 하위 주제입니다.

“Please crack the windows, the car is getting hot.”

여기서 NLP는 문장 그대로의 의미로 텍스트를 처리하는 데에 중점을 둡니다. 반대로 NLU는 문맥과 의도, 즉 의미를 추출하는 데에 중점을 둘 것입니다. 따라서 위 문장을 보았을 때 NLP는 문자 그대로 창을 깨부수려고 할 것입니다. 하지만 NLU는 발화자가 창을 내리려고 했다는 것을 추론할 수 있습니다.

Understanding Natural Language Understanding

NLP는 문법이나 구조, 관점을 중점적으로 텍스트를 처리합니다. 반면 NLU는 언어나 텍스트 이면에 숨겨진 의도를 추론하는 데에 특화되어 있다고 볼 수 있습니다. 과거의 챗봇은 개발자가 설정한 형식에서 벗어나는 순간 대화를 다시 리셋하거나, 질문을 이해할 때까지 다시 질문했었습니다. 하지만 NLP와 NLU를 결합하면서 챗봇은 대화의 맥락을 이해하고, 맥락을 기반으로 의미를 추출할 수 있게 되었죠.

AI 챗봇은 어떻게 만들까?

 

최근 많은 기업에서 AI 챗봇을 도입하고 있습니다. AI 챗봇 구축을 위한 빌더도 많이 늘어났죠. 본격적으로 챗봇을 구축하기 전에 알아야 할 것이 무엇인지 살펴보겠습니다.

개발 구조와 챗봇 아키텍처

 

챗봇은 무궁무진한 사용 방향만큼, 제작을 위한 기본 뼈대에도 여러 선택지가 있습니다. 그 중 대표적인 3가지를 비교해보겠습니다.

 

생성 AI 모델

  • 대규모 데이터 세트에서 AI 챗봇을 교육한 모델
  • 기존 방식보다 더 자연어를 잘 이해함
  • 대규모 언어 모델로 개발된 ChatGPT, Bard 등 생성 AI 챗봇이 대표적인 사례
  • 최근 Google은 이러한 생성 모델을 검색 엔진으로까지 확대하여 범용화를 시도하고 있음

패턴 기반 휴리스틱

  • 패턴이 있는 일련의 규칙을 적용하는 모델
  • 휴리스틱이란, 시간이나 정보가 부족하여 합리적인 판단을 할 수 없거나 체계적인 판단이 굳이 필요하지 않은 상황에서 모델이 빠른 의사결정을 할 수 있도록 고안된 컴퓨터 알고리즘
  • 따라서 규칙과 패턴에 기반하여 휴리스틱을 발동하는 방식
  • 주로 엔터테인먼트 챗봇에 사용

Intent Classification to Classify User Inputs into Predefined Intents

의도 분류 알고리즘

  • 의도 분류 (Intent Classification) 이란, 챗봇 대화에서 사용자 쿼리 이면의 의도를 식별하는 프로세스
  • 공통된 키워드가 들어가더라도 사용자의 요청은 다양하게 분류할 수 있음
  • 챗봇 의도 교육을 선행하여 비즈니스 및 고객 요구 사항의 종류에 따라 분류
  • 같은 키워드가 들어가도 요청사항의 맥락이 제각각인 케이스에 대응하기 위한 방식

👉 Generative AI의 원리, 적용사례가 궁금하다면?

한국어 공개 데이터

 

한국어 데이터는 그간 영어에 비해 미진한 성과를 거두었습니다. 원래도 복잡하고 까다로운 자연어 처리 과정에, 한국어 데이터는 훨씬 더 어려운 구조를 가지고 있기 때문입니다. 특히 한국어는 조사가 없는 영어에 비해 어절 단위로 토큰화를 하는 것이 까다롭습니다. 또한 어순이 바뀌거나 띄어쓰기가 되지 않아도 의미가 통하는 경우가 많고, 인공지능은 문장부호 없이 텍스트만 보고는 의미 구분을 하지 못하기 때문입니다.

구글이 선보인 인공지능 챗봇 Bard는 한국어 문장을 자연스럽게 구사할 수 있습니다. 구글은 그간 기술적인 어려움을 겪고 있던 한국어 데이터 시장을 먼저 선점하겠다는 의도를 보였죠. 구글 최고 경영자는 “한국어를 통해 우리에게 무엇이 더 필요한지 확인하겠다”고 설명했습니다. 이에 따라 국내 기업도 더 많은 양질의 한국어 데이터를 가지고 있음을 내세워, ‘한국어 대규모 언어 모델’ 구축에 박차를 가하겠다는 의지를 보여주고 있습니다.

지난 해 1월 인공지능 챗봇 심심이의 한국어 대화형 AI 기술을 돕는 데이터셋 구축이 완료되었다는 소식이 보도되었습니다. 여기에 포함된 데이터는 ‘공감형 대화’ 데이터와 ‘지식 검색 대화’ 데이터, 그리고 ‘일상형 대화’ 데이터가 포함되어 있습니다. 이는 사실 기반의 대화와 페르소나 유지, 공감 능력까지 갖춘 대형 언어 모델 제작의 기반이 만들어진 셈입니다.

 

AI HUB는 AI 기술 및 제품, 서비스 개발에 필요한 AI 인프라를 누구나 활용하고 참여할 수 있도록 지원하는 AI 통합 플랫폼입니다. 사용자는 AI 허브에서 지원하는 AI 데이터, AI SW API, 컴퓨팅 자원 등의 인프라 서비스를 자유롭게 활용할 수 있습니다. AI 허브에서 데이터바우처 사업 등을 통해 수집한 공공 데이터나 R&D 데이터, 민간 데이터 등을 가지고 AI 추론 학습용 데이터를 제작하고, 이를 각종 산업체나 연구 개발에 사용할 수 있도록 공유하는 것이죠.

구축이 어려운 한국어 데이터 역시 AI HUB에서 찾을 수 있습니다. [분류 분석], [유사도 판별], [자연어 질의응답], [번역] 등 많은 데이터가 준비되어 있죠. 특히 대화모델 학습용 데이터가 많이 포진되어 있습니다.

실제 적용까지의 과제

 

챗봇은 일상적이고 반복적인 프로세스를 자동화하는 데에 특화되어 있습니다. 여기에 인공지능을 더해 더욱 효과적인 업무 처리가 가능해졌죠. 그러나 챗봇이 역량 이상을 요구 받거나, 챗봇이 수행해야 하는 작업이 모델 성능에 비해 복잡하면 제 기능을 하지 못할 가능성이 높습니다.

또한 인공지능 챗봇은 다양한 소스로부터 액세스된 데이터를 사용합니다. 그런데 데이터 품질이 나쁘다면 오히려 데이터가 챗봇의 기능을 제한하게 됩니다. 즉 챗봇의 품질은 엔지니어가 챗봇에 사용한 AI 모델과 데이터 품질에 따라 결정된다고 볼 수 있습니다.

그렇다면 챗봇 구축을 위해서는 보다 구체적인 설계가 필요하다는 것을 알 수 있습니다. 특히 잘못 설계된 챗봇은 사용자 신뢰도를 저하하고 브랜드에 대한 나쁜 인상을 줄 수 있습니다. AI 챗봇의 개발 및 구축 단계에서 고려해야 하는 것들의 예시를 들자면 아래와 같습니다.

1. AI 챗봇의 주요 목적과 Target

2. 어디에 챗봇을 구현할 것인가?

  • 일반적으로 비즈니스 웹사이트에 구현하지만, 모바일 애플리케이션 등 다른 플랫폼에 구축할 수도 있습니다.

3. 구체적인 챗봇의 기능 정의

  • GPT를 활용할 수도 있으며, CTA와 같은 링크로 연결되도록 유도할 수 있습니다.
  • 더 빠른 온라인 커뮤니케이션을 위해 음성 인식 기능을 구축할 수도 있습니다.

4. 모니터링 및 유지 관리 계획

AI 챗봇의 제반 설계부터 철저히 해야 하는 이유는 최근 사용자가 AI 챗봇을 통해 기대하는 것들이 더 많아졌기 때문입니다. 자세한 내용은 아래 섹션에서 정리하겠습니다.

AI 챗봇의 인터랙션

대화형 사용자 경험 (Conversational UX)

 

대화형 사용자 경험(CUX, Conversational UX)란 자연어를 기반으로 한 상호작용 방식을 의미합니다. 인간은 서로 상호작용할 때 아이디어나 개념, 데이터 및 감정 정보를 전달하기 위해 대화를 사용합니다.

CUX의 개념이 등장하기 전까지 사용자는 시스템을 사용하기 위해 기꺼이 복잡한 가이드를 배우고 적응해야 했습니다. 하지만 시스템이 자연어 처리 기술을 통해 비로소 인간과 소통할 수 있게 되자, 사용자는 많은 학습 없이도 인터페이스를 이해하고 사용할 수 있게 되었습니다. 뿐만 아니라 시스템과 연속적이고 맥락있는 대화를 이어나갈 때에 사용자 경험이 더욱 연속적이며 확장되는 것을 확인할 수 있었습니다. 이를 Microsoft는 ‘사용자가 시스템을 배우는 것이 아니라, 시스템이 배우는 것이다’라고 설명했죠.

Conversation Design is the Future of UX

챗봇을 설계하는 경우, 훌륭한 대화식 사용자 경험을 보장하는 것이 최우선 과제가 되어야 합니다. 잘 만들어진 대화형 챗봇은 사용자가 너무 많이 입력하거나, 너무 많이 말하거나, 여러 번 반복하거나, 봇에게 설명할 필요 없이 문제를 해결할 수 있어야 합니다.

 

그러나 AI 챗봇 업계는 챗GPT 이전까지 CUX를 제대로 수립했다고 보기는 어려웠습니다. 사용자의 기대만큼 시스템의 대화 시나리오는 매우 한정적이었으며, 기능의 확장성도 매우 제한적이었죠. 또한 대화에 국한된 인터랙션 방식 탓에 맥락을 이해하지 못한 채 단답식이 많았고, 소통 과정이 부자연스러워 사용자에게 많은 불편을 주었습니다.

따라서 이런 한계를 보완하기 위해, 챗봇을 구축하기 전에 인터랙션 유형을 명확하게 이해하고 적절히 혼용해 구현할 필요가 있습니다.

시스템 중심 유형

 

에이전트는 하나의 클래스에 해당하는 사용자의 명령만 인식하고 응답합니다. 일반적으로 웹 검색이나 음성 제어에 사용되는 유형으로, 사용자가 응답에 이어 추가적인 대화를 이어가고자 할 경우 시스템이 이를 더 이상 인식하지 못하는 단점이 있습니다. 따라서 사용자가 연속적으로 여러 명령을 요청하더라도, 이전의 대화 내용이나 맥락을 기억하지 않고 새로운 대화로 인식합니다.

콘텐츠 중심 유형

 

콘텐츠 중심 유형은 시스템 중심 유형과 유사한 패턴을 가지고 있어 2턴 이하의 시퀀스로 제한되어 있습니다. 그러나 텍스트 기반의 길고 자세한 설명을 제공하는 방식이라는 점이 다소 다릅니다. 이 유형의 에이전트는 사용자의 질문에 대해 세부사항과 예시를 가지고 자세한 응답을 제시하려고 합니다. 요컨대, 챗GPT가 대표적인 콘텐츠 중심 유형의 에이전트죠.

시각 중심 유형

 

웹 및 모바일 인터페이스를 보조하는 형태의 시각 중심 유형은 자연어와 텍스트 중심의 인터랙션을 제공합니다. 자연어 응답과 함께 버튼이나 목록과 같은 그래픽 기반의 인터랙션을 보신 적이 있을 것입니다. 이 유형은 예측 가능한 사용자 패턴을 정형화한 카테고리를 기반으로 버튼이나 목록을 제시하여 직관적인 인터페이스를 구축했으며, 사용자는 보다 빠르게 원하는 응답을 찾을 수 있습니다. 만약 사용자가 원하는 명령이 없을 경우 직접 텍스트를 타이핑해 작업을 요청할 수도 있습니다.

대화 중심 유형

 

대화 중심의 인터랙션은 챗봇이 사용자와 자연스럽고 매력적인 대화를 나누도록 설계되어 있습니다. 대화 중심 챗봇은 대화 스타일이 보다 인간과 유사하도록 프로그래밍 되었습니다. 따라서 자연어를 사용하면서 대화 단서를 따라갈 수 있고, 사용자의 어조와 스타일에 따라 응답을 조정할 수 있다는 특징이 있습니다. 또한 유머나 스토리텔링 등을 사용하여 사용자가 대화에 지속적인 관심을 가질 수 있도록 유도합니다.

대화 중심 유형 중 일부는 사용자와 친밀감을 쌓고 유대감을 형성하려고 노력합니다. 즉, 사용자의 필요에 따라 여러 턴에 걸쳐 대화하면서 주제를 확장할 수 있죠. 또한 목록이나 문서를 제공하는 것 대신 구체적이고 요약된 답변을 사용자에게 제공하기도 합니다. 일반적으로 짧은 단위의 대화로 구성되어 있기 때문에, 모바일 뿐만 아니라 스피커에서도 구현되기도 합니다.

AI 챗봇 성공 조건

사용자 경험 설계에 따른 인터랙션 활용

 

최근 많은 기업이 대화 우선 전략을 도입한 사용자 친화적인 AI 챗봇에 도전하고 있습니다. 그러나 상황에 따라 대화가 오히려 다른 인터페이스보다 비효율적이거나 사용자를 불편하게 할 수도 있습니다. 따라서 사용자의 목적이나 방식에 맞게 여러 유형을 혼용하는 것이 기본적인 과제입니다.

Microsoft 365 Copilot Incoming – Next Generation AI

Microsoft 365의 co-pilot은 대화형 인터페이스와 문서 작업을 연동하여 사용자가 요청한 결과물을 즉시 시각적으로 확인할 수 있도록 구축했습니다. 작업의 대상이 되는 플랫폼, 챗봇과의 대화, 버튼 인터랙션을 잘 엮어 연속적인 사용자 경험 선상에서 AI를 가장 효과적으로 사용하는 구조를 이뤄낸 셈이죠. 만약 코파일럿이 대화 중심 유형으로, 요청한 작업 해결보다도 사용자와의 유대감 형성에 목적을 뒀다면 성공적이라고 보기는 어려웠겠죠.

AI 챗봇의 학습 데이터 설계부터 중요

 

정리하자면 성공적인 챗봇 구축을 위해서는 4가지 인터랙션 패턴을 적절히 섞어서 구성하면서, 대화의 목적에 맞는 시나리오를 구성해야 합니다. 특히 여기서 대화 시나리오를 구성하는 데에는 산업별로 구체적인 상황에 대응할 수 있는 데이터가 필요합니다.

도메인 지식이란, 모델링하려는 문제 또는 도메인과 관련된 특정 정보 및 전문 지식을 의미합니다. 챗봇이 사용자와 유의미하고 유익한 대화를 나누기 위해서는 특정 주제에 대해 알아야 할 것들이 있습니다. 예를 들자면 아래와 같습니다.

  • 도메인의 어휘와 문법
  • 도메인 내의 개념 및 관계
  • 도메인에 대한 사용자의 일반적인 질문과 요청
  • 사용자가 자신의 필요와 욕구를 표현하는 다양한 방법

도메인 지식은 챗봇이 대화의 맥락을 이해하고 적절한 응답을 생성하도록 하는 중요한 열쇠입니다. 예를 들어 챗봇이 고객 지원 서비스를 수행하도록 설계된 경우, 회사의 제품 및 서비스에 대한 제반 지식이 필요할 것입니다. 또한 다양한 유형의 고객 문의사항을 이해할 수 있어야 합니다. 이런 구체적인 지식이 포함된 데이터를 가지고 학습해야만 챗봇이 제 성능을 발휘할 수 있습니다. 따라서 챗봇 구축을 위해서는 데이터 수집 및 가공 능력과 더불어 산업에 대한 이해와 지식이 중요한 것입니다.

데이터헌트 AI 챗봇 구축 사례

세분화된 감정 분석을 통한 대화 시나리오 분석

 

심리 상담을 위한 멀티모달 감정 분석 모델은 감정을 감지하고 상담자의 목소리 톤과 피치를 분석하여 상담 세션의 효과를 분석하는 기능을 포함하고 있습니다. 데이터헌트는 이 프로젝트를 진행하기 전에 텍스트 데이터와 연관된 시청각 자료를 제공 받고, 이를 토대로 대화의 앞뒤 문맥과 발화자의 감정을 파악하고자 했죠.

 

NLP 데이터라벨링 - 대화문의 영상과 스크립트를 비교하여 감정을 태깅한 자료

작업자들은 먼저 텍스트 대화문에 해당하는 영상을 시청하고 대화문의 영상과 스크립트를 비교합니다. 각 스크립트에는 Text/video Intent와 주제, 소주제, 감정을 표시할 수 있습니다. 또한 하나의 대사에 복합적인 감정이 포함되어 있어 단일 감정으로 분류하기 어려운 경우, 감정 2 컬럼에 캐깅하는 방식으로 유연하게 대응할 수 있도록 설계했죠.

이를 통해 데이터헌트는 약 79,346개 문장에 대한 멀티모달 음성전사 작업을 마쳤습니다. 정확도는 무려 99.995%를 달성했습니다. 일반적으로 2-3개 정도의 감정값만을 태깅하는 기존 방식과 달리, 무려 8개의 속성값을 태깅함으로써 정교한 데이터를 구축한 결과였습니다.

선생님의 대화 방식 데이터를 토대로 만든 AI튜터

 

고객사에서 구축하고자 한 SaaS 플랫폼은 Text recognition, Translate 과정과 번역 과정 검수가 Step별로 이루어지는 구조였습니다. 라벨러가 데이터를 입력하면 기초과학/인문 등에 대한 텍스트 데이터 구성 및 단어에 대한 개체 인식이 이루어지고, 이후 텍스트에 대한 외국어 번역이 이루어집니다. 마지막으로 작업 결과를 검수하는 과정을 더해 정확도를 끌어올렸죠.

👉 함께 볼 포스트: NER로 AI튜터와 스마트러닝 플랫폼 구축

결론 :  AI 챗봇 구축을 위해서는 사전 지식과 정확한 데이터 설계가 필요

 

향후 AI 챗봇은 기존 제품이나 플랫폼과 결합하여 더욱 개인화된 에이전트 경험을 제공할 것으로 기대됩니다. 그러나 인공지능 챗봇은 본질적으로 사용자가 접하는 정보 자체에 대한 신뢰도가 낮다는 문제점을 꾸준히 지적 받고 있습니다. 특히 생명이나 금융 등과 연관된 분야에 대응할 때, 웹 정보를 기반으로 하는 GPT는 치명적인 문제를 유발할 수 있습니다. AI 챗봇에 막연한 관심을 가지고 GPT를 토대로 챗봇을 제작했을 때, 실제 적용 시 기대한 성능을 뽑지 못하는 이유도 여기에 있습니다.

따라서 정확한 정보 전달이 필요한 분야일수록 신뢰할 수 있는 도메인 지식을 쌓아두는 데이터 베이스를 형성하고, 해당 지식을 기반으로 추론 및 응답이 이루어질 수 있도록 제반 작업을 설계하는 것이 중요합니다. 언어 학습 그 이상의 데이터를 정의하면서 복합적인 학습 데이터를 구축하는 프로젝트를 통해 연결성 있고 신뢰할 수 있는 사용자 경험을 보장할 수 있습니다.

궁극적으로 성공적인 대화형 AI 챗봇 구축을 위해서는 비즈니스와 AI 생태계에 대해 깊이 이해하고 있는 전문적인 파트너가 필요합니다. 데이터헌트 역시 ChatGPT의 비전을 이어가기 위해 꾸준한 연구와 개발을 이어가고 있습니다.

요약

 

  1. AI 챗봇은 인간과 자연스럽게 대화할 수 있는 소프트웨어 애플리케이션입니다. 챗봇을 도입함으로써 조직의 시간을 더욱 효율적으로 사용할 수 있으며, 실시간 에이전트를 사용할 수 없는 시간동안 조직이 서비스를 제공할 수 있습니다.
  2. 챗봇은 자연어 처리를 사용하여 사용자의 텍스트나 그래픽음성을 통해 웹 서비스 혹은 앱과 상호작용하도록 설계되어 있습니다. 챗봇은 상호작용 유형에 따라 아키텍처와 어트랙션을 선택할 수 있습니다. 최근 가장 많은 관심을 받고 있는 어트랙션은 대화 중심 구조이나, 구축하고자 하는 인공지능 챗봇의 의도나 목적에 따라 적절한 유형을 선택해야 합니다.
  3. 인공지능 챗봇이 성공하기 위해서는 사용자 의도와 맥락을 파악하는 대화 시나리오를 개발하고 이를 학습 데이터에 반영해야 합니다. 모든 AI 챗봇이 GPT를 기반으로 한다 해서 기대 성능을 내기는 어렵습니다. 따라서 언어 학습 데이터 구축 시 도메인 지식을 기반으로 한 복합적인 프로젝트 설계가 필요합니다.

 

728x90
반응형
LIST