AI 챗봇 이란?
인공지능 AI 챗봇(Chatbot)은 인간과 자연스럽게 대화할 수 있는 소프트웨어 애플리케이션을 의미합니다. 챗봇은 AI(artificial intelligence, 인공지능)와 NLP(natural language processing, 자연어 처리)를 이용하여 인간의 대화를 시뮬레이션함으로써 고객의 질문을 이해하고 자동으로 응답하는 컴퓨터 프로그램입니다. 챗봇이라는 단어는 Chatterbot의 줄임말로, ‘Talkbot’ ‘interactive agent’ 또는 ‘Artificial conversation entity’ 등 다양한 동의어를 가지고 있습니다.
AI 챗봇은 사람처럼 고객과 상호 작용하는 자동화된 프로그램이기 때문에, 활동 자체에는 비용이 거의 들지 않는다고 볼 수 있습니다. AI 챗봇은 하루종일 고객을 응대하며 시간이나 물리적 위치에 제한을 받지 않습니다. 24시간 내내 직원이 일할 수 없거나, 그럴 재정 자원이 충분하지 않은 기업에게 매력적인 기술이죠. 직원의 시간을 더 효율적으로 사용할 수 있을 뿐만 아니라, 비용 절감 효과도 누릴 수 있습니다.
대화형 AI로 달라지는 것들
AI 챗봇은 인공지능을 통해 일상적인 작업을 효율적으로 수행하는 대화형 도구입니다. 특히 B2C (Business to Consumer) 및 B2B(Business to business) 환경에서 간단한 작업을 처리하기 위해 챗봇을 사용합니다.
AI 챗봇은 자연어 처리를 사용하여 사용자의 텍스트나 그래픽, 음성을 통해 웹 서비스나 앱과 상호작용합니다. 또한 예측 인텔리전스 및 분석을 통해 사용자의 선호도를 학습하고, 이 지식을 이용하여 고객에게 권장사항을 제공하거나 고객의 요구사항을 예측할 수도 있죠.
소셜 미디어 메시징 앱, 독립형 메시징 플랫폼 또는 웹 사이트의 애플리케이션에서 AI 챗봇이 널리 사용됩니다. 다음과 같은 사용 사례가 대표적입니다.
- 현지 식당 찾기 및 길 안내
- 각종 양식 및 금융 신청서의 필드 정의
- 의학적 질문에 대한 답변과 진료 예약
- 선호하는 브랜드의 일반 고객 서비스 지원 받기
- 시간 또는 위치 기반 작업을 수행하도록 알림 설정
- 실시간 날씨 상황 및 적절한 옷차림 추천
GPT (Generative Pre-trained Transformers) 와 같은 AI 챗봇은 자연스러운 인간 언어를 이해하고 인간과의 대화를 에뮬레이션 하며, 사용자가 요구한 작업을 실행할 수 있습니다. 일반적으로 특정 응답에 대응하도록 사전 프로그래밍된 챗봇과 달리, GPT는 머신러닝과 자연어 처리 알고리즘을 사용하여 대화의 맥락과 어조에 따라 응답을 생성하는 특징이 있습니다. ChatGPT, Bard, PaLM과 같은 언어 모델은 사용자의 질문에 대답할 뿐만 아니라 기사, 소셜미디어 게시물, 에세이, 코드 및 이메일 등 다양한 서면 콘텐츠를 작성할 수 있습니다.
👉 ChatGPT3와 GPT4의 답변 비교 분석
AI 챗봇의 활용
AI 챗봇을 도입함으로써 기업은 내부 구성원과 고객의 편의를 도울 수 있으며, 동시에 효율성을 극대화해 비즈니스 비용을 절감하는 등 다양한 이점을 확보하여 기업 경쟁력을 강화할 수 있습니다.
직원이 매번 해야 하는 업무나 그 솔루션을 직접 찾아내야 한다면 당연히 업무 효율성은 떨어질 수밖에 없습니다. 하지만, 대화창에 입력만 하면 알아서 필요한 정보를 가져오고, 필요한 사람이나 시스템에 연결해 준다면 업무 효율성이 극대화되겠죠. 어쩌면 앞으로는 이러한 AI를 얼마나 잘 활용해 업무를 하는지가 새로운 업무 능력이 될 수 있습니다.
비즈니스적 관점에서, 대화형 AI 챗봇은 다양하게 활용될 수 있습니다. 기존처럼 단순히 환불 절차 등에 대해 알려주는 고객 서비스 지원 영역을 넘어서, 잠재적 고객인 챗봇 사용자와 대화를 나누며 영업을 할 수도 있고, 텍스트를 기반으로 하는 계약서 작성부터 콘텐츠 생산까지 업무자체를 AI가 맡을 수 있을 것으로 예상됩니다.
- 고객 서비스 향상
AI 챗봇은 24시간 연중무휴로 고객의 문의와 요청에 신속하게 대응해 고객 만족도를 높일 수 있으며, 사용자 경험을 개선하여 개인화된 서비스를 제공할 수 있다는 장점이 있습니다. - 비용 절감
인공지능 기술을 활용한 AI 챗봇을 도입하면 인건비가 들지 않고, 자동화된 프로세스로 업무 처리를 할 수 있어 비용을 절감할 수 있습니다.
- 확장성과 유연성
대량의 동시 요청을 처리하는 것이 가능하며 필요에 따라 쉽게 확장하거나 업데이트할 수 있습니다. 기업의 성장과 변화에 유연하게 대응할 수 있는 것이 장점입니다.
- 일관된 서비스 품질
사람의 실수나 감정적인 영향으로 인한 서비스 차이를 배제할 수 있어 항상 일관된 수준의 서비스 품질을 제공할 수 있습니다.
- 고객 데이터 분석과 인사이트 도출
대화 데이터를 통해 고객의 행동과 선호, 니즈 등에 대한 인사이트를 도출하여 더 나은 제품 및 서비스 개발이나 마케팅 전략에도 활용 가능합니다.
- 생산성 향상
반복적이고 일상적인 업무를 자동화하고 업무 효율을 향상시킬 수 있는 것도 큰 장점입니다. 기업은 챗봇을 통한 업무 자동화를 통해 구성원이 더 중요한 업무에 집중할 수 있는 환경을 조성할 수 있습니다.
- 지속적인 학습과 발전
AI 챗봇은 시간이 지남에 따라 자료와 대화를 통해 지속적으로 학습하고 발전합니다. 이를 통해 서비스가 점점 개선되고, 기업은 순차적으로 향상된 성능을 활용할 수 있습니다.
AI 챗봇은 어떻게 만들까?
최근 많은 기업에서 AI 챗봇을 도입하고 있습니다. AI 챗봇 구축을 위한 빌더도 많이 늘어났죠. 본격적으로 챗봇을 구축하기 전에 알아야 할 것이 무엇인지 살펴보겠습니다.
NLP vs. NLU
AI 챗봇에 관해 검색이나 자료를 읽다 보면, NLP와 NLU라는 단어가 자주 나오는 것을 확인하실 수 있습니다. NLP는 AI가 자연어를 처리할 수 있도록 만드는 것과 관련된 모든 것을 포함하는 포괄적인 용어입니다. 자연어 이해(NLU, Natural Language Understanding)는 다양한 머신러닝 알고리즘을 사용하여 감정을 식별하고 NER(Named Entity Recognition)을 수행하며 의미론을 처리하는 NLP의 하위 주제입니다.
“Please crack the windows, the car is getting hot.”
여기서 NLP는 문장 그대로의 의미로 텍스트를 처리하는 데에 중점을 둡니다. 반대로 NLU는 문맥과 의도, 즉 의미를 추출하는 데에 중점을 둘 것입니다. 따라서 위 문장을 보았을 때 NLP는 문자 그대로 창을 깨부수려고 할 것입니다. 하지만 NLU는 발화자가 창을 내리려고 했다는 것을 추론할 수 있습니다.
NLP는 문법이나 구조, 관점을 중점적으로 텍스트를 처리합니다. 반면 NLU는 언어나 텍스트 이면에 숨겨진 의도를 추론하는 데에 특화되어 있다고 볼 수 있습니다. 과거의 챗봇은 개발자가 설정한 형식에서 벗어나는 순간 대화를 다시 리셋하거나, 질문을 이해할 때까지 다시 질문했었습니다. 하지만 NLP와 NLU를 결합하면서 챗봇은 대화의 맥락을 이해하고, 맥락을 기반으로 의미를 추출할 수 있게 되었죠.
개발 구조와 챗봇 아키텍처
챗봇은 무궁무진한 사용 방향만큼, 제작을 위한 기본 뼈대에도 여러 선택지가 있습니다. 그 중 대표적인 3가지를 비교해 보겠습니다.
생성 AI 모델 | GPT 챗봇
- 대규모 데이터 세트에서 AI 챗봇을 교육한 모델
- 기존 방식보다 더 자연어를 잘 이해함
- 대규모 언어 모델로 개발된 ChatGPT, Bard 등 생성 AI 챗봇이 대표적인 사례
- 최근 Google은 이러한 생성 모델을 검색 엔진으로까지 확대하여 범용화를 시도하고 있음
패턴 기반 휴리스틱
- 패턴이 있는 일련의 규칙을 적용하는 모델
- 휴리스틱이란, 시간이나 정보가 부족하여 합리적인 판단을 할 수 없거나 체계적인 판단이 굳이 필요하지 않은 상황에서 모델이 빠른 의사결정을 할 수 있도록 고안된 컴퓨터 알고리즘
- 따라서 규칙과 패턴에 기반하여 휴리스틱을 발동하는 방식
- 주로 엔터테인먼트 챗봇에 사용
의도 분류 알고리즘
- 의도 분류 (Intent Classification) 이란, 챗봇 대화에서 사용자 쿼리 이면의 의도를 식별하는 프로세스
- 공통된 키워드가 들어가더라도 사용자의 요청은 다양하게 분류할 수 있음
- 챗봇 의도 교육을 선행하여 비즈니스 및 고객 요구 사항의 종류에 따라 분류
- 같은 키워드가 들어가도 요청사항의 맥락이 제각각인 케이스에 대응하기 위한 방식
👉 Generative AI의 원리, 적용사례가 궁금하다면?
ChatGPT로 AI 챗봇 만들기
GPT챗봇 도입의 두 가지 방법
OpenAI의 ChatGPT는 대화형 AI 챗봇의 기준처럼 받아들여지고 있으며, API key를 제공하고 있기 때문에 다양한 산업에서 내부 데이터와 연동해서 업무툴로 사용하고자 하는 니즈가 커지고 있습니다. LLM을 파인튜닝하고 도입하는 방식은 다른 글을 통해 자세히 다루었으며 여기서는 ChatGPT를 사용하여 자동으로 답변하는 챗봇을 만드는 방법, 두 가지를 언급해 보겠습니다.
첫째, 미리 학습된 Chat GPT 모델을 활용하여 챗봇을 만드는 방법입니다.
이 방법은 인터넷 등 이미 공개된 학습 데이터로 미리 학습해 둔 모델을 이용하는 방식으로 학습과 파인튜닝을 직접 수행할 필요가 없기 때문에 비교적 간단하다고 볼 수 있습니다. 또한, 미리 학습된 모델은 이미 다양한 대화 패턴과 답변을 학습하고 있기 때문에 초기 데이터가 부족한 경우에도 높은 정확도를 보장할 수 있다. 일반적으로 API나 플랫폼 등을 제공하는 업체를 활용하여 쉽게 구현할 수 있습니다.
둘째, Chat GPT를 직접 학습시켜 챗봇을 만드는 방법입니다.
이 방법은 Chat GPT 모델을 학습시키기 위한 데이터 수집부터 모델 학습, 챗봇 구현까지 모든 과정을 직접 수행해야 하기 때문에 복잡합니다. 하지만, 학습된 모델은 원하는 대화 패턴과 답변을 생성할 수 있기 때문에 높은 자율성과 정확도를 가지는 챗봇을 구현할 수 있습니다. 일반적으로는 전문가를 통해 만든 pre-trained model을 개발하고, 이를 기업 내부 데이터와 연동하는 구조를 만들게 됩니다. 데이터헌트도 이러한 방식으로 AI 설루션을 제공하고 있습니다.
한국어 공개 데이터
한국어 데이터는 그간 영어에 비해 미진한 성과를 거두었습니다. 원래도 복잡하고 까다로운 자연어 처리 과정에, 한국어 데이터는 훨씬 더 어려운 구조를 가지고 있기 때문입니다. 특히 한국어는 조사가 없는 영어에 비해 어절 단위로 토큰화를 하는 것이 까다롭습니다. 또한 어순이 바뀌거나 띄어쓰기가 되지 않아도 의미가 통하는 경우가 많고, 인공지능은 문장부호 없이 텍스트만 보고는 의미 구분을 하지 못하기 때문입니다.
구글이 선보인 인공지능 챗봇 Bard는 한국어 문장을 자연스럽게 구사할 수 있습니다. 구글은 그간 기술적인 어려움을 겪고 있던 한국어 데이터 시장을 먼저 선점하겠다는 의도를 보였죠. 구글 최고 경영자는 “한국어를 통해 우리에게 무엇이 더 필요한지 확인하겠다”라고 설명했습니다. 이에 따라 국내 기업도 더 많은 양질의 한국어 데이터를 가지고 있음을 내세워, ‘한국어 대규모 언어 모델’ 구축에 박차를 가하겠다는 의지를 보여주고 있습니다.
지난해 1월 인공지능 챗봇 심심이의 한국어 대화형 AI 기술을 돕는 데이터셋 구축이 완료되었다는 소식이 보도되었습니다. 여기에 포함된 데이터는 ‘공감형 대화’ 데이터와 ‘지식 검색 대화’ 데이터, 그리고 ‘일상형 대화’ 데이터가 포함되어 있습니다. 이는 사실 기반의 대화와 페르소나 유지, 공감 능력까지 갖춘 대형 언어 모델 제작의 기반이 만들어진 셈입니다.
AI HUB는 AI 기술 및 제품, 서비스 개발에 필요한 AI 인프라를 누구나 활용하고 참여할 수 있도록 지원하는 AI 통합 플랫폼입니다. 사용자는 AI 허브에서 지원하는 AI 데이터, AI SW API, 컴퓨팅 자원 등의 인프라 서비스를 자유롭게 활용할 수 있습니다. AI 허브에서 데이터바우처 사업 등을 통해 수집한 공공 데이터나 R&D 데이터, 민간 데이터 등을 가지고 AI 추론 학습용 데이터를 제작하고, 이를 각종 산업체나 연구 개발에 사용할 수 있도록 공유하는 것이죠.
구축이 어려운 한국어 데이터 역시 AI HUB에서 찾을 수 있습니다. [분류 분석], [유사도 판별], [자연어 질의응답], [번역] 등 많은 데이터가 준비되어 있죠. 특히 대화모델 학습용 데이터가 많이 포진되어 있습니다.
실제 적용까지의 과제
챗봇은 일상적이고 반복적인 프로세스를 자동화하는 데에 특화되어 있습니다. 여기에 인공지능을 더해 더욱 효과적인 업무 처리가 가능해졌죠. 그러나 챗봇이 역량 이상을 요구받거나, 챗봇이 수행해야 하는 작업이 모델 성능에 비해 복잡하면 제 기능을 하지 못할 가능성이 높습니다.
또한 인공지능 챗봇은 다양한 소스로부터 액세스 된 데이터를 사용합니다. 그런데 데이터 품질이 나쁘다면 오히려 데이터가 챗봇의 기능을 제한하게 됩니다. 즉 챗봇의 품질은 엔지니어가 챗봇에 사용한 AI 모델과 데이터 품질에 따라 결정된다고 볼 수 있습니다.
그렇다면 챗봇 구축을 위해서는 보다 구체적인 설계가 필요하다는 것을 알 수 있습니다. 특히 잘못 설계된 챗봇은 사용자 신뢰도를 저하하고 브랜드에 대한 나쁜 인상을 줄 수 있습니다. AI 챗봇의 개발 및 구축 단계에서 고려해야 하는 것들의 예시를 들자면 아래와 같습니다.
1. AI 챗봇의 주요 목적과 Target
2. 어디에 챗봇을 구현할 것인가?
- 일반적으로 비즈니스 웹사이트에 구현하지만, 모바일 애플리케이션 등 다른 플랫폼에 구축할 수도 있습니다.
3. 구체적인 챗봇의 기능 정의
- GPT를 활용할 수도 있으며, CTA와 같은 링크로 연결되도록 유도할 수 있습니다.
- 더 빠른 온라인 커뮤니케이션을 위해 음성 인식 기능을 구축할 수도 있습니다.
4. 모니터링 및 유지 관리 계획
AI 챗봇의 제반 설계부터 철저히 해야 하는 이유는 최근 사용자가 AI 챗봇을 통해 기대하는 것들이 더 많아졌기 때문입니다. 자세한 내용은 아래 섹션에서 정리하겠습니다.
AI 챗봇의 인터랙션
대화형 사용자 경험 (Conversational UX)
대화형 사용자 경험(CUX, Conversational UX)란 자연어를 기반으로 한 상호작용 방식을 의미합니다. 인간은 서로 상호작용할 때 아이디어나 개념, 데이터 및 감정 정보를 전달하기 위해 대화를 사용합니다.
CUX의 개념이 등장하기 전까지 사용자는 시스템을 사용하기 위해 기꺼이 복잡한 가이드를 배우고 적응해야 했습니다. 하지만 시스템이 자연어 처리 기술을 통해 비로소 인간과 소통할 수 있게 되자, 사용자는 많은 학습 없이도 인터페이스를 이해하고 사용할 수 있게 되었습니다. 뿐만 아니라 시스템과 연속적이고 맥락 있는 대화를 이어나갈 때에 사용자 경험이 더욱 연속적이며 확장되는 것을 확인할 수 있었습니다. 이를 Microsoft는 ‘사용자가 시스템을 배우는 것이 아니라, 시스템이 배우는 것이다’라고 설명했죠.
챗봇을 설계하는 경우, 훌륭한 대화식 사용자 경험을 보장하는 것이 최우선 과제가 되어야 합니다. 잘 만들어진 대화형 챗봇은 사용자가 너무 많이 입력하거나, 너무 많이 말하거나, 여러 번 반복하거나, 봇에게 설명할 필요 없이 문제를 해결할 수 있어야 합니다.
그러나 AI 챗봇 업계는 챗GPT 이전까지 CUX를 제대로 수립했다고 보기는 어려웠습니다. 사용자의 기대만큼 시스템의 대화 시나리오는 매우 한정적이었으며, 기능의 확장성도 매우 제한적이었죠. 또한 대화에 국한된 인터랙션 방식 탓에 맥락을 이해하지 못한 채 단답식이 많았고, 소통 과정이 부자연스러워 사용자에게 많은 불편을 주었습니다.
따라서 이런 한계를 보완하기 위해, 챗봇을 구축하기 전에 인터랙션 유형을 명확하게 이해하고 적절히 혼용해 구현할 필요가 있습니다.
시스템 중심 유형
에이전트는 하나의 클래스에 해당하는 사용자의 명령만 인식하고 응답합니다. 일반적으로 웹 검색이나 음성 제어에 사용되는 유형으로, 사용자가 응답에 이어 추가적인 대화를 이어가고자 할 경우 시스템이 이를 더 이상 인식하지 못하는 단점이 있습니다. 따라서 사용자가 연속적으로 여러 명령을 요청하더라도, 이전의 대화 내용이나 맥락을 기억하지 않고 새로운 대화로 인식합니다.
콘텐츠 중심 유형
콘텐츠 중심 유형은 시스템 중심 유형과 유사한 패턴을 가지고 있어 2 턴 이하의 시퀀스로 제한되어 있습니다. 그러나 텍스트 기반의 길고 자세한 설명을 제공하는 방식이라는 점이 다소 다릅니다. 이 유형의 에이전트는 사용자의 질문에 대해 세부사항과 예시를 가지고 자세한 응답을 제시하려고 합니다. 요컨대, 챗GPT가 대표적인 콘텐츠 중심 유형의 에이전트죠.
시각 중심 유형
웹 및 모바일 인터페이스를 보조하는 형태의 시각 중심 유형은 자연어와 텍스트 중심의 인터랙션을 제공합니다. 자연어 응답과 함께 버튼이나 목록과 같은 그래픽 기반의 인터랙션을 보신 적이 있을 것입니다. 이 유형은 예측 가능한 사용자 패턴을 정형화한 카테고리를 기반으로 버튼이나 목록을 제시하여 직관적인 인터페이스를 구축했으며, 사용자는 보다 빠르게 원하는 응답을 찾을 수 있습니다. 만약 사용자가 원하는 명령이 없을 경우 직접 텍스트를 타이핑해 작업을 요청할 수도 있습니다.
대화 중심 유형
대화 중심의 인터랙션은 챗봇이 사용자와 자연스럽고 매력적인 대화를 나누도록 설계되어 있습니다. 대화 중심 챗봇은 대화 스타일이 보다 인간과 유사하도록 프로그래밍되었습니다. 따라서 자연어를 사용하면서 대화 단서를 따라갈 수 있고, 사용자의 어조와 스타일에 따라 응답을 조정할 수 있다는 특징이 있습니다. 또한 유머나 스토리텔링 등을 사용하여 사용자가 대화에 지속적인 관심을 가질 수 있도록 유도합니다.
대화 중심 유형 중 일부는 사용자와 친밀감을 쌓고 유대감을 형성하려고 노력합니다. 즉, 사용자의 필요에 따라 여러 턴에 걸쳐 대화하면서 주제를 확장할 수 있죠. 또한 목록이나 문서를 제공하는 것 대신 구체적이고 요약된 답변을 사용자에게 제공하기도 합니다. 일반적으로 짧은 단위의 대화로 구성되어 있기 때문에, 모바일뿐만 아니라 스피커에서도 구현되기도 합니다.
AI 챗봇 성공 조건
사용자 경험 설계에 따른 인터랙션 활용
최근 많은 기업이 대화 우선 전략을 도입한 사용자 친화적인 AI 챗봇에 도전하고 있습니다. 그러나 상황에 따라 대화가 오히려 다른 인터페이스보다 비효율적이거나 사용자를 불편하게 할 수도 있습니다. 따라서 사용자의 목적이나 방식에 맞게 여러 유형을 혼용하는 것이 기본적인 과제입니다.
Microsoft 365의 co-pilot은 대화형 인터페이스와 문서 작업을 연동하여 사용자가 요청한 결과물을 즉시 시각적으로 확인할 수 있도록 구축했습니다. 작업의 대상이 되는 플랫폼, 챗봇과의 대화, 버튼 인터랙션을 잘 엮어 연속적인 사용자 경험 선상에서 AI를 가장 효과적으로 사용하는 구조를 이뤄낸 셈이죠. 만약 코파일럿이 대화 중심 유형으로, 요청한 작업 해결보다도 사용자와의 유대감 형성에 목적을 뒀다면 성공적이라고 보기는 어려웠겠죠.
AI 챗봇의 학습 데이터 설계부터 중요
정리하자면 성공적인 챗봇 구축을 위해서는 4가지 인터랙션 패턴을 적절히 섞어서 구성하면서, 대화의 목적에 맞는 시나리오를 구성해야 합니다. 특히 여기서 대화 시나리오를 구성하는 데에는 산업별로 구체적인 상황에 대응할 수 있는 데이터가 필요합니다.
도메인 지식이란, 모델링하려는 문제 또는 도메인과 관련된 특정 정보 및 전문 지식을 의미합니다. 챗봇이 사용자와 유의미하고 유익한 대화를 나누기 위해서는 특정 주제에 대해 알아야 할 것들이 있습니다. 예를 들자면 아래와 같습니다.
- 도메인의 어휘와 문법
- 도메인 내의 개념 및 관계
- 도메인에 대한 사용자의 일반적인 질문과 요청
- 사용자가 자신의 필요와 욕구를 표현하는 다양한 방법
도메인 지식은 챗봇이 대화의 맥락을 이해하고 적절한 응답을 생성하도록 하는 중요한 열쇠입니다. 예를 들어 챗봇이 고객 지원 서비스를 수행하도록 설계된 경우, 회사의 제품 및 서비스에 대한 제반 지식이 필요할 것입니다. 또한 다양한 유형의 고객 문의사항을 이해할 수 있어야 합니다. 이런 구체적인 지식이 포함된 데이터를 가지고 학습해야만 챗봇이 제 성능을 발휘할 수 있습니다. 따라서 챗봇 구축을 위해서는 데이터 수집 및 가공 능력과 더불어 산업에 대한 이해와 지식이 중요한 것입니다.
👉 모델 정확도를 판별하는 F1 Score란?
데이터헌트 AI 챗봇 구축 사례
세분화된 감정 분석을 통한 대화 시나리오 분석
심리 상담을 위한 멀티모달 감정 분석 모델은 감정을 감지하고 상담자의 목소리 톤과 피치를 분석하여 상담 세션의 효과를 분석하는 기능을 포함하고 있습니다. 데이터헌트는 이 프로젝트를 진행하기 전에 텍스트 데이터와 연관된 시청각 자료를 제공받고, 이를 토대로 대화의 앞뒤 문맥과 발화자의 감정을 파악하고자 했죠.
작업자들은 먼저 텍스트 대화문에 해당하는 영상을 시청하고 대화문의 영상과 스크립트를 비교합니다. 각 스크립트에는 Text/video Intent와 주제, 소주제, 감정을 표시할 수 있습니다. 또한 하나의 대사에 복합적인 감정이 포함되어 있어 단일 감정으로 분류하기 어려운 경우, 감정 2 칼럼에 태깅하는 방식으로 유연하게 대응할 수 있도록 설계했죠.
이를 통해 데이터헌트는 약 79,346개 문장에 대한 멀티모달 음성전사 작업을 마쳤습니다. 정확도는 무려 99.995%를 달성했습니다. 일반적으로 2-3개 정도의 감정값만을 태깅하는 기존 방식과 달리, 무려 8개의 속성값을 태깅함으로써 정교한 데이터를 구축한 결과였습니다.
선생님의 대화 방식 데이터를 토대로 만든 AI튜터
고객사에서 구축하고자 한 SaaS 플랫폼은 Text recognition, Translate 과정과 번역 과정 검수가 Step별로 이루어지는 구조였습니다. 라벨러가 데이터를 입력하면 기초과학/인문 등에 대한 텍스트 데이터 구성 및 단어에 대한 개체 인식이 이루어지고, 이후 텍스트에 대한 외국어 번역이 이루어집니다. 마지막으로 작업 결과를 검수하는 과정을 더해 정확도를 끌어올렸죠.
👉 함께 볼 포스트: NER로 AI튜터와 스마트러닝 플랫폼 구축
결론: AI 챗봇 구축을 위해서는 사전 지식과 정확한 데이터 설계가 필요
향후 AI 챗봇은 기존 제품이나 플랫폼과 결합하여 더욱 개인화된 에이전트 경험을 제공할 것으로 기대됩니다. 그러나 인공지능 챗봇은 본질적으로 사용자가 접하는 정보 자체에 대한 신뢰도가 낮다는 문제점을 꾸준히 지적받고 있습니다. 특히 생명이나 금융 등과 연관된 분야에 대응할 때, 웹 정보를 기반으로 하는 GPT는 치명적인 문제를 유발할 수 있습니다. AI 챗봇에 막연한 관심을 가지고 GPT를 토대로 챗봇을 제작했을 때, 실제 적용 시 기대한 성능을 뽑지 못하는 이유도 여기에 있습니다.
따라서 정확한 정보 전달이 필요한 분야일수록 신뢰할 수 있는 도메인 지식을 쌓아두는 데이터 베이스를 형성하고, 해당 지식을 기반으로 추론 및 응답이 이루어질 수 있도록 제반 작업을 설계하는 것이 중요합니다. 언어 학습 그 이상의 데이터를 정의하면서 복합적인 학습 데이터를 구축하는 프로젝트를 통해 연결성 있고 신뢰할 수 있는 사용자 경험을 보장할 수 있습니다.
- AI 챗봇은 인간과 자연스럽게 대화할 수 있는 소프트웨어 애플리케이션입니다. 챗봇을 도입함으로써 조직의 시간을 더욱 효율적으로 사용할 수 있으며, 실시간 에이전트를 사용할 수 없는 시간동안 조직이 서비스를 제공할 수 있습니다.
- 챗봇은 자연어 처리를 사용하여 사용자의 텍스트나 그래픽, 음성을 통해 웹 서비스 혹은 앱과 상호작용하도록 설계되어 있습니다. 챗봇은 상호작용 유형에 따라 아키텍처와 어트랙션을 선택할 수 있습니다. 최근 가장 많은 관심을 받고 있는 어트랙션은 대화 중심 구조이나, 구축하고자 하는 인공지능 챗봇의 의도나 목적에 따라 적절한 유형을 선택해야 합니다.
- 인공지능 챗봇이 성공하기 위해서는 사용자 의도와 맥락을 파악하는 대화 시나리오를 개발하고 이를 학습 데이터에 반영해야 합니다. 모든 AI 챗봇이 GPT를 기반으로 한다 해서 기대 성능을 내기는 어렵습니다. 따라서 언어 학습 데이터 구축 시 도메인 지식을 기반으로 한 복합적인 프로젝트 설계가 필요합니다.
궁극적으로 성공적인 대화형 AI 챗봇 구축을 위해서는 비즈니스와 AI 생태계에 대해 깊이 이해하고 있는 전문적인 파트너가 필요합니다. 데이터헌트 역시 ChatGPT의 비전을 이어가기 위해 꾸준한 연구와 개발을 이어가고 있습니다.