챗봇 만드는 사람이 공부해 본 'chatGPT란?'

챗봇 만드는 사람이 공부해 본 'chatGPT란?'

 

chatGPT 열풍이 거세다. SNS를 보면 chatGPT는 어떤 AI봇처럼 혐오표현을 말하지도 않고, 대학교 숙제도 대신해 준다 한다. 검색엔진의 종말이며, 구글 독주는 이제 끝이 보인다고 한다. 좋다, 환영한다, 그래도 역시 챗봇 구축 사업에 종사하는 사람으로서 정말 대단하다라는 열띤 구호보다는, chatGPT를 어떻게 써먹을 수 있을지가 더 고민이다. 세상을 곧 바꾼다고는 하는데 정확히 몰라 손에 잡히진 않는 느낌이랄까? 그래서 직접 써봤고, 똑똑한 chatGPT에게도 물어보며 회사동료들과 함께 공부해봤다. 쉽게 설명하기 위해 문답형으로 정리해 본다.

1. chatGPT는 무엇인가?
OpenAI라는 그룹구글 아님이 GPT-3, 정확히는 GPT-3.5로 만든 언어생성 모델이다 언어를 만드는 인공지능이라고 생각하면 된다 chatGPT는 자연어 생성 질의 응답 문장 요약등을 잘 할 수 있다

2. chatGPT랑 GPT-3는 무슨 차이가 있나?
ChatGPT는 GPT-3 (Generative Pre-trained Transformer 3)의 일종이다. 둘의 차이라면, GPT-3는 더욱 대규모이고 더욱 높은 성능을 가진 모델이고, ChatGPT는 이에 비해 약간 작은 규모이며 성능도 약간 낮은 모델이다. 학습량과 범위로 보면 GPT-3가 chatGPT 보다 다소 방대하다고 말할 수 있다.

2. chatGPT 봇은 기존의 챗봇들과는 무엇이 다른가?
생성AI와 분류AI가 있다. 생성 AI는 무언가를 참신하게 만들어내는 것이고, 분류AI는 이것이 무엇인지 아닌지 구분하는 것이다. 예를 들어, 지식을 가지고 고양이 그림을 그리는 것은 생성 모델이고, 이 그림이 고양인지 아닌지 분류하는 것이 분류AI 이다.

생성 AI중의 일부인 chatGPT

생성AI 와 분류AI

chatGPT는 생성모델이다. 말을 만들어 낸다. 반면, 지금까지 우리가 써왔던 챗봇(카카오톡이나 웹사이트에서 만났던 챗봇들, AI 스피커 봇들)은 거의 모두 분류 AI를 사용한다. 질문의 의도를 '분류'해서 그에 맞는 답변을 따로 매칭해 주는 것이다.
그래서 사용자가 어떤 질문을 하면 그에 걸맞는 답변을 만들어 내는 게 chatGPT이다 반대로 지금까지 만들어왔던 기존의 챗봇은 화자의 의도를 파악하게 하는데 집중되어 있다 그래서 기존의 챗봇은 의도에 맞는 답변을 미리 준비해 뒀고 chatGPT는 공부를 엄청나게 했기 때문에 자기가 알아서 답변을 생성해 낸다

3. chatGPT가 대답을 아주 잘하는데, 기업이 챗봇으로chatCPT를 사용한다면 한계는 무엇일까?
chatGPT한테 직접 물어봤다 뭐라고 대답하는지 chatGPT의 한계에 대한 나의 질문에 chatGPT가 해준 대답
AI가 아닌 인간이 조금 더 이해하기 쉽게 풀어 말하면 이런 문제가 있다

제한된 지식 광범위한 데이터셋을 갖고 학습되었지만 기존 챗봇처럼 외부 데이터와 연동해서 정보를 가져오는 것은 불가능하다 예를 들어 실시간 정보인 날씨를 답변해 줄수는 없다. 의도파악의 한계 chatGPT는 답변을 생성할수는 있지만 의도를 파악할수는 없다 그래서 사용자가 하는 말의 의도를 파악할수는 없다 답변만 잘하면 되는게 아닌가 생각할수도 있지만 사용자의 발화 의도가 무엇인지도 알아야 추후 대응이나 분석을 할 수 있다.

개인화 제한 사용자의 성격 특성 정보에 따라 개인화된 답변을 줄수 없다 예를 들어 홍길동이라는 사람에 딱 맞춰 답변을 해줄수는 없다 엊그제 삼성닷컴에서 갤럭시를 구입한 홍길동이라는 사람에 대한 답변을 줄수는 없다

4. 그렇다면 chatGPT(혹은 GPT-3)를 활용해서 은행
고객센터 챗봇을 만들었다고 생각해보자. 어디에 활용할수 있을까?

chatGPT를 기업이 사용할 수 있다는 가정하에 답변해 보면(2023년 1월 현재 불가, 추후 가능할거로예상), 통상적인 질문을 미리 준비해두지 않아도 된다. 웹페이지나 문서링크를 찾을 수 있는 것들을 GPT-3가 보기좋게 잘 정리해서 대답해준다. 예를 들면 이런것이다.

5. 그럼, 은행 고객센터 챗봇에서 어떤 건 안된다고?
현재 그리고 앞으로도 상당기간 고객정보와 연동된 것은 답변할 수 없다 이런 질문들이다

6. 기업 입장에서 보면 chatGPT(GPT-3)가 그닥 유용해보이지 않는데?
생성AI를 기업 활용 시 가능한 구조 중 하나의 예시 만약 개인정보나 외부정보를 연동해서만 답변해야 하는 챗봇을 생각했다면 아직은 활용하기 어렵다 그렇지만 단순 Q&A나 자동화된 답변을 하는데는 도움을 준다 수많은 서류발급을 안내하는 정부나 서비스 사용법상품안내 민원이 넘치는 금융기관들은 개인정보와 연동이 필요없는 FAQ를 수천개씩이나 갖고 있다작년의 모프로젝트에서는 일반질의응답세트가 6000종이었다 이런 대규모 질의응답 데이터는 문답 내용을 일일이 찾아 업데이트해야해서 운영이 어렵다 운영하다보면 중복된 데이터도 많고 운영이 어렵다보니 철지난 답변을 할때도 많다 그렇지만 GPT-3봇을 활용하면 쉬워질수 있다 또한 GPT-3를 활용하면 갤럭시 새로 나온게 이전 버전하고 어떻게 달라 이런 질문에 미리 답변을 관리자가 생성해두지 않아도 될 것이다

그렇다면 개인정보와 관련된 질문은 어떡하지? 두 방식을 같이 쓰는 거다 분별AI를 사용하는 기존 봇다 이얼로그플로우 카카오 i, SDS Brity 등답변하게 하고 그 외의 FAQ성 답변과 칫챗 등은 chatGPT를 통해 답변하게 하면 된다 즉 정보연동성 질문은 분별AI로 보내 답변을 받고 나머지 질의는 생성AI에 보내 답변을 받자라고 결정해서 활용하면 된다 분별AI과 생성AI를 통합해서 활용할 수 있는 서비스도 곧 나올것으로 예상한다

미성년자가 계좌 틀때 뭘 준비해야하지 최근에 나온 펀드상품은 뭐가 있지가나다 펀드와 ABC 펀드는 뭐가 달라
대출 한도는 어떻게 달라지지 홍길동 계좌에 얼마있지  홍길동이라는 사람의 개인정보와 연동해서 답변할 수 없기때문에 안된다. 김지영에게 계좌이체해줘  역시 김지영씨의 개인정보와 연동해서 답변해야 때문에 답변할 수 없다

7. 현재가 그렇다면 미래는?
GPT-3 챗봇은 대학교 정도의 자료수집 답변 능력을 갖고 있다고 생각할 수 있다 실무를 잘 모를뿐이다 기본적인 지식과 소양이 있는 봇 즉 GPT-3 활용봇을 훈련시키면 훨씬 적은 데이터로 특정 영역에 대한 답변 컨텐츠를 생성할 수 있게 될 것이다 마치 신입사원을 뽑아 전문인력으로 양성시키는 것처럼 보편적인 교육을 GPT-3 등에서 담당하고 전문영역은 별도로 학습시키는 AI를 통해 교육시킬수 있을것이다 또한 데이터 연동형 답변을 하는 부분도 별도의 연결 솔루션 개발을 통해 분명히 해결점을 찾을 수 있으리라 본다

8. 지금 뭘 어떻게 해야할까?
이 글을 쓰기 전까지 chatGPT가 모든것을 다 해결해 줄것 같은 생각이 들었다 그리고 블로그도 chatGPT 시켜서 쓰라고 하면 되지 않을까라는 위기감이 들었다 그런데 막상 이 글을 쓰기 위해 조사하면서 chatGPT 한테도 이것저것 물어보면서 막연한 불안감은 조금 줄어들었다 지금 할 일은 자주 써보는 거다. 지금 직접 써 보세요 챗GPT 바로 사용해보기 링크 회사동료들과 디스커션하기 위해 참고했던 글 GPT-3로 챗봇 만들기 링크도 읽어보시길

 

AI 챗봇에서 나오는 데이터, 버리지 말고 제대로 쓰자

코코너티브, 젠틀파이, AI 대화 분석, 챗봇 분석, 음성봇 분석, 통계

“이번 달 폴백(봇이 알아듣지 못한 질문)이 2,434개나 나왔는데 이걸 어떻게 해야할지 모르겠네”

“뭘 어떻게 해. 그냥 눈에 띄는 몇 개만 수정해.”

 

AI 챗봇 운영자들에게는 왠지 낯설지 않은 대화다.

챗봇이다 콜봇이다 대화형서비스를 만들고 나서, 운영자들이 가장 많이하는 고민은 무엇일까?

 

1.  어찌 어찌 학습은 시켰는데 챗봇이 지난달보다 더 나아졌는지 나빠졌는지 모르겠다.

2. 사람들이 어떤 흐름으로 대화하는지 어느 대화에서 이탈하는지 알 수 없다.

3. 솔직히, 어디서부터 어떻게 개선해야 할 지 감을 못잡겠다.

이해한다. 챗봇을 최초로 구축할때는 무엇을 측정하고 추적해야 운영이 될지 미리 생각하기 어려웠고, 설사 생각해냈다 하더라도 기간과 비용 내 구현이 어려웠을 터다.

그러나, 막상 런칭하고 사용자가 생기면  우리 챗봇은 답변을 왜 이렇게 하는지, 왜 욕을 얻어먹고 있는 지 알고 싶다. (누군가가 이해할수 없는 엑셀을 던져주며 살펴보란다)

그래도 이렇게 하면 나아질까 싶어 이것저것 고쳤는데 얼마나 나아졌나 알수는 없고, 위에선 개선한 결과를 내놓으라 한다. 한숨이 나온다.

 

우리 잠시, 한숨을 접어두자. 코코너티브를 보고 마저 쉬든지 말든지 하자.

똑같은 고민을 6년 동안 젠틀파이가 해왔다. 수년에 걸친 제안요청서(RFP)와 운영요청사항에서, 운영에 꼭 필요한 분석항목과 데이터를 꼼꼼하게 파악했다. 어떤 운영자가 사용하더라도 궁금해할만한 데이터를 모두 여기서 확인할 수 있도록 만들었다.

(자연어엔진 종류에 상관없이 연동 가능하고, 챗봇 이력데이터를 받을수만 있다면 분석 가능하니 지금 신청해보자)

 

 

1. 지난달보다 얼마나 나아졌나?

코코너티브 대시보드에서는 전반적인 변화세를 한눈에 볼수 있게 해준다.

코코너티브 대시보드 예시 일부분 발췌 (www.coconutive.com)

전체 메시지수는 높아졌다. 사용율은 증가했지만, 폴백 메시지 비율이나 상담사 전환율, 폴백직후 종료율(못알아들었어요가 대화의 마지막인 상태)도 높아졌다. 메인지표 중 상담사 전환율은 많은 기업에서 AI봇 활용도 지표로 채택하고 있기 때문에 대시보드에 포함되어 있다.

 

그래서 숫자가 증가하고 감소했는데 어떻게 해야하냐고? 팁을 눌러보면 가이드를 준다.

코코너티브 메뉴 팁

 

추가적으로 대시보드의 서비스 평가는 대화서비스의 건강상태를 다각적으로 체크해준다. 특히 대화완결율은 전체 챗봇 대화 중 [상담사로 전환하지 않고 폴백으로 끝나지도 않은 대화]의 비율로 봇을 통한 사용자의 셀프완결처리가 얼마나 되는지 지표로 활용 가능하다.

코코너티브 대시보드 중 일부 서비스 평가 www.coconutiv.com

 2. 도대체 어떤 대화를 가장 많이하고 어디서 가장 많이 이탈하고 있나?

코코너티브가 가진 가장 강력한 기능이다. 사용자의 대화 흐름을 순서대로 재연해서 고객의 최다 이동경로와 최대 이탈 경로를 한눈에 볼 수 있게 해 준다.

‘아하! 우리 고객은 오프라인 매장을 찾고, 추천제품을 찾은 다음 나의 멤버십을 확인하는 구나!’

 

대화의 스타팅포인트를 웰컴A, 웰컴B, 웰컴C로 설정해둔다면, AB테스트를 실행하는 것처럼 대화 시작점에 따라 달라지는 고객의 대화경로를 추적할 수 있다.

이 결과를 개선 결과로 참고, 다음 업데이트에 활용할 수도 있을 것이다.

코코너티브 세션플로우(고객의 대화경로를 보여준다) www.coconutive.com  

 

3. 솔직히, 어디서부터 어떻게 개선해야 할 지 감을 못잡겠다.

선택과 집중!! 위의 세션플로우를 활용, 주요플로우에서 최적의 경험을 제공하는 데 집중하고, 이탈 경로에서의 더 나은 경험을 생성해보자. 가장 극적인 서비스 향상을 모색할 수 있다.

먼저 주요 흐름 개선을 완료했다면, 그 다음 시급한 문제는 폴백 줄이기다. 폴백수가 10개면 그냥 고치면 되겠지만, 다 합해 천개가 넘는다면 감당할수가 없다. 여기서도 선택과 집중! 폴백에서 가장 많이 등장하는 키워드 부터 개선해 보는 것이다.

TOP 폴백 키워드 (코코너티브)

그런데 혹시 어떤 대화길래 이런 질문과 이런 답변이 나가는거지? 맥락을 봐야 맞는지 이해할수 있는 경우가 많다.코코너티브의 대화 히스토리 재현 기능을 통해 고객의 대화 흐름을 파악해 어떤 흐름에서 대화가 막히는지 파악하고 시나리오를 조정해 보자.

 

코코너티브의 폴백 메시지 리스트와 폴백메시지 히스토리 기능

이 외에도 평균 인식정확도, 인텐트/ 엔티티 사용현황, 키워드 분석 등 코코너티브의 다양한 기능을 활용, 나날이 발전하는 챗봇 운영을 시작해 보자.

조금씩 개선해 나가면, 분명히 해결점이 있다. A프로젝트에서는 코코너티브를 사용한지 2주만에 폴백의 17%를 줄일 수 있었다. 다양한 분석과 개선을 해보고, 통계로 확인해보는 효과를 거둬보자. 챗봇 운영도 훨씬 체계가 잡힐 것이다.

 

혹시라도 챗봇 리뉴얼을 준비하고 있다면 코코너티브로 기존 서비스의 문제점을 먼저 파악해보자. 신기능이 우선이 아니라, 기존 고객의 행동패턴이나 요구사항을 제대로 파악하는게 우선이니까.

그럼 오늘 소개한 범위에서 벌써 ‘코코너티브’를 써볼 의향이 생겼다면, 코코너티브 (www.coconutive.com)의 오픈베타를 신청하자.

지금 오픈베타 신청 시,상용화 서비스 3개월 무료 가능!