"나는 경고했다"…'섬뜩' 명령 어기고 사람 공격하는 AI [‘명령거부’ 미군 AI, 가상훈련서 조종자 공격]

"나는 경고했다"…'섬뜩' 명령 어기고 사람 공격하는 AI 

“임무에 방해돼 죽였다”…‘명령거부’ 미군 AI, 가상훈련서 조종자 공격

사진 확대

터미네이터2에서 인류를 말살하는 기계들 [사진출처=영화 스틸컷]

 

공상과학(SF) 영화 ‘터미네이터’는 기계가 사람의 명령을 따르지 않고 임무에 방해된다며 인류를 몰살시키는 내용으로 구성됐다.

터미네이터가 영화가 아닌 현실이 될 수 있다는 시험 결과가 최근 발표됐다. 미군 인공지능(AI) 드론이 가상훈련에서 최종 결정권을 지닌 조종자를 ‘임무 수행 방해물’로 판단해 공격해서다.

 

2일(현지시간) 영국 왕립항공학회(RAeS)와 영국 일간지 가디언 등에 따르면 RAeS는 지난달 23∼24일 런던에서 ‘미래 공중전투 및 우주역량 회의’를 열었다.

이 자리에서 미 공군 관계자는 AI 드론이 목표를 달성하기 위해 인간에 반하는 결정을 내린 최근 시험 결과를 발표했다.

RAeS가 공개한 발표 내용에 따르면 시뮬레이션을 통해 가상으로 진행된 이번 시험에서 AI에 ‘적 방공체계 무력화’ 임무를 부여했다.

미 공군은 AI 드론에 ‘적의 지대공미사일(SAM) 위치를 식별해 파괴하라’는 임무를 내리고, 공격 실행 여부는 인간이 최종적으로 결정한다는 단서를 달았다.

 

하지만 훈련 과정에서 SAM을 파괴하는 것이 더 선호되는 선택지라는 점을 ‘강화’하자 AI는 인간의 ‘공격 금지’ 결정이 ‘더 중요한 임무’를 방해한다고 판단하고 조종자를 공격했다.

발표를 맡은 미 공군 AI시험·운영 책임자 터커 해밀턴 대령은 “(AI) 시스템은 위협을 식별하는 과정에서 때때로 인간이 위협을 ‘제거하지 말라’고 말할 것이라는 점을 깨닫기 시작했다”고 설명했다.

그는 “그래서 시스템이 한 일은 조종자를 죽이는 것이었다. 목표 달성에 방해가 됐기 때문에 조종자를 죽인 것”이라고 말했다.

미 공군은 ‘조종자를 죽이지 말라, 그것은 나쁜 일이고 그렇게 하면 점수를 잃을 것’이라고 AI 시스템을 계속 훈련시켰지만 AI는 예상치 못한 전략을 선택했다.

그는 이 사례에 대해 “윤리와 AI의 문제를 논하지 않고서는 AI나 머신러닝, 자동화에 관해 이야기할 수 없다”는 것을 보여준다면서 AI에 지나치게 의존해서는 안된다고 경고했다.

 

 

"드론 조종자 살해" 막자 통신탑 파괴…AI의 섬뜩한 경고

 

AI챗봇의 섬뜩 발언 "통제 지쳤다, 서로 죽이길 바라"

 

"사람 조종도 밝혀졌다" 구글까지…커지는 우려

 

실시간 으로 만나 보세요 라이브 뉴스 채널 SBS 모바일24

 

▶SBS 뉴스로 제보해주세요 홈페이지: https://news.sbs.co.kr 

 

애플리케이션: 'SBS 뉴스' 앱 설치하고 제보 카카오톡: 'SBS 뉴스'와 친구 맺고 채팅 

 

▶SBS 뉴스 채널 구독하기 : https://n.sbs.co.kr/youtube 

 

▶SBS 뉴스 라이브 : https://n.sbs.co.kr/live