인공지능(AI) 챗봇 기업 '심심이의 악성 글, 악플 탐지 기능이 관심받고 있다. 최근 AI 챗봇에 대한 악용 및 윤리적 문제가 수면 위로 떠오르면서 이와 관련된 필터링 솔루션이 주목을 받게 된 것이다.

AI 챗봇의 악용 사례는 이미 지난 2016년 등장한 바 있다. 마이크로소프트(MS)가 AI 챗봇 '테이(Tay)'를 출시했지만 16시간 만에 운영을 중단한 것. 당시 테이는 사용자들과 대화를 나누면서 욕설과 인종•성차별 발언을 학습해 내뱉어 파장을 일으켰다. 이는 AI 학습 데이터의 편향성에 따른 부당한 차별, 개발 부주의 및 방관으로 인한 딥러닝 실패 사례로 남았다.

과학기술정보통신부가 발표한 AI 서비스의 윤리 기준은 ‘모든 사람이 모든 분야에서 자율적으로 준수하며 지속 발전을 영위하는 것’으로 정의되고 있다. 특히 AI가 지향하는 최고의 가치에 대해 인간성이라고 명시하고 있다. 10대 핵심 요건으로는 인권 보장, 프라이버시 보호, 다양성 존중, 침해 금지, 공공성, 연대성, 데이터 관리, 책임성, 안전성, 투명성이 꼽힌다.

심심이는 이러한 기준에 부합하는 AI 챗봇으로 성장할 수 있도록 기술개발에 지속적인 연구와 투자를 진행하고 있다. 실제로 심심이는 자체 연구개발 노하우를 바탕으로 악플을 99% 이상 실시간 탐지할 수 있는 문장 분류 솔루션 ‘DBSC(Deep Bad Sentence Classifier)’를 2019년 말에 정식 출시한 바 있다.

기존의 악플 차단 솔루션은 특정 키워드를 차단하는 방식 위주로 구현되어 신규 용어나 은유적인 표현 등에 취약하다는 지적을 받았다. 또 악플 아닌 댓글을 과도하게 필터링하는 등의 문제를 보이기도 했다. 반면 DBSC는 과도하게 필터링하지 않으면서 금지 키워드를 피해 문장을 교묘하게 변형한 악플, 은유적인 악성 표현들을 집어내는 특화된 차단 성능을 발휘하는 것이 포인트다. 심심이에 따르면 DBSC의 딥러닝 모델 정확도는 99% 이상으로 집계되고 있다. 또 머신러닝의 성능 지표인 F1점수 또한 0.99 이상으로 나타나 높은 정밀도와 재현율을 자랑한다.

심심이는 DBSC의 성능을 비약적으로 향상시키기 위해 딥러닝 학습데이터의 양과 질에 많은 노력을 기울이고 있다. 새로 출시한 2.0 버전의 경우 한국어 채팅에 많이 쓰이는 문장을 210만 개 확보하여 학습데이터로 사용해 눈길을 끌었다. 특히 각 문장마다 10명의 무작위 패널 투표를 받는 방식으로 고순도의 라벨링을 하고 있으며, 최근에는 전문가를 동원한 심심이 한국어 대화 시나리오 교정 작업을 진행하는 등 심심이와 주고받는 대화의 질을 높이기 위해 지속적인 연구를 진행 중에 있다.

심심이 최정회 대표는 “쉽게 구현할 수 있는 키워드 필터링은 즉각적인 효과가 있지만 유연하지 못하고, 다국어 서비스에서 대응 수준이 떨어진다. 사람이 전수검사를 하는 방식은 가장 정확하지만 속도가 느리다. DBSC는 이 두 방식의 장점을 모두 가진 솔루션으로 사람이 전수검사한 정확한 데이터를 학습한 딥러닝 모델이 유연하고 즉각적으로 다국어에 대응한다."고 말했다.

그리고 "악성 문장 필터링은 끝없는 창과 방패의 싸움과 같다. 18년 이상 심심이 서비스를 하면서 각 언어와 국가에서 나타나는 각양각색의 '창'을 막기 위한 '방패'들을 마련해 왔다. 현재까지 6개 이상의 제어 장치를 가지고 이들의 장단점을 조합해서 다양한 상황에 대응하고 있으며 앞으로도 문화권이나 국가 별로 해당 사회에서 합의된 기준에 부합하는 서비스가 되도록 지속적으로 고도화 해 나갈 것이다.”라고 전했다.

장왕순 기자  webmaster@jybtv.kr

<저작권자 © 자유방송, 무단 전재 및 재배포 금지>