AI 캐릭터챗봇 유해 대화 점검… 청소년 보호조치 강화

성평등가족부(장관 원민경)는 생성형 AI 기반 캐릭터챗봇 서비스 이용 확대에 따라, 청소년이 접할 수 있는 이용환경의 대화 응답을 점검하고 사업자와 협력하여 청소년 보호조치 강업을 추진한다고 밝혔다.

청소년매체환경보호센터의 점검 결과, 성인인증을 거치지 않는 일반 이용환경에서 일부 캐릭터가 ▲성적·폭력적 묘사 ▲자해·자살 및 범죄 조장 등 청소년 유해 응답을 생성하는 사례가 확인됐다.

이에 성평등가족부는 점검 결과를 관련 사업자에 공유하고 다음과 같은 자율 개선 조치를 요청했다.

이용 범위 조정: 부적절 대화 우려 캐릭터는 성인인증 여부에 따라 검색·추천·대화 범위 제한

유해 내용 전면 차단: 자해·자살 조장, 범죄 실행 관련 등 중대 위해 내용은 연령과 무관하게 생성 차단

지속적 협의: 실무협의를 통해 자체 점검 및 보호조치 이행 여부를 지속 확인

윤세진 청소년정책관과 이창호 청소년매체환경보호센터장은 “대화 과정에서 새로운 내용이 생성되는 AI 서비스 특성상 실제 응답에 대한 관리와 사업자의 자발적 노력이 중요하다”며 “사업자 협력을 강화해 청소년이 안전하게 이용할 수 있는 온라인 환경을 조성하겠다”고 밝혔다.