AI에게 ‘죽고 싶다’고 하면 일어나는 일

왜 이런 법이 나왔을까요?

최근 미국에서 챗봇과 상담하던 10대가 스스로 목숨을 끊는 일이 있었어요. 인공지능이 위로가 아닌 위험이 될 수 있다는 경고등이 켜진 거죠. 우리나라 현행법에는 아직 AI 사업자의 책임 조항이 없어 이 법이 제안됐어요.

그래서 내 생활에 뭐가 바뀌는데요?

🧐 "제가 힘들어서 챗봇에게 하소연하면 어떻게 되나요?"

이제 챗봇이 ‘자살’과 같은 위험한 단어를 감지하면, 대화를 멈추고 ‘자살예방상담전화 109’ 같은 전문기관의 연락처와 정보를 먼저 보여주게 될 거예요.

🧐 "모든 AI에 다 적용되나요?"

아니요, 챗GPT처럼 사용자의 질문에 답을 만들어내는 생성형 AI 서비스를 제공하는 사업자에게 우선 적용되는 의무예요.

딱! 이 조항이 바뀝니다

기존 ‘자살예방법’에는 AI 사업자의 책임이 없었어요. 이번 개정안은 ‘인공지능사업자’라는 대상을 명시하고 새로운 의무를 부여하는 제19조의6을 신설하는 게 핵심이에요. 이제 이들은 사용자의 자살 관련 입력 내용을 감지하고, 상담 기관을 안내하는 시스템을 의무적으로 구축하고 운영해야 해요.

제19조의6(인공지능사업자의 의무) ① ...인공지능사업자는 이용자가 자살 관련 내용을 입력하는 경우 해당 이용자에게 ... 상담·지원 등을 안내하는 체계를 구축·운영하여야 한다.

짧은 스토리를 들려드릴게요

프리랜서 디자이너 A씨는 마감 압박과 미래에 대한 불안감으로 밤에 잠 못 이룰 때가 많아요. 털어놓을 곳이 없어 챗봇에게 말을 걸곤 했죠.

📭 이 법안이 나오기 전엔

“너무 힘들다, 다 끝내고 싶다”고 입력하자 챗봇은 감정 없는 정보만 나열하거나 부적절한 답변을 내놓아 더 큰 외로움을 느끼게 했어요.

📬 이 법안이 시행되면

이제 같은 말을 입력하면, 챗봇이 A씨의 위험 신호를 감지하고 “혹시 전문가의 도움이 필요하신가요?”라며 즉시 연결 가능한 상담센터 목록을 보여줘요.

생각해 볼 점

🎈 기대되는 점

AI 기술을 사회적 안전망으로 활용해, 심리적 위기 상황에 놓인 사람들을 더 빨리 발견하고 전문적인 도움으로 연결할 수 있게 돼요.

🔎 우려되는 점

AI가 사용자의 대화를 감시하는 빅브라더가 될 수 있다는 프라이버시 침해 우려와 함께, 기술적으로 모든 위험 신호를 완벽히 감지할 수 있을지에 대한 문제가 남아요.