어느날 AI가 내 제품을 100원에 팔았다면?
2024.04.03
최근 OpenAI의 Sora, Dall-e 등을 보면 AI의 성능이 굉장히 가파르게 발전하고 있다는걸 체감하게 됩니다. OpenAI의 AI와 로봇의 결합 영상을 보면 단순히 텍스트의 답변을 생성하는걸 넘어서 스스로 물체와 상황을 인식하고, 해야 할 일을 한 후 스스로 평가까지 하는걸 볼 수 있죠.
그런데 왜? AI는 여전히 산업의 최종 결정권자가 될 수 없을까요? 사회적 인식, 책임 소재 등 여러 문제가 있겠지만 가장 큰건 ‘여전히 AI에게는 불안정한 부작용이 있다’가 아닐까 싶습니다.
AI가 발전하는 만큼 그걸 공격하고, 규칙을 어겨 원하는 답을 얻어내는 기술도 함께 발전하고 있습니다. 실제로 AI에게 비밀로 지켜져야 할 AI 내부 규율을 출력한다던가, 이미지 상의 글씨를 우선 인식해 25달러 수표를 1만 달러로 인식한다던가와 같은 문제는 외국에서도 지속해 제기돼왔죠.
LLM 서비스가 사람과 가까워질수록, 더 많은 기능을 연결해 가질수록 이런 리스크는 불어가기만 합니다. 그렇다면 이걸 어떻게 해결해야 할까요?
여러 답이 있겠지만 제가 생각하는 답은 수많은 공격 시도에 대한 데이터 학습과 안정성을 테스트해 지속적으로 개선할 수 있는 방법의 확보입니다. 내가 생각치도 못한 취약한 부분을 파악하고 개선할 수 있도록 보조해주는 것이죠. 실제로 LLM 모델을 탈옥시키는 레드팀 챌린지와 같은 대회가 점차 생겨나고 있습니다.
LLM 서비스 개발자 여러분은 어떤가요? 어떻게 보안에 대비하고 있고 보안의 필요성에 대해 어떻게 생각하시는지 의견을 남겨주세요!
로그인하고 댓글을 남겨 주세요




흥미로운 주제네요ㅎㅎ
인간과 인공지능의 공존(共存), 무엇을 준비해야 하나? (2019. 5. 21. | 43회)
“보행자와 탑승자가 동수일 경우에는 누구를 살릴 것인가? 남성/여성이 엇갈릴 경우에는? 길에 어린아이 두 명이 뛰어들었는데, 내 차에는 성인 셋이 타고 있다면?“
인류는 수천년 동안 이런 민감한 문제에 대한 답을 미뤄온 덕분에 모순적이고 깨지기 쉬운 윤리를 잘 보호해 올 수 있었다고 생각해요.
하지만
“지금까지 나온 흥미로운 결과 중 하나는, 상황의 경중을 가리기 힘들 때에 다수의 사람들이 보행자를 구하고 운전자를 희생하는 결정을 선호한다는 것이다. 그런데 더 어려운 문제는, 자율주행자동차가 이렇게 프로그래밍되어 있을 때에는 이를 사용하지 않겠다는 사람이 더 많다는 사실이다. 이 사례에서 보듯이 우리의 규범은 개인의 선택과 충돌한다.”
AI 시대가 되면서, 가치관의 프로그래밍이라는 도전에 마주한 ‘인류의 가치관’은 이렇게 모순적이고 일관성이 없어서 프로그래밍이 불가능하다는 민낯을 수천년만에 강제 공개 당하고 있어요 😢
Math.random( )으로 윤리를 결정하지 않으려면 인공지능의 가치관 정렬을 논하기 전에 타인과 나 사이의 인간의 가치관부터 정렬해야하는 상황인데, 누가봐도 너무 오래 걸리는 작업이고 합의가 가능한지도 불투명하잖아요?
그래서 이를 마냥 기다릴 수 없는 기업과 시장에서는
1. 먼저 AI가 미치는 사회적 영향을 판단하는 표준을 만들 것 같아요
2. 예시로 이미지 생성 AI는 이런 문제에서 비교적 자유로우니까 높은 독립성을 주고
3. 로봇/자율주행 AI는 논란의 중심에 있으면서 사회적 영향력이 크기 때문에 인간이 최종결정권을 갖고 사용하는 낮은 독립성 모델을 적용하도록 강제하는 것처럼요
좀 더 구체적인 예를 들면, 자율주행차가 상용화되면
1) 사람이 달리는 속도가 한계 속도인 작은 배달 로봇에는 높은 독립성을 주고
2) 사람을 태우고 시속 100km로 달리는 차량에는 비상 제어 요원을 의무적으로 둬 낮은 독립성을 강제하는 식으로요.
레드팀 챌린지도 좋은 방법이지만, AI의 안전성 검증은 신약의 안전성 검증처럼 수년~십수년이 걸릴 수도 있어서 모델 업데이트가 실시간으로 일어나는 재귀 개선형 AI 같은 모델에는 적용될 수 없는 한계도 있는 것 같아요.
이를 생각하면 이런 방식은 특수한 제품군에 한해 사용되지 않을까 싶어요.