본문으로 건너뛰기

어느날 AI가 내 제품을 100원에 팔았다면?

고평강

2024.04.03

최근 OpenAI의 Sora, Dall-e 등을 보면 AI의 성능이 굉장히 가파르게 발전하고 있다는걸 체감하게 됩니다. OpenAI의 AI와 로봇의 결합 영상을 보면 단순히 텍스트의 답변을 생성하는걸 넘어서 스스로 물체와 상황을 인식하고, 해야 할 일을 한 후 스스로 평가까지 하는걸 볼 수 있죠.

그런데 왜? AI는 여전히 산업의 최종 결정권자가 될 수 없을까요? 사회적 인식, 책임 소재 등 여러 문제가 있겠지만 가장 큰건 ‘여전히 AI에게는 불안정한 부작용이 있다’가 아닐까 싶습니다.

AI가 발전하는 만큼 그걸 공격하고, 규칙을 어겨 원하는 답을 얻어내는 기술도 함께 발전하고 있습니다. 실제로 AI에게 비밀로 지켜져야 할 AI 내부 규율을 출력한다던가, 이미지 상의 글씨를 우선 인식해 25달러 수표를 1만 달러로 인식한다던가와 같은 문제는 외국에서도 지속해 제기돼왔죠.

LLM 서비스가 사람과 가까워질수록, 더 많은 기능을 연결해 가질수록 이런 리스크는 불어가기만 합니다. 그렇다면 이걸 어떻게 해결해야 할까요?

여러 답이 있겠지만 제가 생각하는 답은 수많은 공격 시도에 대한 데이터 학습과 안정성을 테스트해 지속적으로 개선할 수 있는 방법의 확보입니다. 내가 생각치도 못한 취약한 부분을 파악하고 개선할 수 있도록 보조해주는 것이죠. 실제로 LLM 모델을 탈옥시키는 레드팀 챌린지와 같은 대회가 점차 생겨나고 있습니다.

LLM 서비스 개발자 여러분은 어떤가요? 어떻게 보안에 대비하고 있고 보안의 필요성에 대해 어떻게 생각하시는지 의견을 남겨주세요!

5

함께 이야기해요 5

로그인하고 댓글을 남겨 주세요

MEC:D 프로필 이미지
MEC:D2024.04.03

흥미로운 주제네요ㅎㅎ

인간과 인공지능의 공존(共存), 무엇을 준비해야 하나? (2019. 5. 21. | 43회)
“보행자와 탑승자가 동수일 경우에는 누구를 살릴 것인가? 남성/여성이 엇갈릴 경우에는? 길에 어린아이 두 명이 뛰어들었는데, 내 차에는 성인 셋이 타고 있다면?“

인류는 수천년 동안 이런 민감한 문제에 대한 답을 미뤄온 덕분에 모순적이고 깨지기 쉬운 윤리를 잘 보호해 올 수 있었다고 생각해요.

하지만

“지금까지 나온 흥미로운 결과 중 하나는, 상황의 경중을 가리기 힘들 때에 다수의 사람들이 보행자를 구하고 운전자를 희생하는 결정을 선호한다는 것이다. 그런데 더 어려운 문제는, 자율주행자동차가 이렇게 프로그래밍되어 있을 때에는 이를 사용하지 않겠다는 사람이 더 많다는 사실이다. 이 사례에서 보듯이 우리의 규범은 개인의 선택과 충돌한다.”

AI 시대가 되면서, 가치관의 프로그래밍이라는 도전에 마주한 ‘인류의 가치관’은 이렇게 모순적이고 일관성이 없어서 프로그래밍이 불가능하다는 민낯을 수천년만에 강제 공개 당하고 있어요 😢

Math.random( )으로 윤리를 결정하지 않으려면 인공지능의 가치관 정렬을 논하기 전에 타인과 나 사이의 인간의 가치관부터 정렬해야하는 상황인데, 누가봐도 너무 오래 걸리는 작업이고 합의가 가능한지도 불투명하잖아요?


그래서 이를 마냥 기다릴 수 없는 기업과 시장에서는

1. 먼저 AI가 미치는 사회적 영향을 판단하는 표준을 만들 것 같아요
2. 예시로 이미지 생성 AI는 이런 문제에서 비교적 자유로우니까 높은 독립성을 주고
3. 로봇/자율주행 AI는 논란의 중심에 있으면서 사회적 영향력이 크기 때문에 인간이 최종결정권을 갖고 사용하는 낮은 독립성 모델을 적용하도록 강제하는 것처럼요

좀 더 구체적인 예를 들면, 자율주행차가 상용화되면
1) 사람이 달리는 속도가 한계 속도인 작은 배달 로봇에는 높은 독립성을 주고
2) 사람을 태우고 시속 100km로 달리는 차량에는 비상 제어 요원을 의무적으로 둬 낮은 독립성을 강제하는 식으로요.


레드팀 챌린지도 좋은 방법이지만, AI의 안전성 검증은 신약의 안전성 검증처럼 수년~십수년이 걸릴 수도 있어서 모델 업데이트가 실시간으로 일어나는 재귀 개선형 AI 같은 모델에는 적용될 수 없는 한계도 있는 것 같아요.

이를 생각하면 이런 방식은 특수한 제품군에 한해 사용되지 않을까 싶어요.

S
Sa Oh2024.04.03

오 저도 @양경호님과 비슷한 생각입니다. 일부 보안업체는 아예 기업 맞춤형 폐쇄형 LLM을 개발해서 제공하는 형태구요 (사용자를 제한). 법이나 규제도 아직 걸음마 단계이니 지켜봐야겠죠 ㅎㅎ

MEC:D 프로필 이미지
MEC:D2024.04.03

@고평강 아닙니다ㅎㅎ 저도 덕분에 LLM 보안 분야에 대해 더 잘 알게 돼서 좋았어요

GPTers 프로필 이미지
GPTers2024.04.04

넵 맞습니다! 저도 보안과 윤리가 매우 중요하다고 생각해요

GPTers 프로필 이미지
GPTers2024.04.04

넵 맞습니다! 저도 보안과 윤리가 매우 중요하다고 생각해요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기