#AI임팩트 #개발팀
얼마전 작성한 Vision 임팩트: 보고 생각하고 지시하는 AI (쓰나미 경보AI) 의 말미에
‘생성형 AI기술의 한계와 이슈’에 대해 화두를 던졌었는데요, 이에대해 고민했던 내용이 있어 정리해 보았습니다.
많은 분들이 이미 잘 알고계실 내용일 수 있으나, 우리가 장차 AI를 활용해 돈을 벌고 비즈니스를 영위할 때 고려해야 할 이슈나 한계를 정리해 봤다는 데서 의미를 찾을 수 있을 것 같습니다.
순서는 아래와 같습니다.
AI 기술의 관리적 이슈
AI의 자기 파괴 학습 및 윤리적 이슈
1. AI 기술의 관리적 이슈 (참고: Managing Artificial Intelligence, MIS 2021)
AI 기술의 급격한 발전은 다양한 사회적 제도적 논쟁을 야기하고 있으며 이는 인공지능이 내재한 기술적 이니셔티브가 인간의 관리 범위를 점차 벗어나는 이슈와도 관계가 있습니다.
이는 AI 기술 관리의 세가지 한계 즉, AI의 자율성(Autonomy), 학습성(Learning) 및 불가해성(Inscrutability) 측면에서 관찰되고 있습니다.
1) AI의 자율성이란, 인간이 직접 위임하지 않은 정보를 AI가 점점 더 많이 스스로 처리하는 특징입니다.
특정 현상을 감지한 AI가 후속된 작업을 직접 처리하는 ‘자율형 에이전트’ 는 빌 게이츠의 인공지능과 컴퓨터 사용 변화에 대한 전망 이후에 더욱 관심을 받고 있습니다. MS 뿐만 아니라, OpenAI, AI 에이전트 개발 중이구요, 메타의 AI 에이전트가 유아의 생물학적 모델 복제를 통해 움직임 학습하는 등 파운데이션 모델 기업들이 뛰어들고 있습니다.
하지만 MIS 논문에서는 AI 에이전트가 오히려 인간에게 문제를 해결하도록 지시하고 평가하며 통제할 것을 우려하고 있습니다. 이는 전통적으로 인간이 해야 했던 일과 AI가 해야 할 일의 경계를 모호하게 만들고 있으며, 인간 작업에 대한 의사 결정에 AI의 의존도가 더 심화되는 결과를 초래합니다.
2) 학습성은 AI가 자율적으로 대용량의 데이터를 학습하고 이를 통해 자체적으로 지식을 생성하는 과정에서 발생 가능한 문제입니다.
AI에 의해 지식이 생성되면 편견, 알고리즘 공정성 및 인간 보편성에 의도하지 않은 결과가 도출될 수 있으며, 생성한 데이터 모델에 인간의 감독이 줄어들어 편견, 공정성, 저작권 문제가 부 각될 수 습니다.
3) 불가해성은 AI가 점점 더 많이 학습하고 자율화 되면서 점점 더 AI의 결정에 가시성이 부족해지며 이해하기 어려워지는 문제입니다.
이와 같은 문제는 AI가 만들어낸 창작물이 제작된 과정과 원천 소스, 초기 의도가 반영된 정도에 대한 인간의 개입 여지를 현저히 떨어뜨려 창작물의 윤리적, 법적 책임 소재에 대한 불명확성을 야기할 수 있습니다.
2. AI의 자기 파괴 학습 (참고: Ryuichiro Hataya, 2023)
AI 생성물의 품질 및 신뢰성도 역시 주요 기술적 쟁점으로 부각되고 있습니다.
생성형 AI 모델의 원리가 '사실'일 확률이 가장 높은 답변을 채택하는 것이다 보니 그럴듯하지만 '정확한' 정보가 아닌 결과물을 제시할 수 있으며, 양적으로 우세한 데이터가 가진 편향된 표현이 채택될 가능성이 높아지는 결과를 초래할 수 있습니다.
우리가 잘 알고있는 AI 의 반갑지 않은 손님? 환각(Hallucination) 문제인데요, 실제로 디자인이나, GPTs 개발, AI글쓰기에서 할루시네이션(Hallucination)의 가능성 에 대해 항상 고민하게 되는 것 같습니다. 이에 대해 OpenAI는 AI ‘할루시네이션’과 싸울 새로운 방법을 추구하고 있습니다.
더욱 큰 문제는, 이러한 '사실'이 아니거나 '편향된' 데이터가 생성형AI를 통해 대량으로 양산되고 있으며, 이를 재학습할 수록 생성형AI의 품질은 더욱 떨어지는 '자기파괴 학습' 양상이 가중될 것이라는 점입니다.
Ryuichiro Hataya(2023)의 연구에서는, 기존에 AI가 생성한 이미지가 데이터 세트에 섞일수록 AI 이미지와 실제 모습 사이 차이가 심해지는 등 품질도 낮아지는 것으로 나타났습니다.(아래그림). 연구팀은 AI 이미지가 인터넷에 확산되면 AI 이미지 프로그램의 데이터 세트가 오염돼 AI의 다운스트림(상위 매체에서 하위 매체로 전해지는 데이터) 성능에 치명적일 수 있다고 분석했습니다.
이는 인터넷 상에 가짜 정보의 오염이 만연하게 되어 심각한 사회 문제로 대두 될 가능성을 내포합니다.
신뢰성을 담보하기 어려운 문서나 이미지가 권위 있는 정보처럼 공유되면, 무분별한 사용자 증가와 함께 오류의 발생 빈도는 기하급수적으로 증가할 위험이 있기 때문이죠. 더욱이 이 오류를 바탕으로 생성된 정보는 2차, 3차 등 다수의 단계를 거쳐 재생산되며 거짓 정보의 확산이 가속화될 수 있습니다.
특히, 대화 형태의 인터페이스에서는 정보의 원천을 명시적으로 제시하지 않기 때문에, 해당 정보의 진실성을 검증하거나 원천을 추적하기가 어려워 잘못된 정보의 확산은 사회적 혼란의 원인이 될 수 있습니다.
데이터가 중립적이지 않기에 인간 피드백을 통한 강화학습(RLHF)를 통해 유해하거나 편향된 답변을 줄이는 방법이 거론되고 있지만, 동시에 인간의 오류나 결점을 모방할 가능성도 존재해 윤리적 문제에서 완전히 벗어나기 어려울 것으로 보입니다.
실제 2023년 튀르키예 대지진 사건의 피해 사진을 SNS로 올리고 후원 명목으로 금품을 요구하는 방식의 기부 사기에 이용된 AI 가짜 사진이 유포되기도 하였고(자세히 보면 손가락이 6개 입니다), 2023년 5월에는 미국 국방부 청사에서 대형 폭발이 발생했다는 가짜 사진이 순식간에 전세계에 퍼져 S&P500 지수가 0.3% 하락하기도 했습니다. 이는 AI 가짜 이미지가 실물 경제에 영향을 끼친 첫 사례기도 하지만, 모종의 세력이 가짜 이미지를 유포하며 증시가 하락할 것에 투자하는 시나리오가 충분히 가능해진 것이죠.
이 밖에도 정리해둔 AI이슈에 대한 주제가 좀 더 있긴한데.. 너무 글밥이 많아지는 것 같아 오늘은 이만..
후속편을 기대(?)해 주세요^^;