생성형 AI의 위험
생성형 AI의 위험 개요 - 딜로이트(Deloitte)의 보고서에 따르면, 기업들이 직면한 생성형 AI의 위험은 크게 4가지로 분류된다. 1. 기업 운영과 데이터에 대한 위험 2. 생성형 AI 기능 자체의 위험 3. 적대적 AI로 인한 위험 4. 시장 관련 위험 - 설문에 참여한 기업의 77%가 이러한 위험들에 대해 "상당한 수준의 우려"를 표명하였다. - 73%의 기업은 생성형 AI 프로그램으로 인한 사이버 보안 투자 확대를 계획하고 있다. 사이버 보안 투자 증가 - 미국 기업의 59%는 지난 12개월 동안 사이버 보안 역량 강화에 투자하였다. - 기업들이 생성형 AI의 위험을 인식하고 이에 대한 대응 방안을 마련하고 있다는 점이 강조된다. - 사이버 보안에 대한 투자는 기업의 지속 가능한 운영을 위한 필수 요소로 자리잡고 있다. 데이터 유출 위험 사례 - 사이버헤이븐 랩스(Cyberhaven Labs)의 2024년 보고서에 따르면, 대부분의 직원들이 개인 계정으로 생성형 AI 도구를 무단 사용하고 있다. - 삼성(Samsung)의 사례에서, 직원들이 공개 프롬프트에 민감한 데이터를 실수로 노출한 사건이 발생하였다. - 이 사건 이후 삼성은 생성형 AI 도구 사용을 전면 금지하였다. AI 모델의 보안 위협 - 오픈 월드와이드 애플리케이션 보안 프로젝트(OWASP)는 프롬프트 인젝션을 대규모 언어 모델(LLM) 애플리케이션의 최대 보안 위협으로 지목하였다. - 프롬프트 인젝션은 공격자가 AI 시스템을 속여 기밀 데이터를 노출시키거나 악의적인 행동을 유도하는 새로운 공격 기법이다. - 환각(hallucination) 현상은 그럴듯해 보이지만 사실과 다른 결과를 생성하여 잘못된 의사결정과 평판 손상을 초래할 수 있다. 다크웹의 AI 관련 범죄 - IBM의 2024년 X-Force 위협 인텔리전스 인덱스는 2023년 다크웹에서 'AI'와 'GPT' 관련 게시물이 80만 건 이상 발견되었다고 보고하였다. ...