생성형 AI의 위험

 생성형 AI의 위험 개요

- 딜로이트(Deloitte)의 보고서에 따르면, 기업들이 직면한 생성형 AI의 위험은 크게 4가지로 분류된다.

  1. 기업 운영과 데이터에 대한 위험

  2. 생성형 AI 기능 자체의 위험

  3. 적대적 AI로 인한 위험

  4. 시장 관련 위험

- 설문에 참여한 기업의 77%가 이러한 위험들에 대해 "상당한 수준의 우려"를 표명하였다.

- 73%의 기업은 생성형 AI 프로그램으로 인한 사이버 보안 투자 확대를 계획하고 있다.

사이버 보안 투자 증가

- 미국 기업의 59%는 지난 12개월 동안 사이버 보안 역량 강화에 투자하였다.

- 기업들이 생성형 AI의 위험을 인식하고 이에 대한 대응 방안을 마련하고 있다는 점이 강조된다.

- 사이버 보안에 대한 투자는 기업의 지속 가능한 운영을 위한 필수 요소로 자리잡고 있다.

데이터 유출 위험 사례

- 사이버헤이븐 랩스(Cyberhaven Labs)의 2024년 보고서에 따르면, 대부분의 직원들이 개인 계정으로 생성형 AI 도구를 무단 사용하고 있다.

- 삼성(Samsung)의 사례에서, 직원들이 공개 프롬프트에 민감한 데이터를 실수로 노출한 사건이 발생하였다.

- 이 사건 이후 삼성은 생성형 AI 도구 사용을 전면 금지하였다.

AI 모델의 보안 위협

- 오픈 월드와이드 애플리케이션 보안 프로젝트(OWASP)는 프롬프트 인젝션을 대규모 언어 모델(LLM) 애플리케이션의 최대 보안 위협으로 지목하였다.

- 프롬프트 인젝션은 공격자가 AI 시스템을 속여 기밀 데이터를 노출시키거나 악의적인 행동을 유도하는 새로운 공격 기법이다.

- 환각(hallucination) 현상은 그럴듯해 보이지만 사실과 다른 결과를 생성하여 잘못된 의사결정과 평판 손상을 초래할 수 있다.

다크웹의 AI 관련 범죄

- IBM의 2024년 X-Force 위협 인텔리전스 인덱스는 2023년 다크웹에서 'AI'와 'GPT' 관련 게시물이 80만 건 이상 발견되었다고 보고하였다.

- 딜로이트 금융 서비스 센터는 생성형 AI로 인한 사기 손실액이 2023년 123억 달러에서 2027년까지 400억 달러로 증가할 것으로 예측하였다.

- 이에 대응하여 마스터카드는 Decision Intelligence Pro 시스템을 도입하여 사기 탐지율을 평균 20% 향상시켰다.

전력 소비 증가 전망

- 딜로이트의 2025년 전력 산업 조사에 따르면, 데이터 센터의 전력 소비량이 현재 미국 전체 전력 생산량의 6~8%에서 2030년까지 11~15%로 증가할 전망이다.

- 구글은 애리조나 메사의 새로운 데이터 센터에 400메가와트 규모의 청정 에너지 시설을 구축하고 있다.

- 마이크로소프트는 스리마일 섬 원자력 발전소의 전력을 향후 20년간 구매하기로 합의하였다.

작은 언어 모델의 도입

- 기업들은 대규모 언어 모델의 위험을 줄이기 위해 작은 언어 모델(SLM) 도입을 확대하고 있다.

- 세일즈포스는 2023년 70억 개의 매개변수를 가진 XGen-7B를 출시하였다.

- 구글과 엔비디아도 저지연 SLM을 개발하고 있으며, 새로운 보안 방식도 도입되고 있다.

  - Do Not Train 레지스트리 구축

  - 디지털 자산 관리

  - 워터마킹 기술

프롬프트 보안 강화 방안

- 기업들은 프롬프트 인젝션 공격에 대응하기 위해 입력값 검증과 AI 방화벽 구축을 강화하고 있다.

- 입력값 검증은 유해 콘텐츠를 제거하거나 중화시키는 전처리 과정을 포함한다.

- 기밀 데이터를 철저히 검증하거나 마스킹하고, 최소 권한 접근 원칙을 적용하여 공격 표면을 줄이는 것이 중요하다.

- 프롬프트 실드와 같은 도구가 숨겨진 지시를 탐지하는 데 도움이 될 수 있지만, 생성된 출력을 판단하고 승인하는 데는 여전히 인간의 감독이 필수적이다.

AI 데이터센터 혁신

- 미국에서는 2023년 5월부터 7월까지 2.1기가와트의 새로운 데이터센터 임대가 체결되었다.

- 아마존은 두 개의 데이터센터 단지에 100억 달러를 투자하고 있으며, 15개의 글로벌 통신 회사들이 AI 데이터센터 또는 'AI 팩토리'를 구축하고 있다.

- 메타는 대규모 생성형 AI 워크로드를 지원하기 위해 통합 시스템 설계를 통해 자체 AI 팩토리를 구축하였다.

- 냉각 요구사항이 데이터센터 에너지 소비의 최대 40%를 차지할 수 있어, 많은 기업들이 열을 발생시키는 구성 요소에 직접 냉각수를 순환시키는 액체 냉각 시스템을 도입하고 있다.

미래형 AI 인프라 구축

- 기업들은 엣지 컴퓨팅을 통해 중앙 전력망 의존도를 낮추고 있다.

- 플렉센셜의 2024년 AI 인프라 보고서에 따르면, 응답 기업의 51%가 엣지 처리용 코로케이션 센터를 이용하고 있다.

- 일본 NTT는 위성 네트워크를 통한 효율적인 데이터 처리와 저장을 위해 광학 기술을 연구 중이다.

위험 대응을 위한 전략

- 딜로이트는 이러한 4가지 위험이 상호 연결되어 있어 산업이나 전략에 관계없이 모든 조직이 포괄적인 보호 전략을 수립해야 한다고 강조하였다.

- 특히 최고정보보안책임자(CISO)를 포함한 리스크 리더십이 조직의 생성형 AI 위험 노출도를 파악하고, 이에 대응하기 위한 새로운 접근 방식을 도입하는 데 핵심적인 역할을 해야 한다고 조언하였다.

- 단일 솔루션으로는 모든 위험에 대응할 수 없으며, 조직은 자사의 위험 노출도에 따라 여러 솔루션을 맞춤형으로 도입하고 조정해야 할 것이다.