(24.09.26) "국방AI, 프롬프트 인젝션 공격 등 대비 잘해야"

방은주 기자, 지디넷코리아
출처 : https://zdnet.co.kr/view/?no=20240926223933

"국방AI, 프롬프트 인젝션 공격 등 대비 잘해야"

 

💡요약

윤두식 이로운앤컴퍼니 대표는 LLM 탈옥(jailbreaking)과 프롬프트 인젝션, 정보 왜곡, 적대적 공격, AI 오용 사례를 소개하며, 민감 정보 유출, 오판 유도, 자동화된 사이버공격 가능성을 우려했다. 대응 방안으로는 ▲보안 검증 및 테스트 ▲레드팀 훈련 ▲모델 투명성 확보 ▲입력 필터링 ▲적대적 공격 방어 알고리즘 개발이 제시됐다.

 

💡주요 키워드

• LLM 탈옥(Jailbreaking)
  : AI에게 금지된 응답을 유도해 제한을 우회하게 만드는 공격 방식. 민감정보 유출이나 규제 위반 출력으로 이어질 수 있음.
• 프롬프트 인젝션(Prompt Injection)
  : 악의적인 명령어를 입력해 AI가 원하지 않는 출력을 하도록 유도하는 공격. 직접/간접 입력 방식 모두 존재.
• 적대적 공격(Adversarial Attacks)
  : 입력 데이터를 교묘히 조작해 AI가 잘못된 예측이나 분류를 하게 만드는 기법. 군사적 AI 시스템에 치명적 영향을 줄 수 있음.
• RAG (검색 증강 생성)
  : LLM이 내부 데이터베이스 검색을 통해 응답을 생성하도록 유도해, 민감 정보 노출과 환각(Hallucination)을 줄이는 프레임워크.
• 레드팀 훈련(Red Teaming)
  : 실제 공격을 가정해 보안 취약점을 사전에 점검하는 시뮬레이션 훈련. AI 시스템에도 적용 필요.
• OWASP LLM Top 10
  : 생성형 AI 시스템에서 발견되는 대표적인 10가지 취약점 목록. 프롬프트 인젝션, 출력 처리 오류, 학습 데이터 중독, 모델 탈취 등 포함.
• AIP for Defense (팔란티어)
  : 해외에서 군사 분야에 도입한 대표적인 맞춤형 생성형 AI 시스템 사례.