하이라이트한 것들은 추가 공부하기 !
LLM (Large Language Model)
자연어처리 (NLP) 분야에서 사용되는 인공지능 (AI) 모델로,
대량의 텍스트 데이터를 학습하여 인간과 유사한 언어 이해와 생성을 수행할 수 있는 모델
| 구분 | 상용 모델 | 오픈소스 모델 |
| 이름(회사) | GPT-4 (오픈AI) Gemini (구글 딥마인드) DBRX (데이터브릭스) 등 |
LLaMA (메타) Gemma (구글) Mistral-7B (미스트랄 AI) MPT-7B (MoaicML) Claude 3.0 (앤트로픽) 등 |
[보안 취약성]
■ 개인정보 보호 및 기밀성 침해
악성 콘텐츠 삽입 또는 LLM에 중요한 정보를 입력으로 개인 정보보호 및 기밀성 손상
■ 저작권 충돌
모델 훈련 데이터 법적, 윤리적 이슈
■ 잘못된 정보 및 허위 정보
오해, 혐오, 성적 수치심, 허위 정보 등 사회 전체 악영향
■ 대중의 신뢰 상실
의료, 금융, 교육 등 LLM 의존성이 큰 분야는 그 산업에 심각한 결과 초래
■ 경제적 영향
개인과 조직의 경제적 이익 손상, 가짜 뉴스 기사를 생성하거나 재무 보고서 조작, 재정적 손실과 명예 훼손
적대적 공격
■ 기밀성
- 모델 반전 공격 (학습에 사용된 데이터를 추출)
- 모델 추출 공격 (머신러닝 모델 추출)
■ 무결성
- 중독 공격 (훈련 데이터셋을 손상시킴)
- 회피 공격 (적대적 예제를 사용하여 모델의 예측 조작)
LLM의 환각 (Hallucination, 할루시네이션)
■ 모델이 잘못된 답변을 사실인 것처럼 가장하는 현상
- 내재적(Intrinsic) 환각 : 소스 콘텐츠와 모순되는 출력을 생성 (입력된 정보와 관련은 있으나 틀린 내용을 출력)
- 외재적(Extrinsic) 환각 : 소스 콘텐츠에서 확인할 수 없는 출력을 생성 (입력된 정보와는 전혀 무관한 내용을 출력)
■ 원인
(1) 휴리스틱 데이터 수집
- 모델 학습을 시키기 위해서는 질문과 정답 데이터가 필요함
- 수집된 정답 데이터가 오염될 가능성 있음
(2) 불완전한 표현 학습과 잘못된 디코딩
- 트랜스포머는 인코더와 디코더의 구조를 가지고 있음
- 인코더
-> 학습에 필요한 데이터에서 통계적인 방법으로 데이터를 압축하여 특징을 요약
-> 이때 데이터 간의 잘못된 상관관계를 학습하여 잘못된 생성을 야기할 수 있음
(3) 파라메틱 지식 편향
- 사전 학습된 모델을 파인 튜닝해도, 이미 학습된 모델 파라미터의 지식을 기억하기 때문에 환각을 초래할 수 있음
(4) 최신성
- 실시간성 대응에 허점 있음
■ 완화 방안
(1) 믿을 만한 데이터셋을 구축 : 기존 데이터에서 모순된 정보를 찾아 노이즈가 포함된 데이터를 필터링하거나 수정
(2) 인코더와 디코더의 구조를 개선하는 여러 방법들을 사용
*디코더는 Uncertainty-aware decoder, Dual decoder, Constrained decoder의 여러 가지 디코더 구조가 제안됐음
(3) RLHF로 설계해 환각 감소 목표를 달성하도록 함.
*Multi-task Learning으로 다양한 NLG 작업에서 환각 제거
(4) 피드백 시스템을 구축 : 환각 정정
OWASP TOP 10 for LLM Aplications
■ LLM01 : Prompt Injection
■ LLM02 : Insecure Output Handling
■ LLM03 : Training Data Poisoning
■ LLM04 : Model Denial of Service
■ LLM05 : Supply Chain Vulnerabilities
■ LLM06 : Sensitive Information Disclosure
■ LLM 07 : Insecure Plugin Design
■ LLM08 : Excessive Agency
■ LLM 09 : Overreliance
■ LLM10 : Model Theft
글 : 이상용 기술사/짠컴퍼니
출처 : [한국정보공학기술사 보안을 論하다-2] LLM 위협과 대응방안
[한국정보공학기술사 보안을 論하다-2] LLM 위협과 대응방안
대규모 언어모델(LLM : Large Language Model)은 인공지능에서 없어서는 안 될 기술이 되었다. 그 능력은 쏟아지는 빅데이터와 클라우드, 그리고 모바일 엣지와 AI 반도체 기반 위에 진화를 거듭하고 있
m.boannews.com
글 : OWASP
출처 : https://owasp.org/www-project-top-10-for-large-language-model-applications/
OWASP Top 10 for Large Language Model Applications | OWASP Foundation
Aims to educate developers, designers, architects, managers, and organizations about the potential security risks when deploying and managing Large Language Models (LLMs)
owasp.org
'Study > AI' 카테고리의 다른 글
| [AI] 텐서플로우(TensorFlow) (2) | 2025.03.13 |
|---|---|
| [AI] PyTorch의 NLP 활용: GPT와 Hugging Face 연동 (2) | 2025.03.13 |
| [AI] 파이토치(PyTorch) (2) | 2025.03.13 |
| [AI] OWASP TOP 10 LLM 애플리케이션 취약점 (2) | 2025.02.18 |
| [AI] 적대적 공격 (Adversarial Attack) (10) | 2024.10.21 |
