(24.12.10) AI 환각 잡는 'RAG'...만능은 아닙니다

이건한 기자, 디지털데일리
출처 : https://www.ddaily.co.kr/page/view/2024120916440998484

AI 환각 잡는 'RAG'...만능은 아닙니다 [real! AI pro]

 

하지만 LLM의 한계는 '사전학습(Pre-training)'이 끝난 데이터 처리에 특화된 점입니다. 앞부분에 언급된 LLM의 환각 부작용 또한 AI가 학습되지 않거나 잘못 학습된 데이터에서 답을 생성하려다 벌어지는 촌극인데요. 당연히 이를 보완할 또다른 기술이 필요했고, RAG가 주목받기 시작합니다.

 

💡RAG의 한계와 고려사항

• 만능이 아님
  • RAG는 환각현상을 완전히 제거하지는 못하며, 데이터의 품질과 검색 시스템의 성능에 따라 결과의 정확성이 좌우됨
  • 따라서 RAG를 도입할 때는 데이터의 정제와 검색 시스템의 최적화가 중요​
• 구조적 이해 필요
  • RAG는 데이터를 고차원의 밀집 벡터로 변환하여 벡터 저장소에 저장하고, 유사성을 측정하여 의미 검색을 수행함
  • 이러한 구조를 이해하고 적절하게 활용하는 것이 RAG의 효과를 극대화하는 데 필수적임​

 

💡주요 키워드

• 환각현상: AI가 실제로 존재하지 않는 정보를 사실인 것처럼 생성하는 현상으로, 생성형 AI의 신뢰성을 저하시킬 수 있습니다.​
• 검색증강생성(RAG): AI 모델이 외부 데이터베이스나 정보 시스템에서 관련 정보를 검색하여 답변을 생성하는 방식으로, AI의 정보 정확성을 향상시키는 데 활용됩니다.​
• 의미 검색(Semantic Search): 사용자의 검색 의도를 파악하여 키워드 매칭이 아닌 문맥과 의미를 기반으로 관련 정보를 제공하는 검색 방식입니다.​
• 밀집 벡터(Dense Vector): 데이터를 고차원의 연속적인 수치 벡터로 표현한 것으로, AI가 데이터 간의 유사성을 계산하는 데 사용됩니다.​
• 벡터 저장소(Vector DB): 밀집 벡터로 표현된 데이터를 저장하고 관리하는 데이터베이스로, AI의 의미 검색을 지원합니다.​