검색 증강 생성 RAG 9가지 유형
검색 증강 생성(RAG) 개요
- 검색 증강 생성(RAG)는 외부 검색을 통해 대형언어모델(LLM)의 정확도를 높여주는 기술이다.
- 기업의 LLM 도입이 증가함에 따라 RAG는 필수 기술로 자리 잡고 있다.
- RAG는 AI의 주류를 이루는 기술로, 앞으로도 계속해서 중요성을 가질 것이다.
- 마크테크포스트는 RAG 기술의 정교화와 세분화에 대해 소개하고 있다.
RAG의 발전과 중요성
- 최근 RAG를 넘어서는 효과적인 지식 검색 시도가 이어지고 있다.
- 그럼에도 불구하고 RAG는 여전히 AI의 중심 기술로 남을 것이라는 점이 강조된다.
- RAG의 발전은 기업의 AI 활용도를 높이는 데 기여하고 있다.
- 기술의 진화는 AI의 다양한 응용 분야에서 중요한 역할을 한다.
표준 RAG의 구조
- 표준 RAG 프레임워크는 RAG의 기본 모델로, 2단계 프로세스에 의존한다.
1. 모델은 대규모 외부 데이터에서 관련 정보를 검색한다.
2. 검색된 정보를 바탕으로 언어 모델을 사용해 응답을 생성한다.
- 검색된 문서는 입력 쿼리에 대한 추가 컨텍스트 역할을 하여 정확하고 유익한 답변을 생성하는 데 기여한다.
- 표준 RAG는 정확하고 사실적인 정보가 필요한 경우에 특히 유용하다.
- AI 모델은 정보를 일관된 출력으로 합성하는 기능을 수행한다.
수정 RAG의 기능
- 수정 RAG 모델은 표준 RAG를 기반으로 하며, 생성된 응답의 오류나 불일치를 수정하는 계층을 추가한다.
- 이 모델은 다음과 같은 기능을 포함한다:
1. 검색 및 생성 단계 후 수정 메커니즘을 통해 출력의 정확성을 확인한다.
2. 검색된 문서의 추가 참조나 모델의 미세 조정이 이루어진다.
3. 모델이 출력을 자체 평가하는 피드백 루프를 구현한다.
- 수정 RAG는 의료, 법률, 과학 등 고도의 정확성이 필요한 분야에서 유용하다.
- 이 모델은 신뢰할 수 있는 출처와 출력을 일치시켜 모델 응답에 대한 신뢰를 강화한다.
추측 RAG의 활용
- 추측 RAG는 검색된 데이터가 부족하거나 모호할 때 모델이 추측을 통해 응답하도록 유도하는 방식이다.
- 이 모델은 다음과 같은 상황에서 유용하다:
1. 완전한 정보가 없지만 유용한 응답을 제공해야 하는 경우.
2. 모델이 검색된 데이터의 패턴과 이미 학습한 지식을 바탕으로 그럴듯한 결론을 생성한다.
- 추측 RAG는 정확한 결과를 보장하지 않지만, 의사 결정 과정에서 가치를 제공할 수 있다.
- 사용자는 사실적 결론보다는 가설을 생성하도록 설계된 점에 주의해야 한다.
퓨전 RAG의 특징
- 퓨전 RAG는 여러 출처나 관점의 정보를 합성하여 응답을 생성하는 고급 모델이다.
- 이 모델은 다음과 같은 특징을 가진다:
1. 서로 다른 데이터셋이나 보완적, 대조적인 정보를 포함한 여러 출처 문서를 사용한다.
2. 다양한 입력을 균형 잡힌 출력으로 통합하는 기능을 수행한다.
- 퓨전 RAG는 복잡한 의사 결정 프로세스에 유용하다.
- 단일 데이터에 의존할 경우 발생할 수 있는 편견 문제를 해결하는 데 기여한다.
에이전틱 RAG의 자율성
- 에이전틱 RAG는 모델이 독립적으로 행동할 수 있도록 자율성을 도입하는 방식이다.
- 이 모델은 다음과 같은 기능을 포함한다:
1. 사전 정의된 검색 메커니즘으로 제한되지 않는다.
2. 시스템이 추가 소스를 식별하고 다양한 정보를 우선순위로 지정할 수 있다.
- 에이전틱 RAG는 동적 환경에서 특히 유용하다.
- 자율적 프로세스가 사용자의 의도와 일치하는지 확인하는 것이 중요하다.
셀프 RAG의 자기 평가
- 셀프 RAG는 생성된 출력의 품질을 평가하는 시스템이다.
- 이 시스템은 다음과 같은 기능을 포함한다:
1. 검색된 문서와 출력의 일관성을 확인하는 내부 피드백 루프를 구축한다.
2. 사용자 평가나 수정과 같은 외부 피드백 메커니즘을 통해 활용된다.
- 셀프 RAG는 지속적인 개선과 정확성이 필수적인 교육이나 훈련 애플리케이션에서 유용하다.
- 모델의 자체 평가 능력은 검색된 문서의 정확성과 포괄성에 달려 있다.
그래프 RAG의 데이터 구조
- 그래프 RAG는 그래프 기반 데이터 구조를 검색 프로세스에 통합한 모델이다.
- 이 모델은 다음과 같은 상황에서 유용하다:
1. 지식 그래프나 소셜 네트워크 등 데이터 구조가 이해에 중요한 맥락에서 활용된다.
2. 모델은 분리된 정보를 연결하여 검색할 수 있다.
- 그래프 RAG는 법적 쿼리에 대해 관련 법과 사례를 연결하는 데 도움을 준다.
- 그래프 구조가 정확하게 업데이트되고 유지되는 것이 중요하다.
모듈 RAG의 유연성
- 모듈 RAG는 검색과 생성 요소를 별도의 독립적으로 최적화된 모듈로 나누는 방식이다.
- 이 모델은 다음과 같은 장점을 가진다:
1. 각 모듈은 작업에 따라 미세 조정하거나 교체할 수 있다.
2. 유연하고 사용자 정의가 가능한 접근 방식을 제공한다.
- 예를 들어, 특정 모듈은 기술 정보 검색에 집중하고 다른 모듈은 FAQ를 검색하도록 설정할 수 있다.
- 다양한 모듈이 동시에 원활하게 작동하도록 만드는 것은 기술적으로 어려울 수 있다.
라디오RAG의 적용 분야
- 라디오RAG는 방사선 의료를 위한 RAG로, 훈련 데이터가 동적인 경향이 강하다.
- 이 분야에서는 신뢰도 높은 방사선 데이터의 최신 정보를 실시간으로 검색하는 것이 중요하다.
- 라디오RAG는 모델 응답을 향상시키기 위해 최신 정보를 실시간으로 업데이트하는 기능을 수행한다.
- 이미 이 아키텍처를 사용하여 GPT-3.5-터보나 GPT-4의 성능을 최대 54%까지 향상시킨 테스트 결과가 있다.