AutoRAG에서 Ollama 사용하기
참고: https://docs.auto-rag.com/local_model.html#add-more-llm-models
AutoRAG에 Ollama LLM 모델을 추가할 수 있습니다.
1. llama_index
에서 ollama
패키지를 설치합니다.
pip install llama_index.llms.ollama
2. autorag.generator_models
에 새로운 모델 키 ollama
를 추가합니다.
import autorag
from llama_index.llms.ollama import Ollama
autorag.generator_models["ollama"] = Ollama
새로운 LLM 모델을 추가할 때는 인스턴스가 아닌 클래스 자체를 추가해야 합니다. 반드시 LlamaIndex LLM의 인터페이스를 사용해야 합니다.
3. config.yml
에서 module_type
은 llama_index_llm
를 사용하고 llm
에는 ollama
를 입력합니다.
nodes:
- node_line_name: node_line_1
nodes:
- node_type: generator
modules:
- module_type: llama_index_llm
llm: ollama
model: [llama3, qwen, mistral]
temperature: [0, 0.5, 1.0]
api_base: http://localhost:11434
request_timeout: 3000
batch: 8
[광고] STEEM 개발자 커뮤니티에 참여 하시면, 다양한 혜택을 받을 수 있습니다.