- CustomToolRouter como callback (roda em todas as chamadas) - ToolRouterGuardrail para ativação por request - Modos: jaccard (offline) e embedding (API) - Dockerfile + docker-compose prontos - README com docs completas - Teste offline validando ~74% redução de tokens
14 lines
381 B
Plaintext
14 lines
381 B
Plaintext
# Dependências do Tool Router + LiteLLM Proxy
|
|
# Instalação: pip install -r requirements.txt
|
|
#
|
|
# NOTA: litellm NÃO inclui numpy/scikit-learn por padrão.
|
|
# Esses pacotes são necessários para o modo jaccard (cosine_similarity)
|
|
# e para o modo embedding (vetores).
|
|
|
|
litellm>=1.95.0
|
|
numpy>=1.26.0
|
|
scikit-learn>=1.3.0
|
|
|
|
# Opcional: cache semântico com Valkey/Redis
|
|
# redis>=5.0.0
|