Skip to content

Commit 395a28a

Browse files
committed
COMMIT - Applied Portuguese translation updates for prompt caching section.
1 parent 00de8ee commit 395a28a

File tree

1 file changed

+30
-0
lines changed

1 file changed

+30
-0
lines changed

docs/pt-BR/concepts/llms.mdx

Lines changed: 30 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -684,6 +684,36 @@ Nesta seção, você encontrará exemplos detalhados que ajudam a selecionar, co
684684
</Accordion>
685685
</AccordionGroup>
686686

687+
688+
689+
## Cache de Prompt via LiteLLM
690+
O cache de prompt é uma técnica que melhora a eficiência de modelos de linguagem de grande escala (LLM) armazenando e reutilizando partes estáticas de um prompt, como instruções do sistema ou texto de modelo, para evitar processamentos repetidos. Quando um usuário envia um prompt com um prefixo estático conhecido, o sistema reutiliza a parte armazenada, reduzindo significativamente os custos de computação, latência e custo para interações subsequentes. Isso é particularmente benéfico para aplicações com prompts repetitivos, como chatbots ou ferramentas de análise documental, permitindo uma operação mais rápida e econômica.
691+
692+
O LiteLLM atualmente suporta:
693+
694+
- OpenAI (`openai/`)
695+
- API da Anthropic (`anthropic/`)
696+
- Bedrock
697+
- `bedrock/`
698+
- `bedrock/invoke/`
699+
- `bedrock/converse`
700+
- API da Deepseek (`deepseek/`)
701+
702+
Aqui está como você pode habilitá-lo:
703+
```python
704+
from crewai import LLM
705+
706+
llm = LLM(
707+
model="bedrock/anthropic.claude-3-7-sonnet-20250219-v1:0",
708+
reasoning_effort='high',
709+
cache_control_injection_points=[{
710+
"location": "message",
711+
"role": "system"
712+
}]
713+
)
714+
```
715+
Para mais informações, confira a documentação do Litellm [aqui](https://docs.litellm.ai/docs/tutorials/prompt_caching).
716+
687717
## Respostas em streaming
688718

689719
O CrewAI suporta respostas em streaming de LLMs, permitindo que sua aplicação receba e processe saídas em tempo real assim que são geradas.

0 commit comments

Comments
 (0)