Articles by ngrok
1 article
-
Prompt caching: 10x cheaper LLM tokens, but how? | ngrok blog
Prompt caching gör LLM-tokens 10 gånger billigare och minskar latensen avsevärt för långa prompter hos leverantörer som OpenAI och Anthropic. Artik...