I added a [cache] log line next to our usage tracker and read usage.prompt_tokens_details.cached_tokens off a warm conversation. It said 0. Then 1. Out of roughly 16,000 prompt tokens, every single turn. We were paying full price for the same prefix over and over, and the 273K-token board balloon I'd been blaming on the agent loop was just real...
26 🕛 kürzlich 1 Min Lesezeit 31 Leser online ️ CVE-RADAR
cached_tokens is 0 because your system prompt isn't stable
Vollständiger Original-Bericht
Ausführliche Details, Code-Beispiele & Hersteller-Stellungnahme auf dev.to.
Wie bewertest du diesen Beitrag?
1 Klick Feedback 109 Fachleser & IT-Security Experten haben diesen Report heute geteilt
Teilen mit Netzwerk & Team:
Hat Ihnen dieser Tipp / Anleitung geholfen?
Community-Analysen & Experten-Meinungen 0
Verfasse deine eigene Analyse, teile Workarounds oder diskutiere diesen Vorfall im Blog.
Noch keine Community-Analyse verfasst. Markiere einen Textabschnitt oder klicke oben auf „ Eigene Analyse verfassen“!
Community Pulse: Relevanz-Einschätzung
1 Klick Experten-Votum 🔴 Akute Relevanz 42%
🟡 In Evaluierung 28%
🟢 Keine Auswirkung 14%
Spannende Innovation 16%
Verwandte Story-Cluster & Quellen (Vektor-KI)
2 Quellen
Representative Line: Both Ways Bug Me
2 Quellen
CodeSOD: Lock 'Em Dead
2 Quellen
How to Convert Prometheus Histograms to OTLP with the OpenTelemetry Collector
Tipp: Mit Pfeiltasten [ ← ] und [ → ] blättern