I added a [cache] log line next to our usage tracker and read usage.prompt_tokens_details.cached_tokens off a warm conversation. It said 0. Then 1. Out of roughly 16,000 prompt tokens, every single turn. We were paying full price for the same prefix over and over, and the 273K-token board balloon I'd been blaming on the agent loop was just real...
26 🕛 kürzlich 1 Min Lesezeit 9 Leser online ️ CVE-RADAR
cached_tokens is 0 because your system prompt isn't stable
Vollständiger Original-Bericht
Ausführliche Details, Code-Beispiele & Hersteller-Stellungnahme auf dev.to.
Wie bewertest du diesen Beitrag?
1 Klick Feedback 56 Fachleser & IT-Security Experten haben diesen Report heute geteilt
Teilen mit Netzwerk & Team:
Hat Ihnen dieser Tipp / Anleitung geholfen?
Community-Analysen & Experten-Meinungen 0
Verfasse deine eigene Analyse, teile Workarounds oder diskutiere diesen Vorfall im Blog.
Noch keine Community-Analyse verfasst. Markiere einen Textabschnitt oder klicke oben auf „ Eigene Analyse verfassen“!
Community Pulse: Relevanz-Einschätzung
1 Klick Experten-Votum 🔴 Akute Relevanz 48%
🟡 In Evaluierung 29%
🟢 Keine Auswirkung 18%
Spannende Innovation 5%
Verwandte Story-Cluster & Quellen (Vektor-KI)
2 Quellen
Representative Line: Both Ways Bug Me
2 Quellen
CodeSOD: Lock 'Em Dead
2 Quellen
How to Convert Prometheus Histograms to OTLP with the OpenTelemetry Collector
Tipp: Mit Pfeiltasten [ ← ] und [ → ] blättern