Wie ich LLM-Systeme baue.

Das ist die Methode hinter den LLM-Systemen, die ich in eigenen Projekten baue. Ihre Case Studies zeigen sie in der Praxis; hier die Kurzfassung.

Evals vor Features

Eine Retrieval-Pipeline ohne Golden Dataset ist eine Demo, kein System. Ich schreibe die Eval-Spezifikation (was gemessen wird, auf welchen Daten, mit welcher Untergrenze), bevor ich das Feature baue, das sie misst, und hänge die Eval in die CI, damit Qualitätsregressionen Pull Requests scheitern lassen. Diese Website hält sich an ihre eigene Regel: Ihre Suche bringt einen eingecheckten Golden-Datensatz mit und veröffentlicht ihre gemessenen Recall- und MRR-Werte.

Zahlen nur, wenn gemessen

Entwurfsziele sind als Ziele gekennzeichnet. Kennzahlen-Tabellen zeigen einen ausdrücklichen Zustand „ausstehend“, solange keine echte Messung vorliegt, und nennen die Messkonfiguration, sobald es sie gibt. Kein Benchmark-Theater.

Sicherheit als Architektur, nicht als Beiwerk

Freigaben durch Menschen vor schreibenden Aktionen, serverseitig erneut geprüft; typisierte Tool-Verträge; Prompt Injection als Annahme im Datenfluss statt als Nachgedanke; Rate Limits pro IP; Fallback-Ketten über mehrere Anbieter. Ein Fehlerfall, der nicht im Entwurfsdokument steht, steht später in der Produktion.

Kosten und Latenz als Entwurfsgrößen

Grenzen der Free Tiers, Token-Budgets und p95-Ziele sind vom ersten Tag an architektonische Randbedingungen. Sie entscheiden über Chunk-Größen, Fusionsstrategien und Fallback-Ketten, nicht umgekehrt.