BLOG
Technische Notizen.
Notizen aus den Systemen, die wir bauen: lokale Modelle und die Serving-Schicht, RAG-Architektur und Zugriffskontrolle, Datenlokalität, Integration im Unternehmen. Feldnotizen statt Werbetexte.
Was wir veröffentlichen
Wir führen diesen Blog nicht, um einen Redaktionskalender zu füllen. Wir schreiben über die Fragen, auf die wir beim Bauen eines Systems gestossen sind und für die wir online keine Antwort gefunden haben.
Jeder veröffentlichte Beitrag stammt aus einer echten Installation, und wo Zahlen stehen, beschreiben wir, wie sie gemessen wurden. Keine Kundennamen, keine erkennbaren Falldetails, in keinem Beitrag.
ARCHITEKTUR
Die Serving-Schicht für lokale LLMs: vLLM, SGLang, llama.cpp und Ollama
Ist das Modell gewählt, lautet die erste Architekturentscheidung, welche Serving-Schicht es betreibt. Dieser Beitrag trennt vier Schichten nicht über Funktionslisten, sondern über ihren architektonischen Ansatz bei Scheduling, Speicher, Wiederverwendung und Paketierung. ARCHITEKTURNES im Browser: nicht 60 Bilder, sondern 60,0988
Die NES-Hardware erzeugt 60,0988 Bilder pro Sekunde; der Browser zeichnet im Takt des Bildschirms. Die Entscheidungen, die wir beim Bau von Kaset zwischen diesen beiden Uhren getroffen haben: den Kern austauschbar halten, das Zeichnen aus dem Hauptthread holen und das Composite-Signal als das Medium behandeln, für das die Spiele entworfen wurden. LEITFADENWas ein MCP-Server ist und was er nicht ist
MCP standardisiert die Protokollschicht zwischen einem Sprachmodell und den Systemen, die es erreichen soll. Dieser Beitrag geht die Architektur durch, die Primitive eines Servers und die Stelle, an der die Autorisierung tatsächlich stattfindet — dazu vier Dinge, die MCP nicht ist. ARCHITEKTURZugriffskontrolle in RAG: wer welche Inhalte sieht
Wenn Unternehmensdokumente an ein RAG-System übergeben werden, wandert das bestehende Berechtigungsmodell in den meisten Installationen nicht mit. Eine Umsetzungsnotiz dazu, auf welcher Schicht der Zugriff durchgesetzt wird, wie die Identität bis in die Abfrage gelangt und wann eine geänderte Berechtigung tatsächlich im Index ankommt.Warten Sie nicht auf den Beitrag. Fragen Sie uns direkt.
No deck needed. 20 minutes. The rest is up to you.