Ich habe den Worker so umgebaut, dass aus einem Capture mehrere Token-Chunks entstehen, jeder Chunk einzeln eingebettet wird, und die Speicherung in Qdrant vollkommen isoliert bleibt.
Ich behandle die Wahl des Embedding-Modells nicht als austauschbare Umgebungsvariable. In Qdrant schreibt sie sich direkt in jede Collection ein. Wer lokal und in Produktion auf unterschiedliche Vektorräume setzt, baut sich eine teure Migration in die Zukunft ein.
Nach dem ersten erfolgreichen Start meines RAG-Systems dachte ich: fertig. Dann habe ich einen docker exec-Schritt im Quick Start gesehen und nicht schlafen können. Hier ist wie ein kleines Reibungsmoment zu einer besseren Architektur geführt hat.
Als ich den Fehler "Ollama is not reachable" bekam, stand ich vor einer echten Architekturentscheidung: Ollama auf dem Host installieren oder als Docker-Container? Die Antwort hat meine gesamte Deployment-Strategie verändert.
Ich hätte Ollama direkt ins Backend einbauen können. Ich hätte OpenAI direkt einbauen können. Ich habe stattdessen eine Abstraktionsschicht gebaut, die beide erlaubt, und dabei verstanden, warum das keine Überentwicklung ist, sondern die einzig strategisch richtige Entscheidung.
Retrieval-Augmented Generation ist keine Theorie. Es ist eine konkrete Architektur aus drei Schritten: Einbetten, Suchen, Generieren. Ich zeige, wie ich das mit Qdrant, nomic-embed-text und llama3.2 komplett lokal und ohne Cloud-Kosten umgesetzt habe.