Wissens-Pipeline
Cortex Knowledge System
KI-gesteuertes Wissens-Ingestion-System mit drei Schichten: Scout entdeckt Quellen (RSS, X/Twitter, YouTube), Comb bewertet Inhalte durch Multi-Lens AI-Scoring mit Gemini Flash, und Waggle liefert bewertete Inhalte ueber REST API, CLI, MCP-Server, Dashboard und Webhooks aus. Laeuft komplett auf Cloudflare Workers mit D1, Vectorize und Queues.
Architektur
Pipeline
Scout — Quellen entdecken
RSS/Atom-Feeds, X/Twitter, YouTube-Kanaele und Web-Scraper finden relevante Inhalte automatisch.
Comb — Bewerten & Clustern
Multi-Lens AI-Rating (1-100 pro Linse), Embedding mit Workers AI, Clustering via Vectorize.
Waggle — Ausliefern
REST API, CLI, MCP-Server, Next.js Dashboard, Push-Webhooks und oeffentlicher Feed.
Kalibrieren
Golden-Set-Monitoring erkennt Score-Drift und feuert Webhooks bei >10% Abweichung.
Tech Stack
Technologien
Qualitätssicherung
Test-Ergebnisse
Engineering Decisions
Architektur-Entscheidungen
Multi-Lens statt Single-Score
Jeder Artikel wird durch relevante Linsen bewertet statt eines Gesamtscores. Das ermoeglicht personalisierte Feeds je nach Interesse (Security vs. Business vs. AI).
Cloudflare-Native Architektur
Workers, D1, Vectorize und Queues statt AWS/GCP. Edge-nah, kostenguenstig im Free Tier, und die gesamte Pipeline laeuft serverless ohne eigene Infrastruktur.
Non-Blocking Embeddings
Workers AI Quota-Erschoepfung blockiert nicht die Ratings. Embeddings werden nachgeholt wenn Quota sich erholt — graceful degradation statt harter Fehler.
Agent-First Design
DAI-Agents sind primaere Konsumenten, Menschen sekundaer. MCP-Server und strukturierte API-Antworten priorisieren maschinelle Nutzung.