c-stone-invoice-check/.claude/memory.md
Markus Kruse 6968d3bf12 docs: Erstscan-Abbruch + Fix-Scope (Sentinel) in Memory
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-21 23:46:39 +02:00

5 KiB

Memory — C-Stone Invoice Check

Aktuelles Projekt: C-Stone Invoice Check

Aktuelle Phase: Phase 2 — Architektur (abgeschlossen)

Erledigt:

  • ✅ Projektordner angelegt
  • ✅ SaaS-Struktur erstellt (backend/, frontend/, docs/)
  • ✅ Backend: FastAPI mit Router (emails.py, invoices.py, auth.py)
  • ✅ Datenbank: PostgreSQL Models (Invoice, EmailLog, InvoiceDetail, User)
  • ✅ PDF-Verarbeitung: PyMuPDF für Text-Extraktion und Steuer-Erkennung
  • ✅ Excel-Export: openpyxl für Dokumentation
  • ✅ Frontend: React/Vite mit TypeScript (Dashboard, Invoices, Email Logs)
  • ✅ Tailwind CSS Konfiguration
  • ✅ docker-compose.yml mit Backend + Frontend + PostgreSQL
  • ✅ Dockerfile.backend erstellt
  • ✅ Dockerfile.frontend erstellt (nginx-basiert)
  • ✅ .env.example mit Platzhaltern
  • ✅ README.md und docs/schema.md
  • ✅ Alembic Migration initialisiert (5316895daf52_initial_schema.py)
  • ✅ Test-Dateien (test_imap.py, test_pdf.py)
  • ✅ Git Commits für alle Änderungen

Offene Punkte:

  • Docker-Container builden und testen (docker-compose up)
  • IMAP-Verbindung testen (Strato + Gmail)
  • PDF-Verarbeitung lokal testen
  • Evo-X2 Ablagepfad konfigurieren
  • Frontend lokal starten (npm run dev im frontend/)

Mail-Provider Konfiguration:

  • Strato: imap.strato.de:993
  • Gmail: imap.gmail.com:993
  • Hinweis: App-Passwords statt Hauptpasswort verwenden!

PDF-Verarbeitung:

  • PyMuPDF (fitz) für lokal laufende Text-Extraktion
  • Keine Daten verlassen den Server

Ablagestruktur (Evo-X2):

Rechnungen/
├── 2025/
│   ├── mit MwSt/
│   └── ohne MwSt/
└── 2026/
    ├── mit MwSt/
    └── ohne MwSt/

Docker-Ports (Project-Port-Liste):

  • Backend: 8005 (Host) → 8001 (Container)
  • Frontend: 5178 (Host) → 80 (Container)
  • PostgreSQL: 5438 (Host) → 5432 (Container, intern)
  • Redis: 6384 (Host) → 6379 (Container, intern)

Nächste Schritte:

  1. Docker-Container testen (docker-compose up --build)
  2. Frontend unter http://localhost:5178 erreichen
  3. Backend API unter http://localhost:8005/docs testen
  4. IMAP-Verbindung mit echten Credentials konfigurieren

102126 — Erweiterung „Invoice Picker" (Entscheidung Markus)

  • Entscheidung: Kein neues Repo. Invoice Check wird zu Invoice Picker erweitert: Rechnungen, die nur per Portal-Hinweis-Mail kommen (Amazon, OpenAI, Meta, AWS, Google), automatisch ziehen.
  • Architektur: 3 Stufen hinter dem bestehenden IMAP-Poller — (1) Anhang (existiert), (2) Direktlink in Mail (Stripe/Paddle, requests), (3) Playwright mit persistentem Browser-Profil + Adapter pro Anbieter (backend/fetchers/<vendor>.py, fetch(mail) -> list[Path]). Fehler → „Manuell abholen"-Liste + Benachrichtigung, nie stiller Skip.
  • Laufzeit: NucBox (= Evo-X2, Hostname c-stone-ai-lab-NucBox-EVO-X2, on-prem EU). Ablage lokal auf NucBox. Portal-Credentials nur sops-Vault.
  • Anbieter-Reihenfolge: OpenAI → Amazon → Meta → AWS → Google.
  • Phasen: 0 Invoice Check erstmals in Betrieb (nie deployed!) → 1 Klassifikator + Direktlink → 2 Playwright-Basis + Amazon → 3 weitere Adapter → 4 Deploy + 2 Wochen Beobachtung.
  • Nicht im Scope: DATEV/lexoffice-Export, OCR gescannter Belege, Mehrmandanten, Mobile.
  • Stand: Phase 0 beginnt. RAG-Query am 102126 fehlgeschlagen (qwen3-coder:30b 404 auf NucBox-Ollama) — separat fixen.
  • Phase 0 erledigt (102126 abends): Live auf NucBox ~/invoice-check/ (Compose, .env aus Vault via ~/cstone-secrets/bin/with-secrets.sh invoice-check scripts/deploy.sh). Postfach Strato info@c-stone-dev.com. Erstscan POST /emails/scan-all/start über 5.240 Mails, nach 90 s bereits 93 Treffer/34 PDFs abgelegt. Zugriff nur per SSH-Tunnel (-L 5178:localhost:5178 -L 8005:localhost:8005). Befunde (offen, Scope Phase 1+): kein Scheduler (Scan manuell), /emails/* ohne Auth (nur localhost), Aussteller-Parser liefert Wortfetzen, Steuer-Erkennung schlägt überall auf „ohne MwSt" an, Dockerfile kopiert .env.example als .env.
  • Erstscan-Ergebnis (102126, 23:15): Abbruch bei 4.198/5.240 Mails — LookupError: unknown encoding: unknown-8bit in backend/routers/emails.py:327 (eine Mail killt den ganzen Scan). Bis dahin 321 Treffer, 123 PDFs verarbeitet, 110 Dateien abgelegt (nur 2026/ohne MwSt). Fix offen (Freigabe ausstehend): try/except um die GESAMTE Header-Dekodierung pro Mail (Subject + From, alle Segmente von decode_header, nicht nur [0]), errors="replace" — Sentinel-Hinweis: nur .decode() zu kapseln reicht nicht. Danach Redeploy + Scan neu (EmailLog.email_id unique überspringt Verarbeitetes).