c-stone-invoice-check/.claude/memory.md
2026-11-16 20:13:34 +01:00

10 KiB
Raw Blame History

Memory — C-Stone Invoice Check

Aktuelles Projekt: C-Stone Invoice Check

Aktuelle Phase: Phase 2 — Architektur (abgeschlossen)

Erledigt:

  • ✅ Projektordner angelegt
  • ✅ SaaS-Struktur erstellt (backend/, frontend/, docs/)
  • ✅ Backend: FastAPI mit Router (emails.py, invoices.py, auth.py)
  • ✅ Datenbank: PostgreSQL Models (Invoice, EmailLog, InvoiceDetail, User)
  • ✅ PDF-Verarbeitung: PyMuPDF für Text-Extraktion und Steuer-Erkennung
  • ✅ Excel-Export: openpyxl für Dokumentation
  • ✅ Frontend: React/Vite mit TypeScript (Dashboard, Invoices, Email Logs)
  • ✅ Tailwind CSS Konfiguration
  • ✅ docker-compose.yml mit Backend + Frontend + PostgreSQL
  • ✅ Dockerfile.backend erstellt
  • ✅ Dockerfile.frontend erstellt (nginx-basiert)
  • ✅ .env.example mit Platzhaltern
  • ✅ README.md und docs/schema.md
  • ✅ Alembic Migration initialisiert (5316895daf52_initial_schema.py)
  • ✅ Test-Dateien (test_imap.py, test_pdf.py)
  • ✅ Git Commits für alle Änderungen

Offene Punkte:

  • Docker-Container builden und testen (docker-compose up)
  • IMAP-Verbindung testen (Strato + Gmail)
  • PDF-Verarbeitung lokal testen
  • Evo-X2 Ablagepfad konfigurieren
  • Frontend lokal starten (npm run dev im frontend/)

Mail-Provider Konfiguration:

  • Strato: imap.strato.de:993
  • Gmail: imap.gmail.com:993
  • Hinweis: App-Passwords statt Hauptpasswort verwenden!

PDF-Verarbeitung:

  • PyMuPDF (fitz) für lokal laufende Text-Extraktion
  • Keine Daten verlassen den Server

Ablagestruktur (Evo-X2):

Rechnungen/
├── 2025/
│   ├── mit MwSt/
│   └── ohne MwSt/
└── 2026/
    ├── mit MwSt/
    └── ohne MwSt/

Docker-Ports (Project-Port-Liste):

  • Backend: 8005 (Host) → 8001 (Container)
  • Frontend: 5178 (Host) → 80 (Container)
  • PostgreSQL: 5438 (Host) → 5432 (Container, intern)
  • Redis: 6384 (Host) → 6379 (Container, intern)

Nächste Schritte:

  1. Docker-Container testen (docker-compose up --build)
  2. Frontend unter http://localhost:5178 erreichen
  3. Backend API unter http://localhost:8005/docs testen
  4. IMAP-Verbindung mit echten Credentials konfigurieren

102126 — Erweiterung „Invoice Picker" (Entscheidung Markus)

  • Entscheidung: Kein neues Repo. Invoice Check wird zu Invoice Picker erweitert: Rechnungen, die nur per Portal-Hinweis-Mail kommen (Amazon, OpenAI, Meta, AWS, Google), automatisch ziehen.
  • Architektur: 3 Stufen hinter dem bestehenden IMAP-Poller — (1) Anhang (existiert), (2) Direktlink in Mail (Stripe/Paddle, requests), (3) Playwright mit persistentem Browser-Profil + Adapter pro Anbieter (backend/fetchers/<vendor>.py, fetch(mail) -> list[Path]). Fehler → „Manuell abholen"-Liste + Benachrichtigung, nie stiller Skip.
  • Laufzeit: NucBox (= Evo-X2, Hostname c-stone-ai-lab-NucBox-EVO-X2, on-prem EU). Ablage lokal auf NucBox. Portal-Credentials nur sops-Vault.
  • Anbieter-Reihenfolge: OpenAI → Amazon → Meta → AWS → Google.
  • Phasen: 0 Invoice Check erstmals in Betrieb (nie deployed!) → 1 Klassifikator + Direktlink → 2 Playwright-Basis + Amazon → 3 weitere Adapter → 4 Deploy + 2 Wochen Beobachtung.
  • Nicht im Scope: DATEV/lexoffice-Export, OCR gescannter Belege, Mehrmandanten, Mobile.
  • Stand: Phase 0 beginnt. RAG-Query am 102126 fehlgeschlagen (qwen3-coder:30b 404 auf NucBox-Ollama) — separat fixen.
  • Phase 0 erledigt (102126 abends): Live auf NucBox ~/invoice-check/ (Compose, .env aus Vault via ~/cstone-secrets/bin/with-secrets.sh invoice-check scripts/deploy.sh). Postfach Strato info@c-stone-dev.com. Erstscan POST /emails/scan-all/start über 5.240 Mails, nach 90 s bereits 93 Treffer/34 PDFs abgelegt. Zugriff nur per SSH-Tunnel (-L 5178:localhost:5178 -L 8005:localhost:8005). Befunde (offen, Scope Phase 1+): kein Scheduler (Scan manuell), /emails/* ohne Auth (nur localhost), Aussteller-Parser liefert Wortfetzen, Steuer-Erkennung schlägt überall auf „ohne MwSt" an, Dockerfile kopiert .env.example als .env.
  • Erstscan-Ergebnis (102126, 23:15): Abbruch bei 4.198/5.240 Mails — LookupError: unknown encoding: unknown-8bit in backend/routers/emails.py:327 (eine Mail killt den ganzen Scan). Bis dahin 321 Treffer, 123 PDFs verarbeitet, 110 Dateien abgelegt (nur 2026/ohne MwSt). Fix offen (Freigabe ausstehend): try/except um die GESAMTE Header-Dekodierung pro Mail (Subject + From, alle Segmente von decode_header, nicht nur [0]), errors="replace" — Sentinel-Hinweis: nur .decode() zu kapseln reicht nicht. Danach Redeploy + Scan neu (EmailLog.email_id unique überspringt Verarbeitetes).

102326 — Anforderungen Markus (Ergebnis des Erstscans)

  • Scan mit Header-Fix (bd2e21e, decode_hdr) läuft seit 102226 23:57, Task dccba3a8…, Postfach Strato info@c-stone-dev.com INBOX.
  • Gewünschtes Ergebnis: Liste aller Rechnungsmails in a) Anhang, b) Download-Link, c) Portal-Hinweis. Entspricht Klassifikator Phase 1 (Anhang/Link/Portal/Ignorieren).
  • Ablage Anhänge: Jahr/Monat/ statt Jahr/mit|ohne MwSt.
  • Postfach auswählbar machen (Account via /settings vorhanden, Ordner hartcodiert INBOX). Noch kein Plan/keine Freigabe.

102326 — Stand Tagesende

  • Live auf NucBox: Fix bd2e21e + Klassifikator 37e4ed1 deployt. Scan komplett: 391 Mail-Logs → attachment 170 / link 92 / portal 26 / ignore 103. GET /emails/classified[?format=xlsx] liefert die Liste a)/b)/c).
  • Befunde Stichprobe: AWS-/Canva-"Links" sind Login-Seiten (→ portal); Instagram/Meta „Zahlungsbeleg" fälschlich ignore; email_from teils MIME-codiert in DB.
  • Deploy-Hinweis: deploy.sh nur mit cd <Projektpfad> && + with-secrets.sh invoice-check scripts/deploy.sh; Auto-Mode-Classifier blockt Deploy durch Claude → Markus führt aus.
  • Schema: Prod-DB ohne alembic_version (create_all); neue Spalten per ALTER TABLE … IF NOT EXISTS in main.py startup.
  • Nächstes: Klassifikator-Nachbesserung, dann Schritt 3 (Monatsablage) + 4 (Postfachwahl). Offen: Gmail-Creds, Jahr-Herkunft, 199 vs. 134.

111526 abends — Accountable-Clean-up (Chrome-Session, Details: Auto-Memory accountable-buchungsregeln)

  • Technik: API app.accountable.eu/api/v3/expenses (GET paginiert, PUT Body {expense:{…}}, DELETE → 204), /api/v1/transactions (Feld matchedItems = Verknüpfung; ?text= ist unscharf). Header (Authorization + X-Accountable-*) per Hook auf XHR im Tab abgreifen, nie ausgeben. Belegtext lesbar über pdf.js-Textlayer im Ausgaben-Panel. Neue Ausgabe aus Banktx: Bank → tx → „Neue Ausgabe erstellen/Als neue Ausgabe hinzufügen“ → file-input → Speichern.
  • Fallen: Accountable verknüpft Belege gern mit privaten Girokonto-Buchungen bei fast gleichem Betrag (4× gefunden) → bei Kontrolle immer Kontonummer der tx prüfen. Accountable lernt falsche Lieferanten (Amazon → „Kdshan Retech“, Strato ↔ OpenAI). Mails an ausgaben@/Picker-Sammelversand erzeugen IMMER neue Ausgabe → Doppel zu Bankausgabe.
  • Regeln (Markus): Stornos = Abbuchung als Ausgabe + Rückbuchung „Rückerstattung für einen Einkauf“ → Storno-Eingangsrechnung, gleiche Kategorie. Steuer laut Beleg (Canva weist 19 % aus; Whop/HeyGen/Base44 = Ausländische USt.). Privatentnahme = „Private Ausgabe“, Privateinlage = „Überweisung von deinem anderen Konto“. Wir machen Druck = Werbung; eigenes Buch „Game Changer“ = Werbung 7 %.
  • Erledigt: Qonto-Abgleich 08/2025–10/2026: alle 564 Auszugsbuchungen in Accountable. Belege komplett für Strato, SeaTable, NordVPN, Google Ads, Zoho, Canva, Wir machen Druck (inkl. Stornos), Amazon/IBA, Shirtinator, Galaxus, Parkplatzschild. Doppel gelöscht (Freigabe): 54 + 3 WMD + 11 Canva.
  • Offen: Abgleich der 210 Picker-manual-Mails gegen Accountable (instagram.com 48 Meta-Belege, IONOS 5, Stripe 4, getmyinvoices 6, finodata 2, buhl-data 2, heyzine 2, PayPro 1 ↔ Abbuchung 39,95 €, make/Microsoft/Jotform/Usercentrics, 66 Eigen-Weiterleitungen); Anthropic (9) + ChatGPT Plus ohne Belege; ChatGPT Pro auf keinem verbundenen Konto; fonial 07–09/2026 Belege (Konto gekündigt → Support); Rech.studio-Rechnung angefordert; Fiverr 25.08.2025 USt prüfen; Qonto-Bankverknüpfung erneuern (Markus).
  • Wochenlauf umbauen (Plan + Freigabe nötig): Belege nicht mehr per Mail an Accountable, sondern an Bankbuchung hängen; danach GRAB_CUTOFF setzen.

111626 — Qonto-Abgleich + Belege (Details: handoffs/handoff-2026-11-16-abgleich.md)

  • Now: Belege an Qonto-Buchungen hängen („jede Transaktion braucht Beleg“). Liste lokal/offene-belege-2026-11-16.xlsx (Spalte Erledigt).
  • Erledigt: Qonto-API 634 Buchungen seit 01.01.2025 alle in Accountable. Lufthansa-Angebot + HeyGen-Doppel gelöscht (Freigabe). fx_card-Gebühren → Bankgebühren. Mietvertrag Berdin (9×238) + Briefkasten CelleCreativ (9×35,70) angehängt. Belege: Wix, Usercentrics, Rundfunk, DPMA, Stadtkasse, Hagebau, Back Market, B2B-Datenbank, Big Mama ×2, Vistaprint 9, WmD-Stornos kommentiert.
  • Entscheidung Markus: Auslandsleistungen als Reverse Charge (19 % selbst abführen). Liste lokal/reverse-charge-2025-2026.xlsx (237 Posten, ≈2.315 € USt; Canva/Wix KEIN RC). Bulk-Umstellung in Accountable offen.
  • Offen ohne Markus: 11 Verknüpfungen (Meta Facebk, Sixt, Contabo, HeyGen 30.10.25, Whop 04./22.10.).
  • Offen mit Markus: ~74 Rechnungen (Base44, Media Markt, Adclue, Coursera, OpenAI …), Qonto-Gebührenrechnungen (132 tx, Qonto-App), Parkplatzvertrag 13×59,50, Fragen Paypro/Etsy/Olinda +500, Designrr 124 $ ohne Banklink, private Belege Stadt Celle 32,50 + iPaddy anlegen?
  • Blocker: keiner technisch; Rest wartet auf Belege von Markus.