c-stone-invoice-check/.claude/memory.md
Markus Kruse ad5a4b73eb docs: Meta-Aufladungen verknüpft, Facebk-Doppel gelöscht
Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
2026-11-16 23:15:16 +01:00

12 KiB
Raw Blame History

Memory — C-Stone Invoice Check

Aktuelles Projekt: C-Stone Invoice Check

Aktuelle Phase: Phase 2 — Architektur (abgeschlossen)

Erledigt:

  • ✅ Projektordner angelegt
  • ✅ SaaS-Struktur erstellt (backend/, frontend/, docs/)
  • ✅ Backend: FastAPI mit Router (emails.py, invoices.py, auth.py)
  • ✅ Datenbank: PostgreSQL Models (Invoice, EmailLog, InvoiceDetail, User)
  • ✅ PDF-Verarbeitung: PyMuPDF für Text-Extraktion und Steuer-Erkennung
  • ✅ Excel-Export: openpyxl für Dokumentation
  • ✅ Frontend: React/Vite mit TypeScript (Dashboard, Invoices, Email Logs)
  • ✅ Tailwind CSS Konfiguration
  • ✅ docker-compose.yml mit Backend + Frontend + PostgreSQL
  • ✅ Dockerfile.backend erstellt
  • ✅ Dockerfile.frontend erstellt (nginx-basiert)
  • ✅ .env.example mit Platzhaltern
  • ✅ README.md und docs/schema.md
  • ✅ Alembic Migration initialisiert (5316895daf52_initial_schema.py)
  • ✅ Test-Dateien (test_imap.py, test_pdf.py)
  • ✅ Git Commits für alle Änderungen

Offene Punkte:

  • Docker-Container builden und testen (docker-compose up)
  • IMAP-Verbindung testen (Strato + Gmail)
  • PDF-Verarbeitung lokal testen
  • Evo-X2 Ablagepfad konfigurieren
  • Frontend lokal starten (npm run dev im frontend/)

Mail-Provider Konfiguration:

  • Strato: imap.strato.de:993
  • Gmail: imap.gmail.com:993
  • Hinweis: App-Passwords statt Hauptpasswort verwenden!

PDF-Verarbeitung:

  • PyMuPDF (fitz) für lokal laufende Text-Extraktion
  • Keine Daten verlassen den Server

Ablagestruktur (Evo-X2):

Rechnungen/
├── 2025/
│   ├── mit MwSt/
│   └── ohne MwSt/
└── 2026/
    ├── mit MwSt/
    └── ohne MwSt/

Docker-Ports (Project-Port-Liste):

  • Backend: 8005 (Host) → 8001 (Container)
  • Frontend: 5178 (Host) → 80 (Container)
  • PostgreSQL: 5438 (Host) → 5432 (Container, intern)
  • Redis: 6384 (Host) → 6379 (Container, intern)

Nächste Schritte:

  1. Docker-Container testen (docker-compose up --build)
  2. Frontend unter http://localhost:5178 erreichen
  3. Backend API unter http://localhost:8005/docs testen
  4. IMAP-Verbindung mit echten Credentials konfigurieren

102126 — Erweiterung „Invoice Picker" (Entscheidung Markus)

  • Entscheidung: Kein neues Repo. Invoice Check wird zu Invoice Picker erweitert: Rechnungen, die nur per Portal-Hinweis-Mail kommen (Amazon, OpenAI, Meta, AWS, Google), automatisch ziehen.
  • Architektur: 3 Stufen hinter dem bestehenden IMAP-Poller — (1) Anhang (existiert), (2) Direktlink in Mail (Stripe/Paddle, requests), (3) Playwright mit persistentem Browser-Profil + Adapter pro Anbieter (backend/fetchers/<vendor>.py, fetch(mail) -> list[Path]). Fehler → „Manuell abholen"-Liste + Benachrichtigung, nie stiller Skip.
  • Laufzeit: NucBox (= Evo-X2, Hostname c-stone-ai-lab-NucBox-EVO-X2, on-prem EU). Ablage lokal auf NucBox. Portal-Credentials nur sops-Vault.
  • Anbieter-Reihenfolge: OpenAI → Amazon → Meta → AWS → Google.
  • Phasen: 0 Invoice Check erstmals in Betrieb (nie deployed!) → 1 Klassifikator + Direktlink → 2 Playwright-Basis + Amazon → 3 weitere Adapter → 4 Deploy + 2 Wochen Beobachtung.
  • Nicht im Scope: DATEV/lexoffice-Export, OCR gescannter Belege, Mehrmandanten, Mobile.
  • Stand: Phase 0 beginnt. RAG-Query am 102126 fehlgeschlagen (qwen3-coder:30b 404 auf NucBox-Ollama) — separat fixen.
  • Phase 0 erledigt (102126 abends): Live auf NucBox ~/invoice-check/ (Compose, .env aus Vault via ~/cstone-secrets/bin/with-secrets.sh invoice-check scripts/deploy.sh). Postfach Strato info@c-stone-dev.com. Erstscan POST /emails/scan-all/start über 5.240 Mails, nach 90 s bereits 93 Treffer/34 PDFs abgelegt. Zugriff nur per SSH-Tunnel (-L 5178:localhost:5178 -L 8005:localhost:8005). Befunde (offen, Scope Phase 1+): kein Scheduler (Scan manuell), /emails/* ohne Auth (nur localhost), Aussteller-Parser liefert Wortfetzen, Steuer-Erkennung schlägt überall auf „ohne MwSt" an, Dockerfile kopiert .env.example als .env.
  • Erstscan-Ergebnis (102126, 23:15): Abbruch bei 4.198/5.240 Mails — LookupError: unknown encoding: unknown-8bit in backend/routers/emails.py:327 (eine Mail killt den ganzen Scan). Bis dahin 321 Treffer, 123 PDFs verarbeitet, 110 Dateien abgelegt (nur 2026/ohne MwSt). Fix offen (Freigabe ausstehend): try/except um die GESAMTE Header-Dekodierung pro Mail (Subject + From, alle Segmente von decode_header, nicht nur [0]), errors="replace" — Sentinel-Hinweis: nur .decode() zu kapseln reicht nicht. Danach Redeploy + Scan neu (EmailLog.email_id unique überspringt Verarbeitetes).

102326 — Anforderungen Markus (Ergebnis des Erstscans)

  • Scan mit Header-Fix (bd2e21e, decode_hdr) läuft seit 102226 23:57, Task dccba3a8…, Postfach Strato info@c-stone-dev.com INBOX.
  • Gewünschtes Ergebnis: Liste aller Rechnungsmails in a) Anhang, b) Download-Link, c) Portal-Hinweis. Entspricht Klassifikator Phase 1 (Anhang/Link/Portal/Ignorieren).
  • Ablage Anhänge: Jahr/Monat/ statt Jahr/mit|ohne MwSt.
  • Postfach auswählbar machen (Account via /settings vorhanden, Ordner hartcodiert INBOX). Noch kein Plan/keine Freigabe.

102326 — Stand Tagesende

  • Live auf NucBox: Fix bd2e21e + Klassifikator 37e4ed1 deployt. Scan komplett: 391 Mail-Logs → attachment 170 / link 92 / portal 26 / ignore 103. GET /emails/classified[?format=xlsx] liefert die Liste a)/b)/c).
  • Befunde Stichprobe: AWS-/Canva-"Links" sind Login-Seiten (→ portal); Instagram/Meta „Zahlungsbeleg" fälschlich ignore; email_from teils MIME-codiert in DB.
  • Deploy-Hinweis: deploy.sh nur mit cd <Projektpfad> && + with-secrets.sh invoice-check scripts/deploy.sh; Auto-Mode-Classifier blockt Deploy durch Claude → Markus führt aus.
  • Schema: Prod-DB ohne alembic_version (create_all); neue Spalten per ALTER TABLE … IF NOT EXISTS in main.py startup.
  • Nächstes: Klassifikator-Nachbesserung, dann Schritt 3 (Monatsablage) + 4 (Postfachwahl). Offen: Gmail-Creds, Jahr-Herkunft, 199 vs. 134.

111526 abends — Accountable-Clean-up (Chrome-Session, Details: Auto-Memory accountable-buchungsregeln)

  • Technik: API app.accountable.eu/api/v3/expenses (GET paginiert, PUT Body {expense:{…}}, DELETE → 204), /api/v1/transactions (Feld matchedItems = Verknüpfung; ?text= ist unscharf). Header (Authorization + X-Accountable-*) per Hook auf XHR im Tab abgreifen, nie ausgeben. Belegtext lesbar über pdf.js-Textlayer im Ausgaben-Panel. Neue Ausgabe aus Banktx: Bank → tx → „Neue Ausgabe erstellen/Als neue Ausgabe hinzufügen“ → file-input → Speichern.
  • Fallen: Accountable verknüpft Belege gern mit privaten Girokonto-Buchungen bei fast gleichem Betrag (4× gefunden) → bei Kontrolle immer Kontonummer der tx prüfen. Accountable lernt falsche Lieferanten (Amazon → „Kdshan Retech“, Strato ↔ OpenAI). Mails an ausgaben@/Picker-Sammelversand erzeugen IMMER neue Ausgabe → Doppel zu Bankausgabe.
  • Regeln (Markus): Stornos = Abbuchung als Ausgabe + Rückbuchung „Rückerstattung für einen Einkauf“ → Storno-Eingangsrechnung, gleiche Kategorie. Steuer laut Beleg (Canva weist 19 % aus; Whop/HeyGen/Base44 = Ausländische USt.). Privatentnahme = „Private Ausgabe“, Privateinlage = „Überweisung von deinem anderen Konto“. Wir machen Druck = Werbung; eigenes Buch „Game Changer“ = Werbung 7 %.
  • Erledigt: Qonto-Abgleich 08/2025–10/2026: alle 564 Auszugsbuchungen in Accountable. Belege komplett für Strato, SeaTable, NordVPN, Google Ads, Zoho, Canva, Wir machen Druck (inkl. Stornos), Amazon/IBA, Shirtinator, Galaxus, Parkplatzschild. Doppel gelöscht (Freigabe): 54 + 3 WMD + 11 Canva.
  • Offen: Abgleich der 210 Picker-manual-Mails gegen Accountable (instagram.com 48 Meta-Belege, IONOS 5, Stripe 4, getmyinvoices 6, finodata 2, buhl-data 2, heyzine 2, PayPro 1 ↔ Abbuchung 39,95 €, make/Microsoft/Jotform/Usercentrics, 66 Eigen-Weiterleitungen); Anthropic (9) + ChatGPT Plus ohne Belege; ChatGPT Pro auf keinem verbundenen Konto; fonial 07–09/2026 Belege (Konto gekündigt → Support); Rech.studio-Rechnung angefordert; Fiverr 25.08.2025 USt prüfen; Qonto-Bankverknüpfung erneuern (Markus).
  • Wochenlauf umbauen (Plan + Freigabe nötig): Belege nicht mehr per Mail an Accountable, sondern an Bankbuchung hängen; danach GRAB_CUTOFF setzen.

111626 — Qonto-Abgleich + Belege (Details: handoffs/handoff-2026-11-16-abgleich.md)

  • Now: Belege an Qonto-Buchungen hängen („jede Transaktion braucht Beleg“). Liste lokal/offene-belege-2026-11-16.xlsx (Spalte Erledigt).
  • Erledigt: Qonto-API 634 Buchungen seit 01.01.2025 alle in Accountable. Lufthansa-Angebot + HeyGen-Doppel gelöscht (Freigabe). fx_card-Gebühren → Bankgebühren. Mietvertrag Berdin (9×238) + Briefkasten CelleCreativ (9×35,70) angehängt. Belege: Wix, Usercentrics, Rundfunk, DPMA, Stadtkasse, Hagebau, Back Market, B2B-Datenbank, Big Mama ×2, Vistaprint 9, WmD-Stornos kommentiert.
  • Entscheidung Markus: Auslandsleistungen als Reverse Charge (19 % selbst abführen). Liste lokal/reverse-charge-2025-2026.xlsx (237 Posten, davon 198 umzustellen, ≈2.315 € USt; Canva/Wix KEIN RC → deren alte Buchung „Ausländische USt.“ auf 19 % korrigieren). Bulk-Umstellung in Accountable offen.
  • 16.11. abends erledigt: 6 Belege aus Postfach (Myposter, Elementor, Flyeralarm; Bestellbestätigung MEGA-PRINT/Thalia/AppSumo); Contabo + Sixt verknüpft und per Qonto-Referenz bestätigt, Bank-Doppel gelöscht (Freigabe); HeyGen war schon ok.
  • Offen ohne Markus: Whop-Neuabgleich (Merge 15.11. nach ungefährem Betrag = Fehlzuordnungen; exakt über USD aus Qonto-Mails, tools/qonto_mails.py), Meta 35 Teilverknüpfungen (FIFO-Plan im Handoff), Invideo 28.03./04.04. Einstieg: handoffs/handoff-2026-11-16-2131.md.
  • Offen mit Markus: ~74 Rechnungen (Base44, Media Markt, Adclue, Coursera, OpenAI …), Qonto-Gebührenrechnungen (132 tx, Qonto-App), Parkplatzvertrag 59,50 €/Monat (13 Abbuchungen), Berdin 638 € inkl. 400 Kaution, Fragen Paypro/Etsy/Olinda +500, Designrr 124 $ ohne Banklink, private Belege Stadt Celle 32,50 + iPaddy anlegen?
  • Blocker: keiner technisch; Rest wartet auf Belege von Markus.

111626 22:10 — Whop-Neuabgleich (Details: handoffs/handoff-2026-11-16-whop-phase2.md)

  • Now: Phase 2 Whop-Verknüpfungen korrigieren (neue Session). Phase 1 fertig: 63 Bankzeilen gelesen, 37 falsch, Zeilen 14,04 € und 14,94 € ohne Beleg; 05.10. 13,39 € korrigiert.
  • Erledigt: 4 stornierte Whop-Ausgaben (10 $, 01./02./05./13.10.) gelöscht (Freigabe Markus). Tools tools/whop_pdfs.py, tools/qonto_mails.py. Soll-Tabelle lokal/whop-ist-soll-final.tsv, Plan lokal/whop-phase2-plan.tsv (21 Schritte frei + 16 Zeilen in Zyklen).
  • Falle: Accountable-Hinweis „Vollständig abgeglichen“ taugt nicht als Prüfung; Panel muss 1 s warten vor Scroll; Bank-Seite merkt Suche + Seitennummer. „Zurücksetzen“ evtl. mit Klassifizierung → vorher testen.
  • Danach: Meta (35 Belege), Invideo, Wix/Canva 19 %, RC-Bulk.

111626 22:55 — Whop-Neuabgleich ABGESCHLOSSEN

  • Ergebnis: 63/63 Whop-Bankzeilen in Accountable mit dem USD-exakten Beleg verknüpft, live gegen lokal/whop-ist-soll-final.tsv geprüft (0 Abweichungen). Dubletten gleicher USD nur per Betrag geprüft.
  • Methode (wiederverwendbar): Ketten durch Tausch in den freigewordenen Beleg lösen; reine Zyklen: eine Zeile ohne Auswahl speichern (Klassifizierung bleibt), dann Kette. Accountable-Badge „abgeglichen" unzuverlässig → nur USD/Datum.
  • Next: Meta 35 Teilverknüpfungen → 5 Aufladungen, Invideo, Wix/Canva 19 %, Reverse-Charge-Bulk. Einstieg: handoffs/handoff-2026-11-16-whop-phase2.md.

111616 23:45 — Meta ABGESCHLOSSEN

  • 5 Aufladungen mit 36 Tagesbelegen verknüpft, 5 Facebk-Doppel gelöscht. 3 Fehlverknüpfungen (0,81/0,10/0,07 an Girokonto "Kleingeld Plus") gelöst. 4,73 € ungeteilt an 12.04. Details: handoffs/handoff-2026-11-16-whop-phase2.md.
  • Offen: Girokonto-Kleingeld-Buchungen (3) behalten Klassifizierung "Geschäftliche Ausgabe" -> ggf. zurücksetzen (Markus fragen). Danach Invideo, Wix/Canva 19 %, RC-Bulk.