c-stone-invoice-check/.claude/memory.md
Markus Kruse b854571111 docs: Wix/Canva 19 %, Reverse-Charge-Bulk Teil 1 (109 geprüfte Posten)
Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
2026-11-17 10:24:14 +01:00

132 lines
13 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Memory — C-Stone Invoice Check
## Aktuelles Projekt: C-Stone Invoice Check
- **Typ:** SaaS-App
- **Gestartet:** 2026-07-24
- **DSGVO-relevant:** nein
- **Beschreibung:** Email-Filter für Rechnungen mit PDF-Scanning, lokale Ablage auf Evo-X2, Excel-Dokumentation
- **Stack:** FastAPI + PostgreSQL + React + PyMuPDF
- **Ablageort:** Evo-X2 (lokales Laufwerk)
- **GitHub:** https://github.com/c-stone/c-stone-invoice-check
- **Server-Pfad:** /root/invoice-check/ (nach Deployment)
- **URL:** https://invoice-check.c-stone-dev.com (nach Deployment)
## Aktuelle Phase: Phase 2 — Architektur (abgeschlossen)
### Erledigt:
- ✅ Projektordner angelegt
- ✅ SaaS-Struktur erstellt (backend/, frontend/, docs/)
- ✅ Backend: FastAPI mit Router (emails.py, invoices.py, auth.py)
- ✅ Datenbank: PostgreSQL Models (Invoice, EmailLog, InvoiceDetail, User)
- ✅ PDF-Verarbeitung: PyMuPDF für Text-Extraktion und Steuer-Erkennung
- ✅ Excel-Export: openpyxl für Dokumentation
- ✅ Frontend: React/Vite mit TypeScript (Dashboard, Invoices, Email Logs)
- ✅ Tailwind CSS Konfiguration
- ✅ docker-compose.yml mit Backend + Frontend + PostgreSQL
- ✅ Dockerfile.backend erstellt
- ✅ Dockerfile.frontend erstellt (nginx-basiert)
- ✅ .env.example mit Platzhaltern
- ✅ README.md und docs/schema.md
- ✅ Alembic Migration initialisiert (5316895daf52_initial_schema.py)
- ✅ Test-Dateien (test_imap.py, test_pdf.py)
- ✅ Git Commits für alle Änderungen
### Offene Punkte:
- [ ] Docker-Container builden und testen (`docker-compose up`)
- [ ] IMAP-Verbindung testen (Strato + Gmail)
- [ ] PDF-Verarbeitung lokal testen
- [ ] Evo-X2 Ablagepfad konfigurieren
- [ ] Frontend lokal starten (`npm run dev` im frontend/)
### Mail-Provider Konfiguration:
- **Strato:** imap.strato.de:993
- **Gmail:** imap.gmail.com:993
- **Hinweis:** App-Passwords statt Hauptpasswort verwenden!
### PDF-Verarbeitung:
- **PyMuPDF (fitz)** für lokal laufende Text-Extraktion
- Keine Daten verlassen den Server
### Ablagestruktur (Evo-X2):
```
Rechnungen/
├── 2025/
│ ├── mit MwSt/
│ └── ohne MwSt/
└── 2026/
├── mit MwSt/
└── ohne MwSt/
```
### Docker-Ports (Project-Port-Liste):
- Backend: 8005 (Host) → 8001 (Container)
- Frontend: 5178 (Host) → 80 (Container)
- PostgreSQL: 5438 (Host) → 5432 (Container, intern)
- Redis: 6384 (Host) → 6379 (Container, intern)
### Nächste Schritte:
1. Docker-Container testen (`docker-compose up --build`)
2. Frontend unter http://localhost:5178 erreichen
3. Backend API unter http://localhost:8005/docs testen
4. IMAP-Verbindung mit echten Credentials konfigurieren
## 102126 — Erweiterung „Invoice Picker" (Entscheidung Markus)
- **Entscheidung:** Kein neues Repo. Invoice Check wird zu **Invoice Picker** erweitert: Rechnungen, die nur per Portal-Hinweis-Mail kommen (Amazon, OpenAI, Meta, AWS, Google), automatisch ziehen.
- **Architektur:** 3 Stufen hinter dem bestehenden IMAP-Poller — (1) Anhang (existiert), (2) Direktlink in Mail (Stripe/Paddle, `requests`), (3) Playwright mit persistentem Browser-Profil + Adapter pro Anbieter (`backend/fetchers/<vendor>.py`, `fetch(mail) -> list[Path]`). Fehler → „Manuell abholen"-Liste + Benachrichtigung, nie stiller Skip.
- **Laufzeit:** NucBox (= Evo-X2, Hostname `c-stone-ai-lab-NucBox-EVO-X2`, on-prem EU). Ablage lokal auf NucBox. Portal-Credentials nur sops-Vault.
- **Anbieter-Reihenfolge:** OpenAI → Amazon → Meta → AWS → Google.
- **Phasen:** 0 Invoice Check erstmals in Betrieb (nie deployed!) → 1 Klassifikator + Direktlink → 2 Playwright-Basis + Amazon → 3 weitere Adapter → 4 Deploy + 2 Wochen Beobachtung.
- **Nicht im Scope:** DATEV/lexoffice-Export, OCR gescannter Belege, Mehrmandanten, Mobile.
- **Stand:** Phase 0 beginnt. RAG-Query am 102126 fehlgeschlagen (`qwen3-coder:30b` 404 auf NucBox-Ollama) — separat fixen.
- **Phase 0 erledigt (102126 abends):** Live auf NucBox `~/invoice-check/` (Compose, `.env` aus Vault via `~/cstone-secrets/bin/with-secrets.sh invoice-check scripts/deploy.sh`). Postfach Strato `info@c-stone-dev.com`. Erstscan `POST /emails/scan-all/start` über 5.240 Mails, nach 90 s bereits 93 Treffer/34 PDFs abgelegt. Zugriff nur per SSH-Tunnel (`-L 5178:localhost:5178 -L 8005:localhost:8005`). **Befunde (offen, Scope Phase 1+):** kein Scheduler (Scan manuell), `/emails/*` ohne Auth (nur localhost), Aussteller-Parser liefert Wortfetzen, Steuer-Erkennung schlägt überall auf „ohne MwSt" an, Dockerfile kopiert `.env.example` als `.env`.
- **Erstscan-Ergebnis (102126, 23:15):** Abbruch bei 4.198/5.240 Mails — `LookupError: unknown encoding: unknown-8bit` in `backend/routers/emails.py:327` (eine Mail killt den ganzen Scan). Bis dahin 321 Treffer, 123 PDFs verarbeitet, 110 Dateien abgelegt (nur `2026/ohne MwSt`). **Fix offen (Freigabe ausstehend):** try/except um die GESAMTE Header-Dekodierung pro Mail (Subject + From, alle Segmente von `decode_header`, nicht nur `[0]`), `errors="replace"` — Sentinel-Hinweis: nur `.decode()` zu kapseln reicht nicht. Danach Redeploy + Scan neu (`EmailLog.email_id unique` überspringt Verarbeitetes).
## 102326 — Anforderungen Markus (Ergebnis des Erstscans)
- Scan mit Header-Fix (`bd2e21e`, `decode_hdr`) läuft seit 102226 23:57, Task `dccba3a8…`, Postfach Strato `info@c-stone-dev.com` INBOX.
- **Gewünschtes Ergebnis:** Liste aller Rechnungsmails in a) Anhang, b) Download-Link, c) Portal-Hinweis. Entspricht Klassifikator Phase 1 (Anhang/Link/Portal/Ignorieren).
- **Ablage Anhänge:** `Jahr/Monat/` statt `Jahr/mit|ohne MwSt`.
- **Postfach auswählbar machen** (Account via `/settings` vorhanden, Ordner hartcodiert INBOX). Noch kein Plan/keine Freigabe.
## 102326 — Stand Tagesende
- **Live auf NucBox:** Fix `bd2e21e` + Klassifikator `37e4ed1` deployt. Scan komplett: 391 Mail-Logs → attachment 170 / link 92 / portal 26 / ignore 103. `GET /emails/classified[?format=xlsx]` liefert die Liste a)/b)/c).
- **Befunde Stichprobe:** AWS-/Canva-"Links" sind Login-Seiten (→ portal); Instagram/Meta „Zahlungsbeleg" fälschlich ignore; `email_from` teils MIME-codiert in DB.
- **Deploy-Hinweis:** `deploy.sh` nur mit `cd <Projektpfad> &&` + `with-secrets.sh invoice-check scripts/deploy.sh`; Auto-Mode-Classifier blockt Deploy durch Claude → Markus führt aus.
- **Schema:** Prod-DB ohne `alembic_version` (create_all); neue Spalten per `ALTER TABLE … IF NOT EXISTS` in `main.py` startup.
- **Nächstes:** Klassifikator-Nachbesserung, dann Schritt 3 (Monatsablage) + 4 (Postfachwahl). Offen: Gmail-Creds, Jahr-Herkunft, 199 vs. 134.
## 111526 abends — Accountable-Clean-up (Chrome-Session, Details: Auto-Memory `accountable-buchungsregeln`)
- **Technik:** API `app.accountable.eu/api/v3/expenses` (GET paginiert, PUT Body `{expense:{…}}`, DELETE → 204), `/api/v1/transactions` (Feld `matchedItems` = Verknüpfung; `?text=` ist unscharf). Header (Authorization + X-Accountable-*) per Hook auf XHR im Tab abgreifen, nie ausgeben. Belegtext lesbar über pdf.js-Textlayer im Ausgaben-Panel. Neue Ausgabe aus Banktx: Bank → tx → „Neue Ausgabe erstellen/Als neue Ausgabe hinzufügen“ → file-input → Speichern.
- **Fallen:** Accountable verknüpft Belege gern mit privaten Girokonto-Buchungen bei fast gleichem Betrag (4× gefunden) → bei Kontrolle immer Kontonummer der tx prüfen. Accountable lernt falsche Lieferanten (Amazon → „Kdshan Retech“, Strato ↔ OpenAI). Mails an ausgaben@/Picker-Sammelversand erzeugen IMMER neue Ausgabe → Doppel zu Bankausgabe.
- **Regeln (Markus):** Stornos = Abbuchung als Ausgabe + Rückbuchung „Rückerstattung für einen Einkauf“ → Storno-Eingangsrechnung, gleiche Kategorie. Steuer laut Beleg (Canva weist 19 % aus; Whop/HeyGen/Base44 = Ausländische USt.). Privatentnahme = „Private Ausgabe“, Privateinlage = „Überweisung von deinem anderen Konto“. Wir machen Druck = Werbung; eigenes Buch „Game Changer“ = Werbung 7 %.
- **Erledigt:** Qonto-Abgleich 08/2025–10/2026: alle 564 Auszugsbuchungen in Accountable. Belege komplett für Strato, SeaTable, NordVPN, Google Ads, Zoho, Canva, Wir machen Druck (inkl. Stornos), Amazon/IBA, Shirtinator, Galaxus, Parkplatzschild. Doppel gelöscht (Freigabe): 54 + 3 WMD + 11 Canva.
- **Offen:** Abgleich der 210 Picker-`manual`-Mails gegen Accountable (instagram.com 48 Meta-Belege, IONOS 5, Stripe 4, getmyinvoices 6, finodata 2, buhl-data 2, heyzine 2, PayPro 1 ↔ Abbuchung 39,95 €, make/Microsoft/Jotform/Usercentrics, 66 Eigen-Weiterleitungen); Anthropic (9) + ChatGPT Plus ohne Belege; ChatGPT Pro auf keinem verbundenen Konto; fonial 07–09/2026 Belege (Konto gekündigt → Support); Rech.studio-Rechnung angefordert; Fiverr 25.08.2025 USt prüfen; Qonto-Bankverknüpfung erneuern (Markus).
- **Wochenlauf umbauen (Plan + Freigabe nötig):** Belege nicht mehr per Mail an Accountable, sondern an Bankbuchung hängen; danach `GRAB_CUTOFF` setzen.
## 111626 — Qonto-Abgleich + Belege (Details: `handoffs/handoff-2026-11-16-abgleich.md`)
- **Now:** Belege an Qonto-Buchungen hängen („jede Transaktion braucht Beleg“). Liste `lokal/offene-belege-2026-11-16.xlsx` (Spalte Erledigt).
- **Erledigt:** Qonto-API 634 Buchungen seit 01.01.2025 alle in Accountable. Lufthansa-Angebot + HeyGen-Doppel gelöscht (Freigabe). fx_card-Gebühren → Bankgebühren. Mietvertrag Berdin (9×238) + Briefkasten CelleCreativ (9×35,70) angehängt. Belege: Wix, Usercentrics, Rundfunk, DPMA, Stadtkasse, Hagebau, Back Market, B2B-Datenbank, Big Mama ×2, Vistaprint 9, WmD-Stornos kommentiert.
- **Entscheidung Markus:** Auslandsleistungen als Reverse Charge (19 % selbst abführen). Liste `lokal/reverse-charge-2025-2026.xlsx` (237 Posten, davon 198 umzustellen, ≈2.315 € USt; Canva/Wix KEIN RC → deren alte Buchung „Ausländische USt.“ auf 19 % korrigieren). Bulk-Umstellung in Accountable offen.
- **16.11. abends erledigt:** 6 Belege aus Postfach (Myposter, Elementor, Flyeralarm; Bestellbestätigung MEGA-PRINT/Thalia/AppSumo); Contabo + Sixt verknüpft und per Qonto-Referenz bestätigt, Bank-Doppel gelöscht (Freigabe); HeyGen war schon ok.
- **Offen ohne Markus:** Whop-Neuabgleich (Merge 15.11. nach ungefährem Betrag = Fehlzuordnungen; exakt über USD aus Qonto-Mails, `tools/qonto_mails.py`), Meta 35 Teilverknüpfungen (FIFO-Plan im Handoff), Invideo 28.03./04.04. Einstieg: `handoffs/handoff-2026-11-16-2131.md`.
- **Offen mit Markus:** ~74 Rechnungen (Base44, Media Markt, Adclue, Coursera, OpenAI …), Qonto-Gebührenrechnungen (132 tx, Qonto-App), Parkplatzvertrag 59,50 €/Monat (13 Abbuchungen), Berdin 638 € inkl. 400 Kaution, Fragen Paypro/Etsy/Olinda +500, Designrr 124 $ ohne Banklink, private Belege Stadt Celle 32,50 + iPaddy anlegen?
- **Blocker:** keiner technisch; Rest wartet auf Belege von Markus.
## 111626 22:10 — Whop-Neuabgleich (Details: `handoffs/handoff-2026-11-16-whop-phase2.md`)
- **Now:** Phase 2 Whop-Verknüpfungen korrigieren (neue Session). Phase 1 fertig: 63 Bankzeilen gelesen, 37 falsch, Zeilen 14,04 € und 14,94 € ohne Beleg; 05.10. 13,39 € korrigiert.
- **Erledigt:** 4 stornierte Whop-Ausgaben (10 $, 01./02./05./13.10.) gelöscht (Freigabe Markus). Tools `tools/whop_pdfs.py`, `tools/qonto_mails.py`. Soll-Tabelle `lokal/whop-ist-soll-final.tsv`, Plan `lokal/whop-phase2-plan.tsv` (21 Schritte frei + 16 Zeilen in Zyklen).
- **Falle:** Accountable-Hinweis „Vollständig abgeglichen“ taugt nicht als Prüfung; Panel muss 1 s warten vor Scroll; Bank-Seite merkt Suche + Seitennummer. „Zurücksetzen“ evtl. mit Klassifizierung → vorher testen.
- **Danach:** Meta (35 Belege), Invideo, Wix/Canva 19 %, RC-Bulk.
## 111626 22:55 — Whop-Neuabgleich ABGESCHLOSSEN
- **Ergebnis:** 63/63 Whop-Bankzeilen in Accountable mit dem USD-exakten Beleg verknüpft, live gegen `lokal/whop-ist-soll-final.tsv` geprüft (0 Abweichungen). Dubletten gleicher USD nur per Betrag geprüft.
- **Methode (wiederverwendbar):** Ketten durch Tausch in den freigewordenen Beleg lösen; reine Zyklen: eine Zeile ohne Auswahl speichern (Klassifizierung bleibt), dann Kette. Accountable-Badge „abgeglichen" unzuverlässig → nur USD/Datum.
- **Next:** Meta 35 Teilverknüpfungen → 5 Aufladungen, Invideo, Wix/Canva 19 %, Reverse-Charge-Bulk. Einstieg: `handoffs/handoff-2026-11-16-whop-phase2.md`.
## 111616 23:45 — Meta ABGESCHLOSSEN
- 5 Aufladungen mit 36 Tagesbelegen verknüpft, 5 Facebk-Doppel gelöscht. 3 Fehlverknüpfungen (0,81/0,10/0,07 an Girokonto "Kleingeld Plus") gelöst. 4,73 € ungeteilt an 12.04. Details: `handoffs/handoff-2026-11-16-whop-phase2.md`.
- **Offen:** Girokonto-Kleingeld-Buchungen (3) behalten Klassifizierung "Geschäftliche Ausgabe" -> ggf. zurücksetzen (Markus fragen). Danach Invideo, Wix/Canva 19 %, RC-Bulk.
## 111726 — Wix/Canva 19 % + RC-Bulk (Teil)
- 3 Girokonto-Kleingeld-Buchungen ausgeblendet (Entfernen, Freigabe Markus). Wix 29 + Canva 14 → 19 %. RC-Bulk 109 geprüfte Posten: 0 % + Grund „Einkauf von außerhalb der EU“ (DL) bzw. Intra-EU (AWS EMEA 2, Meta Platforms 2). Whop 63, OpenAI 16, Anthropic 9, HeyGen 6.
- **Offen:** 80 Posten Status „prüfen“ (Google, NordVPN, AWS Inc/Aws, Coursera, Invideo, Vistaprint, Accountable, Base44, 10web, Jantinedoornbos, Higgsfield, Udemy, Kdshan …) nicht umgestellt; Elementor bleibt Ausländische USt. Technik: Panel-DOM-Skript (Zeilen-Klick, 0 %-Button, react-select per mousedown, Karten-Modal), pro Zeile ~5 s.
- **Lehre:** Seite nutzt weiche Trennzeichen (U+00AD) in Texten → vor Textvergleich entfernen; Grund-Dropdown bei EUR-Posten ohne Lieferantenland leer, manuell wählen.