c-stone-invoice-check/.claude/memory.md
2026-11-16 20:13:34 +01:00

111 lines
10 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Memory — C-Stone Invoice Check
## Aktuelles Projekt: C-Stone Invoice Check
- **Typ:** SaaS-App
- **Gestartet:** 2026-07-24
- **DSGVO-relevant:** nein
- **Beschreibung:** Email-Filter für Rechnungen mit PDF-Scanning, lokale Ablage auf Evo-X2, Excel-Dokumentation
- **Stack:** FastAPI + PostgreSQL + React + PyMuPDF
- **Ablageort:** Evo-X2 (lokales Laufwerk)
- **GitHub:** https://github.com/c-stone/c-stone-invoice-check
- **Server-Pfad:** /root/invoice-check/ (nach Deployment)
- **URL:** https://invoice-check.c-stone-dev.com (nach Deployment)
## Aktuelle Phase: Phase 2 — Architektur (abgeschlossen)
### Erledigt:
- ✅ Projektordner angelegt
- ✅ SaaS-Struktur erstellt (backend/, frontend/, docs/)
- ✅ Backend: FastAPI mit Router (emails.py, invoices.py, auth.py)
- ✅ Datenbank: PostgreSQL Models (Invoice, EmailLog, InvoiceDetail, User)
- ✅ PDF-Verarbeitung: PyMuPDF für Text-Extraktion und Steuer-Erkennung
- ✅ Excel-Export: openpyxl für Dokumentation
- ✅ Frontend: React/Vite mit TypeScript (Dashboard, Invoices, Email Logs)
- ✅ Tailwind CSS Konfiguration
- ✅ docker-compose.yml mit Backend + Frontend + PostgreSQL
- ✅ Dockerfile.backend erstellt
- ✅ Dockerfile.frontend erstellt (nginx-basiert)
- ✅ .env.example mit Platzhaltern
- ✅ README.md und docs/schema.md
- ✅ Alembic Migration initialisiert (5316895daf52_initial_schema.py)
- ✅ Test-Dateien (test_imap.py, test_pdf.py)
- ✅ Git Commits für alle Änderungen
### Offene Punkte:
- [ ] Docker-Container builden und testen (`docker-compose up`)
- [ ] IMAP-Verbindung testen (Strato + Gmail)
- [ ] PDF-Verarbeitung lokal testen
- [ ] Evo-X2 Ablagepfad konfigurieren
- [ ] Frontend lokal starten (`npm run dev` im frontend/)
### Mail-Provider Konfiguration:
- **Strato:** imap.strato.de:993
- **Gmail:** imap.gmail.com:993
- **Hinweis:** App-Passwords statt Hauptpasswort verwenden!
### PDF-Verarbeitung:
- **PyMuPDF (fitz)** für lokal laufende Text-Extraktion
- Keine Daten verlassen den Server
### Ablagestruktur (Evo-X2):
```
Rechnungen/
├── 2025/
│ ├── mit MwSt/
│ └── ohne MwSt/
└── 2026/
├── mit MwSt/
└── ohne MwSt/
```
### Docker-Ports (Project-Port-Liste):
- Backend: 8005 (Host) → 8001 (Container)
- Frontend: 5178 (Host) → 80 (Container)
- PostgreSQL: 5438 (Host) → 5432 (Container, intern)
- Redis: 6384 (Host) → 6379 (Container, intern)
### Nächste Schritte:
1. Docker-Container testen (`docker-compose up --build`)
2. Frontend unter http://localhost:5178 erreichen
3. Backend API unter http://localhost:8005/docs testen
4. IMAP-Verbindung mit echten Credentials konfigurieren
## 102126 — Erweiterung „Invoice Picker" (Entscheidung Markus)
- **Entscheidung:** Kein neues Repo. Invoice Check wird zu **Invoice Picker** erweitert: Rechnungen, die nur per Portal-Hinweis-Mail kommen (Amazon, OpenAI, Meta, AWS, Google), automatisch ziehen.
- **Architektur:** 3 Stufen hinter dem bestehenden IMAP-Poller — (1) Anhang (existiert), (2) Direktlink in Mail (Stripe/Paddle, `requests`), (3) Playwright mit persistentem Browser-Profil + Adapter pro Anbieter (`backend/fetchers/<vendor>.py`, `fetch(mail) -> list[Path]`). Fehler → „Manuell abholen"-Liste + Benachrichtigung, nie stiller Skip.
- **Laufzeit:** NucBox (= Evo-X2, Hostname `c-stone-ai-lab-NucBox-EVO-X2`, on-prem EU). Ablage lokal auf NucBox. Portal-Credentials nur sops-Vault.
- **Anbieter-Reihenfolge:** OpenAI → Amazon → Meta → AWS → Google.
- **Phasen:** 0 Invoice Check erstmals in Betrieb (nie deployed!) → 1 Klassifikator + Direktlink → 2 Playwright-Basis + Amazon → 3 weitere Adapter → 4 Deploy + 2 Wochen Beobachtung.
- **Nicht im Scope:** DATEV/lexoffice-Export, OCR gescannter Belege, Mehrmandanten, Mobile.
- **Stand:** Phase 0 beginnt. RAG-Query am 102126 fehlgeschlagen (`qwen3-coder:30b` 404 auf NucBox-Ollama) — separat fixen.
- **Phase 0 erledigt (102126 abends):** Live auf NucBox `~/invoice-check/` (Compose, `.env` aus Vault via `~/cstone-secrets/bin/with-secrets.sh invoice-check scripts/deploy.sh`). Postfach Strato `info@c-stone-dev.com`. Erstscan `POST /emails/scan-all/start` über 5.240 Mails, nach 90 s bereits 93 Treffer/34 PDFs abgelegt. Zugriff nur per SSH-Tunnel (`-L 5178:localhost:5178 -L 8005:localhost:8005`). **Befunde (offen, Scope Phase 1+):** kein Scheduler (Scan manuell), `/emails/*` ohne Auth (nur localhost), Aussteller-Parser liefert Wortfetzen, Steuer-Erkennung schlägt überall auf „ohne MwSt" an, Dockerfile kopiert `.env.example` als `.env`.
- **Erstscan-Ergebnis (102126, 23:15):** Abbruch bei 4.198/5.240 Mails — `LookupError: unknown encoding: unknown-8bit` in `backend/routers/emails.py:327` (eine Mail killt den ganzen Scan). Bis dahin 321 Treffer, 123 PDFs verarbeitet, 110 Dateien abgelegt (nur `2026/ohne MwSt`). **Fix offen (Freigabe ausstehend):** try/except um die GESAMTE Header-Dekodierung pro Mail (Subject + From, alle Segmente von `decode_header`, nicht nur `[0]`), `errors="replace"` — Sentinel-Hinweis: nur `.decode()` zu kapseln reicht nicht. Danach Redeploy + Scan neu (`EmailLog.email_id unique` überspringt Verarbeitetes).
## 102326 — Anforderungen Markus (Ergebnis des Erstscans)
- Scan mit Header-Fix (`bd2e21e`, `decode_hdr`) läuft seit 102226 23:57, Task `dccba3a8…`, Postfach Strato `info@c-stone-dev.com` INBOX.
- **Gewünschtes Ergebnis:** Liste aller Rechnungsmails in a) Anhang, b) Download-Link, c) Portal-Hinweis. Entspricht Klassifikator Phase 1 (Anhang/Link/Portal/Ignorieren).
- **Ablage Anhänge:** `Jahr/Monat/` statt `Jahr/mit|ohne MwSt`.
- **Postfach auswählbar machen** (Account via `/settings` vorhanden, Ordner hartcodiert INBOX). Noch kein Plan/keine Freigabe.
## 102326 — Stand Tagesende
- **Live auf NucBox:** Fix `bd2e21e` + Klassifikator `37e4ed1` deployt. Scan komplett: 391 Mail-Logs → attachment 170 / link 92 / portal 26 / ignore 103. `GET /emails/classified[?format=xlsx]` liefert die Liste a)/b)/c).
- **Befunde Stichprobe:** AWS-/Canva-"Links" sind Login-Seiten (→ portal); Instagram/Meta „Zahlungsbeleg" fälschlich ignore; `email_from` teils MIME-codiert in DB.
- **Deploy-Hinweis:** `deploy.sh` nur mit `cd <Projektpfad> &&` + `with-secrets.sh invoice-check scripts/deploy.sh`; Auto-Mode-Classifier blockt Deploy durch Claude → Markus führt aus.
- **Schema:** Prod-DB ohne `alembic_version` (create_all); neue Spalten per `ALTER TABLE … IF NOT EXISTS` in `main.py` startup.
- **Nächstes:** Klassifikator-Nachbesserung, dann Schritt 3 (Monatsablage) + 4 (Postfachwahl). Offen: Gmail-Creds, Jahr-Herkunft, 199 vs. 134.
## 111526 abends — Accountable-Clean-up (Chrome-Session, Details: Auto-Memory `accountable-buchungsregeln`)
- **Technik:** API `app.accountable.eu/api/v3/expenses` (GET paginiert, PUT Body `{expense:{…}}`, DELETE → 204), `/api/v1/transactions` (Feld `matchedItems` = Verknüpfung; `?text=` ist unscharf). Header (Authorization + X-Accountable-*) per Hook auf XHR im Tab abgreifen, nie ausgeben. Belegtext lesbar über pdf.js-Textlayer im Ausgaben-Panel. Neue Ausgabe aus Banktx: Bank → tx → „Neue Ausgabe erstellen/Als neue Ausgabe hinzufügen“ → file-input → Speichern.
- **Fallen:** Accountable verknüpft Belege gern mit privaten Girokonto-Buchungen bei fast gleichem Betrag (4× gefunden) → bei Kontrolle immer Kontonummer der tx prüfen. Accountable lernt falsche Lieferanten (Amazon → „Kdshan Retech“, Strato ↔ OpenAI). Mails an ausgaben@/Picker-Sammelversand erzeugen IMMER neue Ausgabe → Doppel zu Bankausgabe.
- **Regeln (Markus):** Stornos = Abbuchung als Ausgabe + Rückbuchung „Rückerstattung für einen Einkauf“ → Storno-Eingangsrechnung, gleiche Kategorie. Steuer laut Beleg (Canva weist 19 % aus; Whop/HeyGen/Base44 = Ausländische USt.). Privatentnahme = „Private Ausgabe“, Privateinlage = „Überweisung von deinem anderen Konto“. Wir machen Druck = Werbung; eigenes Buch „Game Changer“ = Werbung 7 %.
- **Erledigt:** Qonto-Abgleich 08/2025–10/2026: alle 564 Auszugsbuchungen in Accountable. Belege komplett für Strato, SeaTable, NordVPN, Google Ads, Zoho, Canva, Wir machen Druck (inkl. Stornos), Amazon/IBA, Shirtinator, Galaxus, Parkplatzschild. Doppel gelöscht (Freigabe): 54 + 3 WMD + 11 Canva.
- **Offen:** Abgleich der 210 Picker-`manual`-Mails gegen Accountable (instagram.com 48 Meta-Belege, IONOS 5, Stripe 4, getmyinvoices 6, finodata 2, buhl-data 2, heyzine 2, PayPro 1 ↔ Abbuchung 39,95 €, make/Microsoft/Jotform/Usercentrics, 66 Eigen-Weiterleitungen); Anthropic (9) + ChatGPT Plus ohne Belege; ChatGPT Pro auf keinem verbundenen Konto; fonial 07–09/2026 Belege (Konto gekündigt → Support); Rech.studio-Rechnung angefordert; Fiverr 25.08.2025 USt prüfen; Qonto-Bankverknüpfung erneuern (Markus).
- **Wochenlauf umbauen (Plan + Freigabe nötig):** Belege nicht mehr per Mail an Accountable, sondern an Bankbuchung hängen; danach `GRAB_CUTOFF` setzen.
## 111626 — Qonto-Abgleich + Belege (Details: `handoffs/handoff-2026-11-16-abgleich.md`)
- **Now:** Belege an Qonto-Buchungen hängen („jede Transaktion braucht Beleg“). Liste `lokal/offene-belege-2026-11-16.xlsx` (Spalte Erledigt).
- **Erledigt:** Qonto-API 634 Buchungen seit 01.01.2025 alle in Accountable. Lufthansa-Angebot + HeyGen-Doppel gelöscht (Freigabe). fx_card-Gebühren → Bankgebühren. Mietvertrag Berdin (9×238) + Briefkasten CelleCreativ (9×35,70) angehängt. Belege: Wix, Usercentrics, Rundfunk, DPMA, Stadtkasse, Hagebau, Back Market, B2B-Datenbank, Big Mama ×2, Vistaprint 9, WmD-Stornos kommentiert.
- **Entscheidung Markus:** Auslandsleistungen als Reverse Charge (19 % selbst abführen). Liste `lokal/reverse-charge-2025-2026.xlsx` (237 Posten, ≈2.315 € USt; Canva/Wix KEIN RC). Bulk-Umstellung in Accountable offen.
- **Offen ohne Markus:** 11 Verknüpfungen (Meta Facebk, Sixt, Contabo, HeyGen 30.10.25, Whop 04./22.10.).
- **Offen mit Markus:** ~74 Rechnungen (Base44, Media Markt, Adclue, Coursera, OpenAI …), Qonto-Gebührenrechnungen (132 tx, Qonto-App), Parkplatzvertrag 13×59,50, Fragen Paypro/Etsy/Olinda +500, Designrr 124 $ ohne Banklink, private Belege Stadt Celle 32,50 + iPaddy anlegen?
- **Blocker:** keiner technisch; Rest wartet auf Belege von Markus.