Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Wd9aeEvgYF6ZmZGc5PTULK
111 lines
10 KiB
Markdown
111 lines
10 KiB
Markdown
# Memory — C-Stone Invoice Check
|
||
|
||
## Aktuelles Projekt: C-Stone Invoice Check
|
||
- **Typ:** SaaS-App
|
||
- **Gestartet:** 2026-07-24
|
||
- **DSGVO-relevant:** nein
|
||
- **Beschreibung:** Email-Filter für Rechnungen mit PDF-Scanning, lokale Ablage auf Evo-X2, Excel-Dokumentation
|
||
- **Stack:** FastAPI + PostgreSQL + React + PyMuPDF
|
||
- **Ablageort:** Evo-X2 (lokales Laufwerk)
|
||
- **GitHub:** https://github.com/c-stone/c-stone-invoice-check
|
||
- **Server-Pfad:** /root/invoice-check/ (nach Deployment)
|
||
- **URL:** https://invoice-check.c-stone-dev.com (nach Deployment)
|
||
|
||
## Aktuelle Phase: Phase 2 — Architektur (abgeschlossen)
|
||
|
||
### Erledigt:
|
||
- ✅ Projektordner angelegt
|
||
- ✅ SaaS-Struktur erstellt (backend/, frontend/, docs/)
|
||
- ✅ Backend: FastAPI mit Router (emails.py, invoices.py, auth.py)
|
||
- ✅ Datenbank: PostgreSQL Models (Invoice, EmailLog, InvoiceDetail, User)
|
||
- ✅ PDF-Verarbeitung: PyMuPDF für Text-Extraktion und Steuer-Erkennung
|
||
- ✅ Excel-Export: openpyxl für Dokumentation
|
||
- ✅ Frontend: React/Vite mit TypeScript (Dashboard, Invoices, Email Logs)
|
||
- ✅ Tailwind CSS Konfiguration
|
||
- ✅ docker-compose.yml mit Backend + Frontend + PostgreSQL
|
||
- ✅ Dockerfile.backend erstellt
|
||
- ✅ Dockerfile.frontend erstellt (nginx-basiert)
|
||
- ✅ .env.example mit Platzhaltern
|
||
- ✅ README.md und docs/schema.md
|
||
- ✅ Alembic Migration initialisiert (5316895daf52_initial_schema.py)
|
||
- ✅ Test-Dateien (test_imap.py, test_pdf.py)
|
||
- ✅ Git Commits für alle Änderungen
|
||
|
||
### Offene Punkte:
|
||
- [ ] Docker-Container builden und testen (`docker-compose up`)
|
||
- [ ] IMAP-Verbindung testen (Strato + Gmail)
|
||
- [ ] PDF-Verarbeitung lokal testen
|
||
- [ ] Evo-X2 Ablagepfad konfigurieren
|
||
- [ ] Frontend lokal starten (`npm run dev` im frontend/)
|
||
|
||
### Mail-Provider Konfiguration:
|
||
- **Strato:** imap.strato.de:993
|
||
- **Gmail:** imap.gmail.com:993
|
||
- **Hinweis:** App-Passwords statt Hauptpasswort verwenden!
|
||
|
||
### PDF-Verarbeitung:
|
||
- **PyMuPDF (fitz)** für lokal laufende Text-Extraktion
|
||
- Keine Daten verlassen den Server
|
||
|
||
### Ablagestruktur (Evo-X2):
|
||
```
|
||
Rechnungen/
|
||
├── 2025/
|
||
│ ├── mit MwSt/
|
||
│ └── ohne MwSt/
|
||
└── 2026/
|
||
├── mit MwSt/
|
||
└── ohne MwSt/
|
||
```
|
||
|
||
### Docker-Ports (Project-Port-Liste):
|
||
- Backend: 8005 (Host) → 8001 (Container)
|
||
- Frontend: 5178 (Host) → 80 (Container)
|
||
- PostgreSQL: 5438 (Host) → 5432 (Container, intern)
|
||
- Redis: 6384 (Host) → 6379 (Container, intern)
|
||
|
||
### Nächste Schritte:
|
||
1. Docker-Container testen (`docker-compose up --build`)
|
||
2. Frontend unter http://localhost:5178 erreichen
|
||
3. Backend API unter http://localhost:8005/docs testen
|
||
4. IMAP-Verbindung mit echten Credentials konfigurieren
|
||
|
||
## 102126 — Erweiterung „Invoice Picker" (Entscheidung Markus)
|
||
- **Entscheidung:** Kein neues Repo. Invoice Check wird zu **Invoice Picker** erweitert: Rechnungen, die nur per Portal-Hinweis-Mail kommen (Amazon, OpenAI, Meta, AWS, Google), automatisch ziehen.
|
||
- **Architektur:** 3 Stufen hinter dem bestehenden IMAP-Poller — (1) Anhang (existiert), (2) Direktlink in Mail (Stripe/Paddle, `requests`), (3) Playwright mit persistentem Browser-Profil + Adapter pro Anbieter (`backend/fetchers/<vendor>.py`, `fetch(mail) -> list[Path]`). Fehler → „Manuell abholen"-Liste + Benachrichtigung, nie stiller Skip.
|
||
- **Laufzeit:** NucBox (= Evo-X2, Hostname `c-stone-ai-lab-NucBox-EVO-X2`, on-prem EU). Ablage lokal auf NucBox. Portal-Credentials nur sops-Vault.
|
||
- **Anbieter-Reihenfolge:** OpenAI → Amazon → Meta → AWS → Google.
|
||
- **Phasen:** 0 Invoice Check erstmals in Betrieb (nie deployed!) → 1 Klassifikator + Direktlink → 2 Playwright-Basis + Amazon → 3 weitere Adapter → 4 Deploy + 2 Wochen Beobachtung.
|
||
- **Nicht im Scope:** DATEV/lexoffice-Export, OCR gescannter Belege, Mehrmandanten, Mobile.
|
||
- **Stand:** Phase 0 beginnt. RAG-Query am 102126 fehlgeschlagen (`qwen3-coder:30b` 404 auf NucBox-Ollama) — separat fixen.
|
||
- **Phase 0 erledigt (102126 abends):** Live auf NucBox `~/invoice-check/` (Compose, `.env` aus Vault via `~/cstone-secrets/bin/with-secrets.sh invoice-check scripts/deploy.sh`). Postfach Strato `info@c-stone-dev.com`. Erstscan `POST /emails/scan-all/start` über 5.240 Mails, nach 90 s bereits 93 Treffer/34 PDFs abgelegt. Zugriff nur per SSH-Tunnel (`-L 5178:localhost:5178 -L 8005:localhost:8005`). **Befunde (offen, Scope Phase 1+):** kein Scheduler (Scan manuell), `/emails/*` ohne Auth (nur localhost), Aussteller-Parser liefert Wortfetzen, Steuer-Erkennung schlägt überall auf „ohne MwSt" an, Dockerfile kopiert `.env.example` als `.env`.
|
||
- **Erstscan-Ergebnis (102126, 23:15):** Abbruch bei 4.198/5.240 Mails — `LookupError: unknown encoding: unknown-8bit` in `backend/routers/emails.py:327` (eine Mail killt den ganzen Scan). Bis dahin 321 Treffer, 123 PDFs verarbeitet, 110 Dateien abgelegt (nur `2026/ohne MwSt`). **Fix offen (Freigabe ausstehend):** try/except um die GESAMTE Header-Dekodierung pro Mail (Subject + From, alle Segmente von `decode_header`, nicht nur `[0]`), `errors="replace"` — Sentinel-Hinweis: nur `.decode()` zu kapseln reicht nicht. Danach Redeploy + Scan neu (`EmailLog.email_id unique` überspringt Verarbeitetes).
|
||
|
||
## 102326 — Anforderungen Markus (Ergebnis des Erstscans)
|
||
- Scan mit Header-Fix (`bd2e21e`, `decode_hdr`) läuft seit 102226 23:57, Task `dccba3a8…`, Postfach Strato `info@c-stone-dev.com` INBOX.
|
||
- **Gewünschtes Ergebnis:** Liste aller Rechnungsmails in a) Anhang, b) Download-Link, c) Portal-Hinweis. Entspricht Klassifikator Phase 1 (Anhang/Link/Portal/Ignorieren).
|
||
- **Ablage Anhänge:** `Jahr/Monat/` statt `Jahr/mit|ohne MwSt`.
|
||
- **Postfach auswählbar machen** (Account via `/settings` vorhanden, Ordner hartcodiert INBOX). Noch kein Plan/keine Freigabe.
|
||
|
||
## 102326 — Stand Tagesende
|
||
- **Live auf NucBox:** Fix `bd2e21e` + Klassifikator `37e4ed1` deployt. Scan komplett: 391 Mail-Logs → attachment 170 / link 92 / portal 26 / ignore 103. `GET /emails/classified[?format=xlsx]` liefert die Liste a)/b)/c).
|
||
- **Befunde Stichprobe:** AWS-/Canva-"Links" sind Login-Seiten (→ portal); Instagram/Meta „Zahlungsbeleg" fälschlich ignore; `email_from` teils MIME-codiert in DB.
|
||
- **Deploy-Hinweis:** `deploy.sh` nur mit `cd <Projektpfad> &&` + `with-secrets.sh invoice-check scripts/deploy.sh`; Auto-Mode-Classifier blockt Deploy durch Claude → Markus führt aus.
|
||
- **Schema:** Prod-DB ohne `alembic_version` (create_all); neue Spalten per `ALTER TABLE … IF NOT EXISTS` in `main.py` startup.
|
||
- **Nächstes:** Klassifikator-Nachbesserung, dann Schritt 3 (Monatsablage) + 4 (Postfachwahl). Offen: Gmail-Creds, Jahr-Herkunft, 199 vs. 134.
|
||
|
||
## 111526 abends — Accountable-Clean-up (Chrome-Session, Details: Auto-Memory `accountable-buchungsregeln`)
|
||
- **Technik:** API `app.accountable.eu/api/v3/expenses` (GET paginiert, PUT Body `{expense:{…}}`, DELETE → 204), `/api/v1/transactions` (Feld `matchedItems` = Verknüpfung; `?text=` ist unscharf). Header (Authorization + X-Accountable-*) per Hook auf XHR im Tab abgreifen, nie ausgeben. Belegtext lesbar über pdf.js-Textlayer im Ausgaben-Panel. Neue Ausgabe aus Banktx: Bank → tx → „Neue Ausgabe erstellen/Als neue Ausgabe hinzufügen“ → file-input → Speichern.
|
||
- **Fallen:** Accountable verknüpft Belege gern mit privaten Girokonto-Buchungen bei fast gleichem Betrag (4× gefunden) → bei Kontrolle immer Kontonummer der tx prüfen. Accountable lernt falsche Lieferanten (Amazon → „Kdshan Retech“, Strato ↔ OpenAI). Mails an ausgaben@/Picker-Sammelversand erzeugen IMMER neue Ausgabe → Doppel zu Bankausgabe.
|
||
- **Regeln (Markus):** Stornos = Abbuchung als Ausgabe + Rückbuchung „Rückerstattung für einen Einkauf“ → Storno-Eingangsrechnung, gleiche Kategorie. Steuer laut Beleg (Canva weist 19 % aus; Whop/HeyGen/Base44 = Ausländische USt.). Privatentnahme = „Private Ausgabe“, Privateinlage = „Überweisung von deinem anderen Konto“. Wir machen Druck = Werbung; eigenes Buch „Game Changer“ = Werbung 7 %.
|
||
- **Erledigt:** Qonto-Abgleich 08/2025–10/2026: alle 564 Auszugsbuchungen in Accountable. Belege komplett für Strato, SeaTable, NordVPN, Google Ads, Zoho, Canva, Wir machen Druck (inkl. Stornos), Amazon/IBA, Shirtinator, Galaxus, Parkplatzschild. Doppel gelöscht (Freigabe): 54 + 3 WMD + 11 Canva.
|
||
- **Offen:** Abgleich der 210 Picker-`manual`-Mails gegen Accountable (instagram.com 48 Meta-Belege, IONOS 5, Stripe 4, getmyinvoices 6, finodata 2, buhl-data 2, heyzine 2, PayPro 1 ↔ Abbuchung 39,95 €, make/Microsoft/Jotform/Usercentrics, 66 Eigen-Weiterleitungen); Anthropic (9) + ChatGPT Plus ohne Belege; ChatGPT Pro auf keinem verbundenen Konto; fonial 07–09/2026 Belege (Konto gekündigt → Support); Rech.studio-Rechnung angefordert; Fiverr 25.08.2025 USt prüfen; Qonto-Bankverknüpfung erneuern (Markus).
|
||
- **Wochenlauf umbauen (Plan + Freigabe nötig):** Belege nicht mehr per Mail an Accountable, sondern an Bankbuchung hängen; danach `GRAB_CUTOFF` setzen.
|
||
|
||
## 111626 — Qonto-Abgleich + Belege (Details: `handoffs/handoff-2026-11-16-abgleich.md`)
|
||
- **Now:** Belege an Qonto-Buchungen hängen („jede Transaktion braucht Beleg“). Liste `lokal/offene-belege-2026-11-16.xlsx` (Spalte Erledigt).
|
||
- **Erledigt:** Qonto-API 634 Buchungen seit 01.01.2025 alle in Accountable. Lufthansa-Angebot + HeyGen-Doppel gelöscht (Freigabe). fx_card-Gebühren → Bankgebühren. Mietvertrag Berdin (9×238) + Briefkasten CelleCreativ (9×35,70) angehängt. Belege: Wix, Usercentrics, Rundfunk, DPMA, Stadtkasse, Hagebau, Back Market, B2B-Datenbank, Big Mama ×2, Vistaprint 9, WmD-Stornos kommentiert.
|
||
- **Entscheidung Markus:** Auslandsleistungen als Reverse Charge (19 % selbst abführen). Liste `lokal/reverse-charge-2025-2026.xlsx` (237 Posten, ≈2.315 € USt; Canva/Wix KEIN RC). Bulk-Umstellung in Accountable offen.
|
||
- **Offen ohne Markus:** 11 Verknüpfungen (Meta Facebk, Sixt, Contabo, HeyGen 30.10.25, Whop 04./22.10.).
|
||
- **Offen mit Markus:** ~74 Rechnungen (Base44, Media Markt, Adclue, Coursera, OpenAI …), Qonto-Gebührenrechnungen (132 tx, Qonto-App), Parkplatzvertrag 13×59,50, Fragen Paypro/Etsy/Olinda +500, Designrr 124 $ ohne Banklink, private Belege Stadt Celle 32,50 + iPaddy anlegen?
|
||
- **Blocker:** keiner technisch; Rest wartet auf Belege von Markus.
|