12 KiB
12 KiB
Memory — C-Stone Invoice Check
Aktuelles Projekt: C-Stone Invoice Check
- Typ: SaaS-App
- Gestartet: 2026-07-24
- DSGVO-relevant: nein
- Beschreibung: Email-Filter für Rechnungen mit PDF-Scanning, lokale Ablage auf Evo-X2, Excel-Dokumentation
- Stack: FastAPI + PostgreSQL + React + PyMuPDF
- Ablageort: Evo-X2 (lokales Laufwerk)
- GitHub: https://github.com/c-stone/c-stone-invoice-check
- Server-Pfad: /root/invoice-check/ (nach Deployment)
- URL: https://invoice-check.c-stone-dev.com (nach Deployment)
Aktuelle Phase: Phase 2 — Architektur (abgeschlossen)
Erledigt:
- ✅ Projektordner angelegt
- ✅ SaaS-Struktur erstellt (backend/, frontend/, docs/)
- ✅ Backend: FastAPI mit Router (emails.py, invoices.py, auth.py)
- ✅ Datenbank: PostgreSQL Models (Invoice, EmailLog, InvoiceDetail, User)
- ✅ PDF-Verarbeitung: PyMuPDF für Text-Extraktion und Steuer-Erkennung
- ✅ Excel-Export: openpyxl für Dokumentation
- ✅ Frontend: React/Vite mit TypeScript (Dashboard, Invoices, Email Logs)
- ✅ Tailwind CSS Konfiguration
- ✅ docker-compose.yml mit Backend + Frontend + PostgreSQL
- ✅ Dockerfile.backend erstellt
- ✅ Dockerfile.frontend erstellt (nginx-basiert)
- ✅ .env.example mit Platzhaltern
- ✅ README.md und docs/schema.md
- ✅ Alembic Migration initialisiert (5316895daf52_initial_schema.py)
- ✅ Test-Dateien (test_imap.py, test_pdf.py)
- ✅ Git Commits für alle Änderungen
Offene Punkte:
- Docker-Container builden und testen (
docker-compose up) - IMAP-Verbindung testen (Strato + Gmail)
- PDF-Verarbeitung lokal testen
- Evo-X2 Ablagepfad konfigurieren
- Frontend lokal starten (
npm run devim frontend/)
Mail-Provider Konfiguration:
- Strato: imap.strato.de:993
- Gmail: imap.gmail.com:993
- Hinweis: App-Passwords statt Hauptpasswort verwenden!
PDF-Verarbeitung:
- PyMuPDF (fitz) für lokal laufende Text-Extraktion
- Keine Daten verlassen den Server
Ablagestruktur (Evo-X2):
Rechnungen/
├── 2025/
│ ├── mit MwSt/
│ └── ohne MwSt/
└── 2026/
├── mit MwSt/
└── ohne MwSt/
Docker-Ports (Project-Port-Liste):
- Backend: 8005 (Host) → 8001 (Container)
- Frontend: 5178 (Host) → 80 (Container)
- PostgreSQL: 5438 (Host) → 5432 (Container, intern)
- Redis: 6384 (Host) → 6379 (Container, intern)
Nächste Schritte:
- Docker-Container testen (
docker-compose up --build) - Frontend unter http://localhost:5178 erreichen
- Backend API unter http://localhost:8005/docs testen
- IMAP-Verbindung mit echten Credentials konfigurieren
102126 — Erweiterung „Invoice Picker" (Entscheidung Markus)
- Entscheidung: Kein neues Repo. Invoice Check wird zu Invoice Picker erweitert: Rechnungen, die nur per Portal-Hinweis-Mail kommen (Amazon, OpenAI, Meta, AWS, Google), automatisch ziehen.
- Architektur: 3 Stufen hinter dem bestehenden IMAP-Poller — (1) Anhang (existiert), (2) Direktlink in Mail (Stripe/Paddle,
requests), (3) Playwright mit persistentem Browser-Profil + Adapter pro Anbieter (backend/fetchers/<vendor>.py,fetch(mail) -> list[Path]). Fehler → „Manuell abholen"-Liste + Benachrichtigung, nie stiller Skip. - Laufzeit: NucBox (= Evo-X2, Hostname
c-stone-ai-lab-NucBox-EVO-X2, on-prem EU). Ablage lokal auf NucBox. Portal-Credentials nur sops-Vault. - Anbieter-Reihenfolge: OpenAI → Amazon → Meta → AWS → Google.
- Phasen: 0 Invoice Check erstmals in Betrieb (nie deployed!) → 1 Klassifikator + Direktlink → 2 Playwright-Basis + Amazon → 3 weitere Adapter → 4 Deploy + 2 Wochen Beobachtung.
- Nicht im Scope: DATEV/lexoffice-Export, OCR gescannter Belege, Mehrmandanten, Mobile.
- Stand: Phase 0 beginnt. RAG-Query am 102126 fehlgeschlagen (
qwen3-coder:30b404 auf NucBox-Ollama) — separat fixen. - Phase 0 erledigt (102126 abends): Live auf NucBox
~/invoice-check/(Compose,.envaus Vault via~/cstone-secrets/bin/with-secrets.sh invoice-check scripts/deploy.sh). Postfach Stratoinfo@c-stone-dev.com. ErstscanPOST /emails/scan-all/startüber 5.240 Mails, nach 90 s bereits 93 Treffer/34 PDFs abgelegt. Zugriff nur per SSH-Tunnel (-L 5178:localhost:5178 -L 8005:localhost:8005). Befunde (offen, Scope Phase 1+): kein Scheduler (Scan manuell),/emails/*ohne Auth (nur localhost), Aussteller-Parser liefert Wortfetzen, Steuer-Erkennung schlägt überall auf „ohne MwSt" an, Dockerfile kopiert.env.exampleals.env. - Erstscan-Ergebnis (102126, 23:15): Abbruch bei 4.198/5.240 Mails —
LookupError: unknown encoding: unknown-8bitinbackend/routers/emails.py:327(eine Mail killt den ganzen Scan). Bis dahin 321 Treffer, 123 PDFs verarbeitet, 110 Dateien abgelegt (nur2026/ohne MwSt). Fix offen (Freigabe ausstehend): try/except um die GESAMTE Header-Dekodierung pro Mail (Subject + From, alle Segmente vondecode_header, nicht nur[0]),errors="replace"— Sentinel-Hinweis: nur.decode()zu kapseln reicht nicht. Danach Redeploy + Scan neu (EmailLog.email_id uniqueüberspringt Verarbeitetes).
102326 — Anforderungen Markus (Ergebnis des Erstscans)
- Scan mit Header-Fix (
bd2e21e,decode_hdr) läuft seit 102226 23:57, Taskdccba3a8…, Postfach Stratoinfo@c-stone-dev.comINBOX. - Gewünschtes Ergebnis: Liste aller Rechnungsmails in a) Anhang, b) Download-Link, c) Portal-Hinweis. Entspricht Klassifikator Phase 1 (Anhang/Link/Portal/Ignorieren).
- Ablage Anhänge:
Jahr/Monat/stattJahr/mit|ohne MwSt. - Postfach auswählbar machen (Account via
/settingsvorhanden, Ordner hartcodiert INBOX). Noch kein Plan/keine Freigabe.
102326 — Stand Tagesende
- Live auf NucBox: Fix
bd2e21e+ Klassifikator37e4ed1deployt. Scan komplett: 391 Mail-Logs → attachment 170 / link 92 / portal 26 / ignore 103.GET /emails/classified[?format=xlsx]liefert die Liste a)/b)/c). - Befunde Stichprobe: AWS-/Canva-"Links" sind Login-Seiten (→ portal); Instagram/Meta „Zahlungsbeleg" fälschlich ignore;
email_fromteils MIME-codiert in DB. - Deploy-Hinweis:
deploy.shnur mitcd <Projektpfad> &&+with-secrets.sh invoice-check scripts/deploy.sh; Auto-Mode-Classifier blockt Deploy durch Claude → Markus führt aus. - Schema: Prod-DB ohne
alembic_version(create_all); neue Spalten perALTER TABLE … IF NOT EXISTSinmain.pystartup. - Nächstes: Klassifikator-Nachbesserung, dann Schritt 3 (Monatsablage) + 4 (Postfachwahl). Offen: Gmail-Creds, Jahr-Herkunft, 199 vs. 134.
111526 abends — Accountable-Clean-up (Chrome-Session, Details: Auto-Memory accountable-buchungsregeln)
- Technik: API
app.accountable.eu/api/v3/expenses(GET paginiert, PUT Body{expense:{…}}, DELETE → 204),/api/v1/transactions(FeldmatchedItems= Verknüpfung;?text=ist unscharf). Header (Authorization + X-Accountable-*) per Hook auf XHR im Tab abgreifen, nie ausgeben. Belegtext lesbar über pdf.js-Textlayer im Ausgaben-Panel. Neue Ausgabe aus Banktx: Bank → tx → „Neue Ausgabe erstellen/Als neue Ausgabe hinzufügen“ → file-input → Speichern. - Fallen: Accountable verknüpft Belege gern mit privaten Girokonto-Buchungen bei fast gleichem Betrag (4× gefunden) → bei Kontrolle immer Kontonummer der tx prüfen. Accountable lernt falsche Lieferanten (Amazon → „Kdshan Retech“, Strato ↔ OpenAI). Mails an ausgaben@/Picker-Sammelversand erzeugen IMMER neue Ausgabe → Doppel zu Bankausgabe.
- Regeln (Markus): Stornos = Abbuchung als Ausgabe + Rückbuchung „Rückerstattung für einen Einkauf“ → Storno-Eingangsrechnung, gleiche Kategorie. Steuer laut Beleg (Canva weist 19 % aus; Whop/HeyGen/Base44 = Ausländische USt.). Privatentnahme = „Private Ausgabe“, Privateinlage = „Überweisung von deinem anderen Konto“. Wir machen Druck = Werbung; eigenes Buch „Game Changer“ = Werbung 7 %.
- Erledigt: Qonto-Abgleich 08/2025–10/2026: alle 564 Auszugsbuchungen in Accountable. Belege komplett für Strato, SeaTable, NordVPN, Google Ads, Zoho, Canva, Wir machen Druck (inkl. Stornos), Amazon/IBA, Shirtinator, Galaxus, Parkplatzschild. Doppel gelöscht (Freigabe): 54 + 3 WMD + 11 Canva.
- Offen: Abgleich der 210 Picker-
manual-Mails gegen Accountable (instagram.com 48 Meta-Belege, IONOS 5, Stripe 4, getmyinvoices 6, finodata 2, buhl-data 2, heyzine 2, PayPro 1 ↔ Abbuchung 39,95 €, make/Microsoft/Jotform/Usercentrics, 66 Eigen-Weiterleitungen); Anthropic (9) + ChatGPT Plus ohne Belege; ChatGPT Pro auf keinem verbundenen Konto; fonial 07–09/2026 Belege (Konto gekündigt → Support); Rech.studio-Rechnung angefordert; Fiverr 25.08.2025 USt prüfen; Qonto-Bankverknüpfung erneuern (Markus). - Wochenlauf umbauen (Plan + Freigabe nötig): Belege nicht mehr per Mail an Accountable, sondern an Bankbuchung hängen; danach
GRAB_CUTOFFsetzen.
111626 — Qonto-Abgleich + Belege (Details: handoffs/handoff-2026-11-16-abgleich.md)
- Now: Belege an Qonto-Buchungen hängen („jede Transaktion braucht Beleg“). Liste
lokal/offene-belege-2026-11-16.xlsx(Spalte Erledigt). - Erledigt: Qonto-API 634 Buchungen seit 01.01.2025 alle in Accountable. Lufthansa-Angebot + HeyGen-Doppel gelöscht (Freigabe). fx_card-Gebühren → Bankgebühren. Mietvertrag Berdin (9×238) + Briefkasten CelleCreativ (9×35,70) angehängt. Belege: Wix, Usercentrics, Rundfunk, DPMA, Stadtkasse, Hagebau, Back Market, B2B-Datenbank, Big Mama ×2, Vistaprint 9, WmD-Stornos kommentiert.
- Entscheidung Markus: Auslandsleistungen als Reverse Charge (19 % selbst abführen). Liste
lokal/reverse-charge-2025-2026.xlsx(237 Posten, davon 198 umzustellen, ≈2.315 € USt; Canva/Wix KEIN RC → deren alte Buchung „Ausländische USt.“ auf 19 % korrigieren). Bulk-Umstellung in Accountable offen. - 16.11. abends erledigt: 6 Belege aus Postfach (Myposter, Elementor, Flyeralarm; Bestellbestätigung MEGA-PRINT/Thalia/AppSumo); Contabo + Sixt verknüpft und per Qonto-Referenz bestätigt, Bank-Doppel gelöscht (Freigabe); HeyGen war schon ok.
- Offen ohne Markus: Whop-Neuabgleich (Merge 15.11. nach ungefährem Betrag = Fehlzuordnungen; exakt über USD aus Qonto-Mails,
tools/qonto_mails.py), Meta 35 Teilverknüpfungen (FIFO-Plan im Handoff), Invideo 28.03./04.04. Einstieg:handoffs/handoff-2026-11-16-2131.md. - Offen mit Markus: ~74 Rechnungen (Base44, Media Markt, Adclue, Coursera, OpenAI …), Qonto-Gebührenrechnungen (132 tx, Qonto-App), Parkplatzvertrag 59,50 €/Monat (13 Abbuchungen), Berdin 638 € inkl. 400 Kaution, Fragen Paypro/Etsy/Olinda +500, Designrr 124 $ ohne Banklink, private Belege Stadt Celle 32,50 + iPaddy anlegen?
- Blocker: keiner technisch; Rest wartet auf Belege von Markus.
111626 22:10 — Whop-Neuabgleich (Details: handoffs/handoff-2026-11-16-whop-phase2.md)
- Now: Phase 2 Whop-Verknüpfungen korrigieren (neue Session). Phase 1 fertig: 63 Bankzeilen gelesen, 37 falsch, Zeilen 14,04 € und 14,94 € ohne Beleg; 05.10. 13,39 € korrigiert.
- Erledigt: 4 stornierte Whop-Ausgaben (10 $, 01./02./05./13.10.) gelöscht (Freigabe Markus). Tools
tools/whop_pdfs.py,tools/qonto_mails.py. Soll-Tabellelokal/whop-ist-soll-final.tsv, Planlokal/whop-phase2-plan.tsv(21 Schritte frei + 16 Zeilen in Zyklen). - Falle: Accountable-Hinweis „Vollständig abgeglichen“ taugt nicht als Prüfung; Panel muss 1 s warten vor Scroll; Bank-Seite merkt Suche + Seitennummer. „Zurücksetzen“ evtl. mit Klassifizierung → vorher testen.
- Danach: Meta (35 Belege), Invideo, Wix/Canva 19 %, RC-Bulk.
111626 22:55 — Whop-Neuabgleich ABGESCHLOSSEN
- Ergebnis: 63/63 Whop-Bankzeilen in Accountable mit dem USD-exakten Beleg verknüpft, live gegen
lokal/whop-ist-soll-final.tsvgeprüft (0 Abweichungen). Dubletten gleicher USD nur per Betrag geprüft. - Methode (wiederverwendbar): Ketten durch Tausch in den freigewordenen Beleg lösen; reine Zyklen: eine Zeile ohne Auswahl speichern (Klassifizierung bleibt), dann Kette. Accountable-Badge „abgeglichen" unzuverlässig → nur USD/Datum.
- Next: Meta 35 Teilverknüpfungen → 5 Aufladungen, Invideo, Wix/Canva 19 %, Reverse-Charge-Bulk. Einstieg:
handoffs/handoff-2026-11-16-whop-phase2.md.
111616 23:45 — Meta ABGESCHLOSSEN
- 5 Aufladungen mit 36 Tagesbelegen verknüpft, 5 Facebk-Doppel gelöscht. 3 Fehlverknüpfungen (0,81/0,10/0,07 an Girokonto "Kleingeld Plus") gelöst. 4,73 € ungeteilt an 12.04. Details:
handoffs/handoff-2026-11-16-whop-phase2.md. - Offen: Girokonto-Kleingeld-Buchungen (3) behalten Klassifizierung "Geschäftliche Ausgabe" -> ggf. zurücksetzen (Markus fragen). Danach Invideo, Wix/Canva 19 %, RC-Bulk.