• 1. Projektübersicht
• 2. Architektur & Aufbau
• 3. Datenquellen
• 4. Datenverarbeitung
• 5. Tabs & Funktionen
• 6. Datenbanken (JSON)
• 7. Backend-API
• 8. Änderungen durchführen
• 9. Skripte & Tools
• 10. Entwicklung & Deployment
• 11. Datenquellen für Tab-Anzeige
• 12. Seitenumbrüche & Seitenzahlen

Zweck: Inhaltliche Orientierung und Recherche in der Rudolf Steiner Gesamtausgabe (GA)

Umfang: Ca. 350 GA-Bände mit über 6000 Vorträgen und Schriften

Technologie:

• Frontend: HTML5, CSS3, JavaScript (ES6+) - Single Page Application in app.html
• Backend: Node.js mit Express (backend.js)
• KI-Integration: Claude API (Anthropic), DeepSeek, OpenAI via llm-providers.js
• Datenbank: JSON-basiert (keine SQL-Datenbank)
• Hosting: Render.com (Online), localhost:3003 (Lokal)

ga_suche/
├── app.html                    # Frontend (Single Page Application)
├── backend.js                  # Node.js Backend-Server
├── llm-providers.js            # KI-Provider Abstraktion
├── package.json                # Node.js Dependencies
│
├── steiner-full-lectures/      # Vorträge mit Volltext (JSON)
│   └── steiner-full-lectures-XXX-YYY-partNN.json
│
├── steiner-books/              # Bücher (GA001-GA045)
│   └── steiner-books-XXX-YYY-partNN.json
│
├── Steiner_GA/                 # GA-Bände Verzeichnisse
│   ├── GA001-Titel/            # Pro Band: Markdown + Assets
│   │   ├── GA001-lecture.md    # Einzelne Vorträge
│   │   └── assets/             # Bilder, Wandtafeln
│   └── chalkboards/            # Wandtafelzeichnungen
│
├── Keywords/                   # Schlagwort-Dateien (JSON)
├── scripts/                    # Python-Hilfsskripte
├── tools/                      # Weitere Tools
├── system/                     # Systemtexte (Impressum, etc.)
│
└── *.json                      # Diverse Datenbanken

┌─────────────┐     ┌──────────────┐     ┌─────────────────┐
│   Obsidian  │────▶│ Python/JS    │────▶│ JSON-Datenbanken│
│   (Markdown)│     │ Export-      │     │                 │
└─────────────┘     │ Skripte      │     └────────┬────────┘
                    └──────────────┘              │
┌─────────────┐                                   ▼
│   Citavi    │────────────────────────▶ ┌─────────────────┐
│   (SQLite)  │  extract_citavi_*.py    │   backend.js    │
└─────────────┘                          │   (Node.js)     │
                                         └────────┬────────┘
                                                  │ API
                                                  ▼
                                         ┌─────────────────┐
                                         │    app.html     │
                                         │   (Frontend)    │
                                         └─────────────────┘

Verwendung: Primäre Bearbeitung der Vorträge und Schlagwörter

• Vorträge als Markdown-Dateien in Steiner_GA/GAXXX-Titel/
• Schlagwörter mit Wiki-Links: [[Schlagwort]]
• Quellenverweise: ([[GA078 (1.) TITEL|GA078/1]])
• Zeilenumbrüche: /br Markierungen
• Export via scripts/export_from_md.py oder Obsidian-Plugins

Pfad: Die Markdown-Dateien werden in JSON konvertiert und in steiner-full-lectures/ gespeichert.

Verwendung: Bibliographische Angaben für GA-Bände

• Citavi-Projektdatei: .ctv6 (SQLite-Datenbank)
• Enthält: Titel, Autor, Verlag, Jahr, Ort, ISBN, Band-Nummern
• Export via extract_citavi_bibliography.py
• Ziel: ga-bibliography.json

Pfad: C:\Users\...\Citavi 7\Projects\Rudolf Steiner Gesamtausgabe\*.ctv6

Die Vortrags-Texte stammen aus frei im Internet verfügbaren Versionen der GA. Diese wurden in Obsidian importiert, strukturiert und mit KI-generierten Zusammenfassungen und Zwischenüberschriften versehen.

1. Quelle: Markdown-Dateien in Obsidian
   Steiner_GA/GAXXX-Titel/GAXXX (N.) Vortragstitel.md
2. Export: Python-Skripte konvertieren MD → JSON
   scripts/export_from_md.py, export_master.py
3. Ziel: steiner-full-lectures/steiner-full-lectures-XXX-YYY-partNN.json
4. Struktur: Jeder Vortrag enthält:
   • ID: z.B. "GA078/1"
   • gaNumber: z.B. "GA078"
   • title: Vortragstitel
   • date: Datum
   • location: Ort
   • paragraphs[]: Absätze mit content und index

1. Erstellung: KI-generiert oder manuell in Obsidian
2. Speicherung:
   • concepts-database.json - Hauptdatenbank für Index-Tab
   • keywords-database.json - Vortragsspezifische Keywords
   • Keywords/*.json - Alphabetisch sortiert (A.json, B.json, ...)
3. Verarbeitung: Zusammenfassung ähnlicher Einträge mit Claude AI

Zweck: Wandtafelzeichnungen Rudolf Steiners werden den entsprechenden Vorträgen zugeordnet und als klickbare Galerie unter dem Vortragstext angezeigt.

Quellen & Ordner:

Namenskonvention:

• GA076-1921-04-05-T01.webp – Standard: GA + Datum + Tafel-Nummer
• GA316-1924-04-24a-T01.webp – Mit Suffix a für zweiten Vortrag am selben Tag
• GA316-1924-04-24a-T02.webp – Zweite Tafel des zweiten Vortrags

Workflow (Schritt für Schritt):

1. Bilder ablegen:
   Neue Wandtafelbilder (PNG oder WebP) im Ordner Steiner_GA/chalkboards/GAxxxx/ ablegen. Die Unterordner sind nach GA-Nummer benannt (z.B. GA316/).
2. Export-Skript ausführen:
   
   python scripts/generate_chalkboards_json.py
   • Konvertiert PNG → WebP automatisch
   • Parst Dateinamen (GA, Datum, Tafel-Nr., Suffix)
   • Erstellt/aktualisiert chalkboards.json
   • Synchronisiert nach chalkboards/ (für Git)
3. Import in Vorträge:
   
   python scripts/import_chalkboards_to_lectures.py
   • Lädt chalkboards.json
   • Findet passende Vorträge anhand GA + Datum + Suffix
   • Fügt Tafel-Paragraphen am Ende des Vortrags ein
   • Entfernt alte Tafel-Paragraphen automatisch (bei Löschung von Bildern)
4. ⚠️ Git Push:
   Der Ordner chalkboards/ muss nach dem Export manuell gepusht werden:
   • GitHub Desktop öffnen
   • Änderungen im chalkboards/ Ordner committen
   • Push zum Remote-Repository

Matching bei mehreren Vorträgen am selben Tag:

Automatische Bereinigung:

• Wenn ein Bild aus Steiner_GA/chalkboards/ gelöscht wird, wird es beim nächsten generate_chalkboards_json.py-Lauf auch aus chalkboards/ entfernt
• Beim import_chalkboards_to_lectures.py-Lauf werden alte Tafel-Paragraphen automatisch entfernt, bevor neue eingefügt werden
• Der TOC-Link "Wandtafelzeichnungen" erscheint/verschwindet automatisch je nach Vorhandensein von Tafeln

Zweck: Seitenzahlen aus den gedruckten GA-Bänden werden in die JSON-Vorträge eingefügt, damit Nutzer die Original-Seitenzahlen sehen können.

Skripte:

Arbeitsweise:

1. export_page_markers_v4.py:
   • Öffnet PDF aus Steiner_GA_pdf/
   • Erkennt gedruckte Seitenzahlen im Footer ("Seite: X", "- 123 -")
   • Extrahiert Fließtext (ohne Header/Footer/Überschriften)
   • Speichert pro Seitenumbruch: left (200 Zeichen vor), right (200 Zeichen nach)
   • Output: page-break-markers.json
2. apply_page_break_markers_v4.py:
   • Lädt Break-Anker aus page-break-markers.json
   • Normalisiert Text (lowercase, Ligaturen, alte Rechtschreibung)
   • Findet per Fuzzy-Matching die exakte Einfügeposition im JSON-Text
   • Fügt Marker im Format |14| ein
   • Output: pagebreaks/GA198.json
3. generate_lecture_page_mapping.py:
   • Sucht ersten Fließtext-Absatz jedes Vortrags im PDF
   • Speichert Start-Seitenzahl pro Vortrag
   • Output: lecture-page-mapping.json

Verwendung:

Dateien:

• page-break-markers.json – Break-Anker (left/right-Snippets pro Seitenumbruch)
• lecture-page-mapping.json – Start-Seitenzahl pro Vortrag
• pagebreaks/GA*.json – Vorträge mit eingefügten |page|-Markern
• pagebreaks/GA*-report.json – Statistik (wie viele Breaks eingefügt)

📗 GA-Tab (Gesamtausgabe)

Zweck: Übersicht aller GA-Bände mit verschiedenen Ansichten

Buttons im linken Panel:

Buttons im Header (nur bei Wandtafeln-Ansicht):

Datenquellen: summary-database.json (Vorträge), chalkboards.json (Wandtafeln)

Suche-Tab

Zweck: Volltext-Suche in allen Vorträgen und Texten

Eingabefelder (Einfache Suche):

Buttons (Einfache Suche):

Erweiterte Suche (7 Suchfelder):

API: POST /api/search, POST /api/frequency-analysis

Texte-Tab

Zweck: Anzeige der GA-Bände und Volltext-Lektüre

Linkes Panel:

Buttons im linken Panel:

Admin-Buttons (nur lokal):

Header-Buttons (bei geöffnetem Vortrag):

Datenquellen: steiner-full-lectures-*.json, steiner-books-*.json, summary-database.json

Themen-Tab (KI-Suche)

Zweck: KI-gestützte thematische Suche mit natürlicher Sprache

Eingabefelder:

Buttons:

API: POST /api/thematic-search | KI: Claude API (Anthropic) | Cache: thematic-search-database.json

Timeline-Tab

Zweck: Chronologische Darstellung des Vorkommens von Begriffen

Eingabefelder:

Buttons:

Datenquellen: themes/themes-database.json, timeline-cache-database.json

Index-Tab (Schlagwortverzeichnis)

Zweck: Alphabetisches Verzeichnis wichtiger Begriffe mit Erklärungen

Navigation:

Buttons:

Datenquelle: concepts-database.json | Format: keyword, summary, references[]

Keywords-Tab NUR LOKAL

Zweck: KI-gestützte Batch-Bearbeitung von Vorträgen

Einstellungen:

Buttons:

API: POST /api/generate-summary, POST /api/generate-keywords | Provider: llm-providers.js

Zitate-Tab NUR LOKAL

Zweck: Verwaltung gespeicherter Zitate und Markierungen

Funktionen:

Datenquelle: quotes-database.json

Globale Buttons (immer sichtbar)

1. Markdown-Datei in Obsidian bearbeiten: Steiner_GA/GAXXX-Titel/*.md
2. Export ausführen: python scripts/export_from_md.py
3. Oder: Änderungen direkt in steiner-full-lectures-*.json vornehmen
4. Backend neu starten: node backend.js

1. Direkt in concepts-database.json bearbeiten
2. Oder via Keywords-Tab (KI-Generierung)
3. Format: { "keyword": "Begriff", "summary": "...", "references": [...] }

1. Option A: Citavi aktualisieren, dann python extract_citavi_bibliography.py
2. Option B: Direkt in ga-bibliography.json bearbeiten

1. Bilder in Steiner_GA/chalkboards/GAXXX/ ablegen
2. Namensformat: GA076-1921-04-05-T01.webp
3. Index neu generieren: python scripts/generate_chalkboards_json.py

1. Änderungen committen und pushen zu GitHub
2. Render.com zieht automatisch das neueste Commit
3. Build: npm install
4. Start: node backend.js
5. URL: https://ga-suche.onrender.com

Die Unterscheidung erfolgt via JavaScript:

const isLocalhost = window.location.hostname === 'localhost' || 
                    window.location.hostname === '127.0.0.1' ||
                    window.location.protocol === 'file:';

Nur lokal sichtbar:

• Keywords-Tab
• Zitate-Tab
• Docs-Tab (diese Dokumentation)
• Admin-Buttons im Texte-Tab

Hinweis: Die pagebreaks/*.json Dateien werden beim Server-Start in die globale Variable fullLectures geladen.

API: GET /api/theme-assignments-status (Heatmap-Daten), POST /api/get-theme-results-ai (Ergebnisliste)

Trennung: Volltexte sind in aufgeteilten Dateien gespeichert (GitHub-Limit ~10 MB), Metadaten in zentralen Dateien.

Übersicht

Dieses Verfahren fügt |XX| Seitenmarker in die Vorträge/Aufsätze ein. Die Marker werden aus OCR-bearbeiteten PDFs extrahiert und sowohl in die JSON-Dateien als auch in die MD-Dateien eingefügt.

PDF-Formate

Das System unterstützt drei verschiedene PDF-Formate:

Wichtig: PDFs müssen OCR-bearbeitet sein, damit der Text extrahiert werden kann!

Schnellstart

Nach Abschluss: Server neu starten! (Ctrl+C, dann nb)

Das Verfahren im Detail

Schritt 1: Voraussetzungen prüfen

• PDF vorhanden in Steiner_GA_pdf/ (OCR-bearbeitet!)
• Vorträge exportiert in steiner-full-lectures/
• Mapping vorhanden in lecture-page-mapping.json (optional aber empfohlen)

Schritt 2: Mapping erstellen (falls nicht vorhanden)

Extrahiert das Inhaltsverzeichnis aus dem PDF und zeigt das Mapping an. Mapping manuell in lecture-page-mapping.json eintragen!

Schritt 3: Seitenmarker einfügen

Das Script macht automatisch:

1. PDF kopieren nach Steiner_GA/GAXXX/
2. Seitenzahlen aus PDF extrahieren (~200 Zeichen vor/nach Umbruch)
3. Text-Matching: Position im JSON-Text finden
4. |XX| Marker einfügen
5. Marker auch in MD-Dateien einfügen
6. Alte Override-Dateien deaktivieren

Schritt 4: Server neu starten

Text-Matching erklärt

Das System findet die Position eines Seitenumbruchs durch Text-Matching:

1. Aus PDF extrahieren: ~200 Zeichen am Ende der vorherigen Seite + Anfang der nächsten Seite
2. Normalisieren: Kleinschreibung, Sonderzeichen entfernen
3. Im JSON/MD suchen: Überlappung im Vortrag-Text finden
4. Marker einfügen: |XX| an der gefundenen Position

Mit Mapping: Jeder Vortrag wird nur im relevanten Seitenbereich durchsucht (genauer)
Ohne Mapping: Alle Vorträge als Gesamttext verarbeitet (Fallback)

Dateien & Scripts

Scripts

Fehlerbehebung

Backup: lecture-page-mapping.json wird bei Backups gesichert (Typ: lecturemapping)