Steiner GA-Suche

UND ODER

Tiefe Breite

Lade Statistiken...

Zitate-Verwaltung

Zitat speichern: Strg+Shift+Klick (im Text)

Keine Zitate vorhanden.

Projekt-Dokumentation: rudolf-steiner-online.de

Inhaltsverzeichnis

1. Projektübersicht
2. Architektur & Aufbau
3. Datenquellen
4. Datenverarbeitung
5. Tabs & Funktionen
6. Datenbanken (JSON)
7. Backend-API
8. Änderungen durchführen
9. Skripte & Tools
10. Entwicklung & Deployment
11. Datenquellen für Tab-Anzeige
12. Seitenumbrüche & Seitenzahlen

1. Projektübersicht

Zweck: Inhaltliche Orientierung und Recherche in der Rudolf Steiner Gesamtausgabe (GA)

Umfang: Ca. 350 GA-Bände mit über 6000 Vorträgen und Schriften

Technologie:

Frontend: HTML5, CSS3, JavaScript (ES6+) - Single Page Application in app.html
Backend: Node.js mit Express (backend.js)
KI-Integration: Claude API (Anthropic), DeepSeek, OpenAI via llm-providers.js
Datenbank: JSON-basiert (keine SQL-Datenbank)
Hosting: Render.com (Online), localhost:3003 (Lokal)

2. Architektur & Aufbau

Verzeichnisstruktur

ga_suche/
├── app.html                    # Frontend (Single Page Application)
├── backend.js                  # Node.js Backend-Server
├── llm-providers.js            # KI-Provider Abstraktion
├── package.json                # Node.js Dependencies
│
├── steiner-full-lectures/      # Vorträge mit Volltext (JSON)
│   └── steiner-full-lectures-XXX-YYY-partNN.json
│
├── steiner-books/              # Bücher (GA001-GA045)
│   └── steiner-books-XXX-YYY-partNN.json
│
├── Steiner_GA/                 # GA-Bände Verzeichnisse
│   ├── GA001-Titel/            # Pro Band: Markdown + Assets
│   │   ├── GA001-lecture.md    # Einzelne Vorträge
│   │   └── assets/             # Bilder, Wandtafeln
│   └── chalkboards/            # Wandtafelzeichnungen
│
├── Keywords/                   # Schlagwort-Dateien (JSON)
├── scripts/                    # Python-Hilfsskripte
├── tools/                      # Weitere Tools
├── system/                     # Systemtexte (Impressum, etc.)
│
└── *.json                      # Diverse Datenbanken

Datenfluss

┌─────────────┐     ┌──────────────┐     ┌─────────────────┐
│   Obsidian  │────▶│ Python/JS    │────▶│ JSON-Datenbanken│
│   (Markdown)│     │ Export-      │     │                 │
└─────────────┘     │ Skripte      │     └────────┬────────┘
                    └──────────────┘              │
┌─────────────┐                                   ▼
│   Citavi    │────────────────────────▶ ┌─────────────────┐
│   (SQLite)  │  extract_citavi_*.py    │   backend.js    │
└─────────────┘                          │   (Node.js)     │
                                         └────────┬────────┘
                                                  │ API
                                                  ▼
                                         ┌─────────────────┐
                                         │    app.html     │
                                         │   (Frontend)    │
                                         └─────────────────┘

3. Datenquellen

Obsidian

Verwendung: Primäre Bearbeitung der Vorträge und Schlagwörter

Vorträge als Markdown-Dateien in Steiner_GA/GAXXX-Titel/
Schlagwörter mit Wiki-Links: [[Schlagwort]]
Quellenverweise: ([[GA078 (1.) TITEL|GA078/1]])
Zeilenumbrüche: /br Markierungen
Export via scripts/export_from_md.py oder Obsidian-Plugins

Pfad: Die Markdown-Dateien werden in JSON konvertiert und in steiner-full-lectures/ gespeichert.

Citavi

Verwendung: Bibliographische Angaben für GA-Bände

Citavi-Projektdatei: .ctv6 (SQLite-Datenbank)
Enthält: Titel, Autor, Verlag, Jahr, Ort, ISBN, Band-Nummern
Export via extract_citavi_bibliography.py
Ziel: ga-bibliography.json

Pfad: C:\Users\...\Citavi 7\Projects\Rudolf Steiner Gesamtausgabe\*.ctv6

Frei verfügbare GA-Texte

Die Vortrags-Texte stammen aus frei im Internet verfügbaren Versionen der GA. Diese wurden in Obsidian importiert, strukturiert und mit KI-generierten Zusammenfassungen und Zwischenüberschriften versehen.

4. Datenverarbeitung

Vorträge (Lectures)

Quelle: Markdown-Dateien in Obsidian
Steiner_GA/GAXXX-Titel/GAXXX (N.) Vortragstitel.md
Export: Python-Skripte konvertieren MD → JSON
scripts/export_from_md.py, export_master.py
Ziel: steiner-full-lectures/steiner-full-lectures-XXX-YYY-partNN.json
Struktur: Jeder Vortrag enthält:
- ID: z.B. "GA078/1"
- gaNumber: z.B. "GA078"
- title: Vortragstitel
- date: Datum
- location: Ort
- paragraphs[]: Absätze mit content und index

Schlagwörter (Keywords/Concepts)

Erstellung: KI-generiert oder manuell in Obsidian
Speicherung:
- concepts-database.json - Hauptdatenbank für Index-Tab
- keywords-database.json - Vortragsspezifische Keywords
- Keywords/*.json - Alphabetisch sortiert (A.json, B.json, ...)
Verarbeitung: Zusammenfassung ähnlicher Einträge mit Claude AI

Wandtafelzeichnungen

Zweck: Wandtafelzeichnungen Rudolf Steiners werden den entsprechenden Vorträgen zugeordnet und als klickbare Galerie unter dem Vortragstext angezeigt.

Quellen & Ordner:

Ordner	Beschreibung
`Steiner_GA/chalkboards/`	Quellordner (PNG/WebP) – Neue Bilder hier ablegen
`chalkboards/`	Git-Repository-Ordner (WebP) – Wird automatisch synchronisiert
`chalkboards.json`	Index aller Tafeln mit Metadaten (GA, Datum, Tafel-Nr.)

Namenskonvention:

GA076-1921-04-05-T01.webp – Standard: GA + Datum + Tafel-Nummer
GA316-1924-04-24a-T01.webp – Mit Suffix a für zweiten Vortrag am selben Tag
GA316-1924-04-24a-T02.webp – Zweite Tafel des zweiten Vortrags

Workflow (Schritt für Schritt):

Bilder ablegen:
Neue Wandtafelbilder (PNG oder WebP) im Ordner Steiner_GA/chalkboards/GAxxxx/ ablegen. Die Unterordner sind nach GA-Nummer benannt (z.B. GA316/).
Export-Skript ausführen:

python scripts/generate_chalkboards_json.py
- Konvertiert PNG → WebP automatisch
- Parst Dateinamen (GA, Datum, Tafel-Nr., Suffix)
- Erstellt/aktualisiert chalkboards.json
- Synchronisiert nach chalkboards/ (für Git)
Import in Vorträge:

python scripts/import_chalkboards_to_lectures.py
- Lädt chalkboards.json
- Findet passende Vorträge anhand GA + Datum + Suffix
- Fügt Tafel-Paragraphen am Ende des Vortrags ein
- Entfernt alte Tafel-Paragraphen automatisch (bei Löschung von Bildern)
⚠️ Git Push:
Der Ordner chalkboards/ muss nach dem Export manuell gepusht werden:
- GitHub Desktop öffnen
- Änderungen im chalkboards/ Ordner committen
- Push zum Remote-Repository

Matching bei mehreren Vorträgen am selben Tag:

Wenn es mehrere Vorträge am selben Tag gibt (z.B. Morgen- und Abendvortrag), wird ein Suffix (a, b, etc.) verwendet:

Dateiname	→ Vortragstitel enthält
`GA316-1924-04-24-T01.webp`	`24. April 1924` (erster Vortrag)
`GA316-1924-04-24a-T01.webp`	`24. April 1924a` (zweiter Vortrag)

Das Suffix im Dateinamen (z.B. a) wird mit dem Suffix im Vortragstitel/-dateinamen abgeglichen.

Automatische Bereinigung:

Wenn ein Bild aus Steiner_GA/chalkboards/ gelöscht wird, wird es beim nächsten generate_chalkboards_json.py-Lauf auch aus chalkboards/ entfernt
Beim import_chalkboards_to_lectures.py-Lauf werden alte Tafel-Paragraphen automatisch entfernt, bevor neue eingefügt werden
Der TOC-Link "Wandtafelzeichnungen" erscheint/verschwindet automatisch je nach Vorhandensein von Tafeln

Seitenzahlen (Page Breaks)

Zweck: Seitenzahlen aus den gedruckten GA-Bänden werden in die JSON-Vorträge eingefügt, damit Nutzer die Original-Seitenzahlen sehen können.

Skripte:

Skript	Funktion
`batch_generate_pagebreaks.py`	Hauptskript: Führt beide Schritte für GA-Bände aus
`export_page_markers_v4.py`	Extrahiert Seitenumbruch-Marker aus PDF
`apply_page_break_markers_v4.py`	Fügt `\|page\|`-Marker in JSON-Vorträge ein
`generate_lecture_page_mapping.py`	Erstellt Mapping: Vortrag-ID → Start-Seitenzahl

Arbeitsweise:

export_page_markers_v4.py:
- Öffnet PDF aus Steiner_GA_pdf/
- Erkennt gedruckte Seitenzahlen im Footer ("Seite: X", "- 123 -")
- Extrahiert Fließtext (ohne Header/Footer/Überschriften)
- Speichert pro Seitenumbruch: left (200 Zeichen vor), right (200 Zeichen nach)
- Output: page-break-markers.json
apply_page_break_markers_v4.py:
- Lädt Break-Anker aus page-break-markers.json
- Normalisiert Text (lowercase, Ligaturen, alte Rechtschreibung)
- Findet per Fuzzy-Matching die exakte Einfügeposition im JSON-Text
- Fügt Marker im Format |14| ein
- Output: pagebreaks/GA198.json
generate_lecture_page_mapping.py:
- Sucht ersten Fließtext-Absatz jedes Vortrags im PDF
- Speichert Start-Seitenzahl pro Vortrag
- Output: lecture-page-mapping.json

Verwendung:

# Seitenzahlen für eine GA generieren
python batch_generate_pagebreaks.py 198 198

# Mit Lecture-Mapping (für bessere Ergebnisse)
python generate_lecture_page_mapping.py GA198
python batch_generate_pagebreaks.py 198 198

# Server neu starten (lädt neue Pagebreaks)
Get-Process -Name "node" | Stop-Process -Force
node backend.js

Dateien:

page-break-markers.json – Break-Anker (left/right-Snippets pro Seitenumbruch)
lecture-page-mapping.json – Start-Seitenzahl pro Vortrag
pagebreaks/GA*.json – Vorträge mit eingefügten |page|-Markern
pagebreaks/GA*-report.json – Statistik (wie viele Breaks eingefügt)

5. Tabs & Funktionen (Detailliert)

📗 GA-Tab (Gesamtausgabe)

Zweck: Übersicht aller GA-Bände mit verschiedenen Ansichten

Buttons im linken Panel:

`Chronologisch`	Zeigt alle Vorträge chronologisch sortiert (1884-1925). Jahr-Buttons zum Filtern. `toggleChronologicalView()`
`Wandtafeln`	Zeigt alle Wandtafelzeichnungen. Jahr-Filter verfügbar. `toggleChalkboardsView()`
Jahr-Buttons (1884-1925)	Filtert chronologische Ansicht oder Wandtafeln nach Jahr
GA-Nummer (z.B. "GA078")	Klick zeigt alle Vorträge dieses Bandes im Viewer

Buttons im Header (nur bei Wandtafeln-Ansicht):

`ⓘ` (Info-Button)	Zeigt bibliographische Angaben aus `ga-bibliography.json`. `showChalkboardsBibliographyInfo()`
`▼/▲` (Sort-Toggle)	Wechselt Sortierung: GA-Nummer ↔ Datum. `toggleChalkboardsSort()`

Datenquellen: summary-database.json (Vorträge), chalkboards.json (Wandtafeln)

Suche-Tab

Zweck: Volltext-Suche in allen Vorträgen und Texten

Eingabefelder (Einfache Suche):

Suchfeld	Suchbegriff eingeben. Exakte Phrase: in "Anführungszeichen". Teilwörter werden gefunden.
Jahr-Filter (Dropdown)	Suche auf bestimmte Jahre beschränken (Multi-Select)
GA-Filter (Dropdown)	Suche auf bestimmte GA-Bände beschränken (Multi-Select)
Relevanz-Filter	alle \| hoch 🟩 \| mittel 🟧 \| niedrig 🟨 — basierend auf Häufigkeit und Nähe

Buttons (Einfache Suche):

`Suche starten`	Führt Volltext-Suche durch. `performKeywordSearch()`
`Häufigkeit`	Zeigt Häufigkeit des Suchbegriffs pro GA-Band. `performSimpleFrequencyAnalysis()`
`erweitert`	Öffnet erweiterte Suche (7 Suchfelder). `openAdvancedSearch()`
`Timeline`	Zeigt Suchergebnisse auf Timeline. `showSearchResultsInTimeline()`
`▼` (View-Toggle)	Wechselt: Nur Titel ↔ Titel & Textauszug. `toggleResultView()`

Erweiterte Suche (7 Suchfelder):

Suchwort 1-7	Bis zu 7 Begriffe gleichzeitig suchen
UND / ODER	Logische Verknüpfung zwischen Suchbegriffen
Proximity (Dropdown)	Maximaler Abstand zwischen Begriffen (0-10 Absätze)
`Suche starten`	`performAdvancedSearch()`
`Häufigkeit`	`performAdvancedFrequencyAnalysis()`

API: POST /api/search, POST /api/frequency-analysis

Texte-Tab

Zweck: Anzeige der GA-Bände und Volltext-Lektüre

Linkes Panel:

GA-Filter (Dropdown)	Filtert angezeigte GA-Bände
GA-Band-Titel	Klick öffnet Liste aller Vorträge des Bandes im Viewer
Vortragstitel	Klick öffnet Volltext des Vortrags. `showLecture(lectureId)`

Buttons im linken Panel:

▼ Summaries Ein-/Ausblenden der Kurzzusammenfassungen. toggleGASummaries()

Admin-Buttons (nur lokal):

`Struktur`	KI generiert Zusammenfassung, Keywords, Überschriften. `batchGenerateStructure()`
`Keywords`	Nur Keywords generieren. `batchGenerateKeywords()`
`Neu generieren`	Alles neu generieren (überschreibt). `batchRegenerateAll()`
`Kurz-Summary`	Kurzzusammenfassungen generieren. `batchGenerateShortSummaries()`

Header-Buttons (bei geöffnetem Vortrag):

`▼/▲` (H4-Toggle)	Wechselt zwischen Überschriften-Ebenen: H3 \| H3+H4 \| H3+H4+KW. `toggleH4Display()`
`Original`	Zeigt ursprüngliche Zusammenfassung. `closeAndShowOriginal()`
`ⓘ` (Info-Button)	Zeigt bibliographische Angaben des GA-Bandes. `showGABibliographyInfo()`
`≡ Übersicht`	Zeigt H4-Überschriften im Viewer. `toggleViewerH4()`
`TOC`	Blendet Inhaltsverzeichnis ein/aus. `toggleTOCContent()`
`⬇` (Download)	Download als PDF, TXT oder Markdown. `showDownloadOptions()`
`👤` (Mitglieder)	Öffnet Mitgliederbereich (Bookmarks, Zitate). `toggleMembersPanel()`

Datenquellen: steiner-full-lectures-*.json, steiner-books-*.json, summary-database.json

Themen-Tab (KI-Suche)

Zweck: KI-gestützte thematische Suche mit natürlicher Sprache

Eingabefelder:

Thema/Frage	Natürlichsprachige Anfrage, z.B. "Was sagt Steiner über das Ich?"
GA-Filter (optional)	Suche auf bestimmte GA-Bände beschränken

Buttons:

`Suchen`	Startet KI-Suche (Claude API). `performThematicSearch()`
`Übersicht`	Zeigt Konzept-Übersicht zu einem Begriff. `showConceptOverview()`

API: POST /api/thematic-search | KI: Claude API (Anthropic) | Cache: thematic-search-database.json

Timeline-Tab

Zweck: Chronologische Darstellung des Vorkommens von Begriffen

Eingabefelder:

Thema (Dropdown)	Vordefinierte Themen aus `themes/themes-database.json`
Schlagwort (Dropdown)	Zusätzlicher Filter nach Schlagwörtern

Buttons:

`Anzeigen`	Zeigt Timeline für ausgewähltes Thema/Schlagwort
`← Zurück`	Navigiert zurück zur vorherigen Ansicht. `navigateBackToTexteGA()`

Datenquellen: themes/themes-database.json, timeline-cache-database.json

Index-Tab (Schlagwortverzeichnis)

Zweck: Alphabetisches Verzeichnis wichtiger Begriffe mit Erklärungen

Navigation:

A-Z Buttons	Springt zu Schlagwörtern mit diesem Anfangsbuchstaben
Suchfeld	Filtert Schlagwörter nach Eingabe
Schlagwort-Liste	Klick zeigt KI-generierte Zusammenfassung im Viewer

Buttons:

`Schlagwort hinzufügen`	Neues Schlagwort manuell hinzufügen. `addNewKeyword()`
`Schlagwort löschen`	Ausgewähltes Schlagwort entfernen. `deleteKeyword()`
`Batch-Generierung`	Mehrere Schlagwörter per KI generieren. `addBatchKeywords()`

Datenquelle: concepts-database.json | Format: keyword, summary, references[]

Keywords-Tab NUR LOKAL

Zweck: KI-gestützte Batch-Bearbeitung von Vorträgen

Einstellungen:

GA-Bände Checkboxen	Auswahl der zu bearbeitenden GA-Bände
KI-Provider (Dropdown)	Claude (Anthropic) \| DeepSeek \| OpenAI

Buttons:

`GA-Bände laden`	Lädt Liste verfügbarer GA-Bände. `loadAvailableGAVolumes()`
`Alle auswählen`	Wählt alle/keine GA-Bände aus. `toggleSelectAllGA()`
`Vollständig regenerieren`	Generiert Summary, Keywords, Headings für alle ausgewählten Vorträge. `startGABatchFullRegenerate()`
`Kurz-Summaries`	Generiert nur Kurzzusammenfassungen. `startGABatchShortSummaries()`

API: POST /api/generate-summary, POST /api/generate-keywords | Provider: llm-providers.js

Zitate-Tab NUR LOKAL

Zweck: Verwaltung gespeicherter Zitate und Markierungen

Funktionen:

Zitate-Liste	Alle gespeicherten Zitate mit Quelle und Tags
Zitat hinzufügen	Textmarkierung + Rechtsklick im Vortrag
Tags/Schlagwörter	Zitate mit Schlagwörtern versehen
Export	Zitate als JSON oder Text exportieren

Datenquelle: quotes-database.json

Globale Buttons (immer sichtbar)

`🌙/☀️` (Theme-Toggle)	Wechselt zwischen Hell- und Dunkelmodus. `toggleTheme()`
`⋯` (drei Punkte)	Öffnet/schließt linkes Panel (Admin-Bereich)
`?` (Hilfe)	Öffnet Hilfe-Modal. `openHelpModal()`
Tab-Buttons	GA \| Suche \| Texte \| Themen \| Timeline \| Index \| [Docs] \| [Keywords] \| [Zitate]. `switchTab(mode)`

6. Datenbanken (JSON-Dateien)

Datei	Beschreibung	Verwendung
`steiner-full-lectures-*.json`	Vorträge mit Volltext	Texte-Tab, Suche
`steiner-books-*.json`	Bücher (GA001-GA045)	Texte-Tab
`summary-database.json`	Zusammenfassungen & TOC	GA-Tab, Texte-Tab
`concepts-database.json`	Schlagwörter mit Erklärungen	Index-Tab
`keywords-database.json`	Vortragsspezifische Keywords	Keywords-Anzeige
`themes/themes-database.json`	Themen-Definitionen	Timeline-Tab
`thematic-search-database.json`	Cache für Themen-Suche	Themen-Tab
`chalkboards.json`	Wandtafel-Index	GA-Tab (Wandtafeln)
`ga-bibliography.json`	Bibliographische Angaben	Info-Popups
`quotes-database.json`	Gespeicherte Zitate	Zitate-Tab
`synonyms.json`	Synonym-Wörterbuch	Suche-Erweiterung

7. Backend-API (`backend.js`)

Wichtige Endpunkte

`GET /api/lecture/:id`	Einzelner Vortrag laden
`GET /api/full-lectures`	Alle Vorträge (für Timeline)
`POST /api/search`	Volltext-Suche
`POST /api/thematic-search`	KI-gestützte Themensuche
`GET /api/concepts`	Schlagwörter laden
`POST /api/generate-summary`	KI-Zusammenfassung generieren
`GET /api/ga-volumes`	Liste aller GA-Bände
`GET /assets/*`	Bilder aus GA-Ordnern servieren

Server starten

    cd C:\Users\...\ga_suche

    node backend.js

    # Oder mit Alias (falls eingerichtet):

    nb

Server läuft auf http://localhost:3003

8. Änderungen durchführen

Vorträge bearbeiten

Markdown-Datei in Obsidian bearbeiten: Steiner_GA/GAXXX-Titel/*.md
Export ausführen: python scripts/export_from_md.py
Oder: Änderungen direkt in steiner-full-lectures-*.json vornehmen
Backend neu starten: node backend.js

Schlagwörter bearbeiten

Direkt in concepts-database.json bearbeiten
Oder via Keywords-Tab (KI-Generierung)
Format: { "keyword": "Begriff", "summary": "...", "references": [...] }

Bibliographie bearbeiten

Option A: Citavi aktualisieren, dann python extract_citavi_bibliography.py
Option B: Direkt in ga-bibliography.json bearbeiten

Wandtafeln hinzufügen

Bilder in Steiner_GA/chalkboards/GAXXX/ ablegen
Namensformat: GA076-1921-04-05-T01.webp
Index neu generieren: python scripts/generate_chalkboards_json.py

9. Skripte & Tools

Python-Skripte (`scripts/`)

`export_from_md.py`	Obsidian MD → JSON konvertieren
`generate_chalkboards_json.py`	Wandtafel-Index erstellen
`import_chalkboards_to_lectures.py`	Wandtafeln zu Vorträgen zuordnen

Tools im Root-Verzeichnis

`extract_citavi_bibliography.py`	Citavi → JSON Export
`export_master.py`	Haupt-Export-Skript
`export_books_master.py`	Bücher-Export
`apply_page_break_markers_v4.py`	Seitenumbruch-Markierungen einfügen

10. Entwicklung & Deployment

Lokale Entwicklung

    # Dependencies installieren

    npm install

    # Backend starten

    node backend.js

    # Frontend öffnen

    start app.html (Windows)

Deployment (Render.com)

Änderungen committen und pushen zu GitHub
Render.com zieht automatisch das neueste Commit
Build: npm install
Start: node backend.js
URL: https://ga-suche.onrender.com

Lokal vs. Online

Die Unterscheidung erfolgt via JavaScript:

const isLocalhost = window.location.hostname === 'localhost' || 
                    window.location.hostname === '127.0.0.1' ||
                    window.location.protocol === 'file:';

Nur lokal sichtbar:

Keywords-Tab
Zitate-Tab
Docs-Tab (diese Dokumentation)
Admin-Buttons im Texte-Tab

11. Datenquellen für Tab-Anzeige

Diese Übersicht zeigt, welche JSON-Dateien für die Anzeige in den verschiedenen Tabs verwendet werden.

📖 Texte-Tab

Anzeige-Element	Datenquelle	Felder
GA-Nummer, Titel	`pagebreaks/*.json` → `fullLectures`	`ID`, `title`, `gaNumber`, `gaTitle`
Ort, Datum	`pagebreaks/*.json` → `fullLectures`	`location`, `date`
Volltext	`pagebreaks/*.json` → `fullLectures`	`paragraphs[]` (mit `\|page\|`-Markern)
Summary	`summary-database.json`	`summary`, `shortSummary`
Überschriften (H3/H4)	`summary-database.json`	`headings[]` (text, level, index)
Bibliographie	`ga-bibliography.json`	Verlag, Jahr, ISBN etc.

Hinweis: Die pagebreaks/*.json Dateien werden beim Server-Start in die globale Variable fullLectures geladen.

🔥 Themen-Tab (Heatmap)

Anzeige-Element	Datenquelle	Felder / Logik
Themenliste (links)	`themes/themes-data.js`	`SteinerThemesData[]` (theme, query)
Heatmap-Balken	`themes/theme-assignments.json`	KI-Zuordnungen: welcher Text gehört zu welchem Thema
Jahr für Heatmap-Position	`fullLectures` (primär)	Reihenfolge: 1. `fullLectures[id].year/date` 2. Jahr aus `fullLectures[id].title` (z.B. "(1882)") 3. Jahr aus ID (z.B. "GA093a/1905-10-04")
Ergebnisliste (Klick auf Heatmap)	`summary-database.json`	`summary`, `shortSummary`
Titel, Ort in Ergebnisliste	`fullLectures`	`title`, `location`, `date`
Schlagwort-Chips	`themes/themes-data.js`	`query`-Feld wird in Keywords gesplittet

API: GET /api/theme-assignments-status (Heatmap-Daten), POST /api/get-theme-results-ai (Ergebnisliste)

📁 Zusammenfassung: Datenstruktur

Datei	Inhalt
`pagebreaks/*.json`	Volltexte + Metadaten (ID, title, location, date, paragraphs mit \|page\|-Markern)
`summary-database.json`	KI-generiert: summary, shortSummary, headings[]
`keywords-database.json`	Schlagwörter pro Text (für Suche/Index)
`themes/theme-assignments.json`	KI-Zuordnungen: Text-ID → Themen[]
`themes/themes-data.js`	Themendefinitionen (Name, Schlagwörter)

Trennung: Volltexte sind in aufgeteilten Dateien gespeichert (GitHub-Limit ~10 MB), Metadaten in zentralen Dateien.

12. Seitenumbrüche & Seitenzahlen

Übersicht

Dieses Verfahren fügt |XX| Seitenmarker in die Vorträge/Aufsätze ein. Die Marker werden aus OCR-bearbeiteten PDFs extrahiert und sowohl in die JSON-Dateien als auch in die MD-Dateien eingefügt.

      PDF (Steiner_GA_pdf/)

         ↓ Seitenzahlen + Text-Fragmente extrahieren

      JSON (steiner-full-lectures/)

         ↓ Text-Matching → |XX| Marker einfügen

      MD (Steiner_GA/GAXXX/)

         ↓ Marker auch in MD einfügen

      HTML (app.html)

         → Marker als Seitenzahlen-Badges anzeigen

PDF-Formate

Das System unterstützt drei verschiedene PDF-Formate:

Format 1: Ältere PDFs (vor ~2010)

        Text des Vortrags...

        Copyright Rudolf Steiner Nachlassverwaltung Seite: 42

Seitenzahl im Copyright-Footer, Muster: Copyright Rudolf Steiner...Seite: XX

Format 2: Neuere PDFs (ab ~2013, z.B. GA069b)

        Text des Vortrags endet hier.

        42

        RUDOLF STEINER

        VERLAG

Seitenzahl auf eigener Zeile, gefolgt von "RUDOLF STEINER" und "VERLAG". Header "Seite XX" am Seitenanfang wird ignoriert.

Format 3: Aktuelle PDFs

        Text des Vortrags...

        Seite 42

"Seite XX" am Ende der Seite (letzte 3 Zeilen)

Wichtig: PDFs müssen OCR-bearbeitet sein, damit der Text extrahiert werden kann!

Schnellstart

      # Einzelne GA verarbeiten:

      python tools/process_pagebreaks.py GA069b

      # Bereich verarbeiten:

      python tools/process_pagebreaks.py 61 67

      # Trockenlauf (keine Änderungen):

      python tools/process_pagebreaks.py GA069b --dry-run

Nach Abschluss: Server neu starten! (Ctrl+C, dann nb)

Das Verfahren im Detail

Schritt 1: Voraussetzungen prüfen

PDF vorhanden in Steiner_GA_pdf/ (OCR-bearbeitet!)
Vorträge exportiert in steiner-full-lectures/
Mapping vorhanden in lecture-page-mapping.json (optional aber empfohlen)

Schritt 2: Mapping erstellen (falls nicht vorhanden)

      python tools/extract_toc.py GA069b
    

Extrahiert das Inhaltsverzeichnis aus dem PDF und zeigt das Mapping an. Mapping manuell in lecture-page-mapping.json eintragen!

Schritt 3: Seitenmarker einfügen

      python tools/process_pagebreaks.py GA069b
    

Das Script macht automatisch:

PDF kopieren nach Steiner_GA/GAXXX/
Seitenzahlen aus PDF extrahieren (~200 Zeichen vor/nach Umbruch)
Text-Matching: Position im JSON-Text finden
|XX| Marker einfügen
Marker auch in MD-Dateien einfügen
Alte Override-Dateien deaktivieren

Schritt 4: Server neu starten

      Ctrl+C
nb
    

Text-Matching erklärt

Das System findet die Position eines Seitenumbruchs durch Text-Matching:

Aus PDF extrahieren: ~200 Zeichen am Ende der vorherigen Seite + Anfang der nächsten Seite
Normalisieren: Kleinschreibung, Sonderzeichen entfernen
Im JSON/MD suchen: Überlappung im Vortrag-Text finden
Marker einfügen: |XX| an der gefundenen Position

Mit Mapping: Jeder Vortrag wird nur im relevanten Seitenbereich durchsucht (genauer)
Ohne Mapping: Alle Vorträge als Gesamttext verarbeitet (Fallback)

Dateien & Scripts

Datei/Ordner	Beschreibung
`Steiner_GA_pdf/`	Quell-PDFs (OCR-bearbeitet)
`lecture-page-mapping.json`	Mapping: Vortrag-ID → Start-Seitenzahl
`steiner-full-lectures/`	JSON-Dateien mit Vorträgen (werden aktualisiert)
`pagebreaks/`	Override-Dateien (Legacy, werden deaktiviert)

Scripts

Script	Beschreibung
`tools/process_pagebreaks.py`	Hauptscript - führt alles automatisch durch
`tools/extract_toc.py`	Extrahiert Mapping aus PDF-Inhaltsverzeichnis
`tools/apply_pagebreaks_from_pdf.py`	Nur Seitenmarker in JSON einfügen
`tools/apply_pagebreaks_to_md.py`	Nur Seitenmarker in MD einfügen

Fehlerbehebung

Problem	Ursache	Lösung
0 Seiten erkannt	PDF nicht OCR-bearbeitet	PDF mit OCR bearbeiten
Wenige Marker	Kein Mapping vorhanden	`extract_toc.py` verwenden
Falsche Seitenzahlen	Falsches Mapping	`lecture-page-mapping.json` prüfen
Alte Marker angezeigt	Override in `pagebreaks/`	Datei zu `.old` umbenennen

Backup: lecture-page-mapping.json wird bei Backups gesichert (Typ: lecturemapping)

Diese Dokumentation wird nur in der lokalen Version angezeigt.

Letzte Aktualisierung: Januar 2026

GA-Bände exportieren

Wählen Sie mehrere GA-Bände aus, um sie gleichzeitig nach Obsidian zu exportieren (JSON und HTML).

Klicke auf "GA-Bände laden"

Nutzungsstatistiken (Online)

Zitate-Verwaltung

Batch-Schlagwort-Generierung

Projekt-Dokumentation: rudolf-steiner-online.de

Inhaltsverzeichnis

1. Projektübersicht

2. Architektur & Aufbau

Verzeichnisstruktur

Datenfluss

3. Datenquellen

Obsidian

Citavi

Frei verfügbare GA-Texte

4. Datenverarbeitung

Vorträge (Lectures)

Schlagwörter (Keywords/Concepts)

Wandtafelzeichnungen

Quellen & Ordner:

Namenskonvention:

Workflow (Schritt für Schritt):

Matching bei mehreren Vorträgen am selben Tag:

Automatische Bereinigung:

Seitenzahlen (Page Breaks)

Skripte:

Arbeitsweise:

Verwendung:

Dateien:

5. Tabs & Funktionen (Detailliert)

📗 GA-Tab (Gesamtausgabe)

Buttons im linken Panel:

Buttons im Header (nur bei Wandtafeln-Ansicht):

Suche-Tab

Eingabefelder (Einfache Suche):

Buttons (Einfache Suche):

Erweiterte Suche (7 Suchfelder):

Texte-Tab

Linkes Panel:

Buttons im linken Panel:

Admin-Buttons (nur lokal):

Header-Buttons (bei geöffnetem Vortrag):

Themen-Tab (KI-Suche)

Eingabefelder:

Buttons:

Timeline-Tab

Eingabefelder:

Buttons:

Index-Tab (Schlagwortverzeichnis)

Navigation:

Buttons:

Keywords-Tab NUR LOKAL

Einstellungen:

Buttons:

Zitate-Tab NUR LOKAL

Funktionen:

Globale Buttons (immer sichtbar)

6. Datenbanken (JSON-Dateien)

7. Backend-API (backend.js)

Wichtige Endpunkte

Server starten

8. Änderungen durchführen

Vorträge bearbeiten

Schlagwörter bearbeiten

Bibliographie bearbeiten

Wandtafeln hinzufügen

9. Skripte & Tools

Python-Skripte (scripts/)

Tools im Root-Verzeichnis

10. Entwicklung & Deployment

Lokale Entwicklung

Deployment (Render.com)

Lokal vs. Online

11. Datenquellen für Tab-Anzeige

📖 Texte-Tab

🔥 Themen-Tab (Heatmap)

📁 Zusammenfassung: Datenstruktur

12. Seitenumbrüche & Seitenzahlen

Übersicht

PDF-Formate

Schnellstart

Das Verfahren im Detail

7. Backend-API (`backend.js`)

Python-Skripte (`scripts/`)