Systemübersicht

High-Level-Architektur und Datenfluss in Duckling.

Architekturdiagramm

Detaillierte Schichtenansicht

graph TB
    subgraph Client
        Browser[Web Browser]
    end

    subgraph Frontend
        React[React App]
        Components[Components]
        Hooks[Custom Hooks]
        APIClient[Axios Client]
    end

    subgraph Backend
        Flask[Flask Server]
        Routes[API Routes]
        Services[Services]
        JobQueue[Job Queue]
    end

    subgraph Engine
        Docling[DocumentConverter]
        OCR[OCR Backends]
        Extract[Extraction]
    end

    subgraph Storage
        SQLite[(SQLite DB)]
        FileSystem[(File System)]
    end

    Browser --> React
    React --> Components
    Components --> Hooks
    Hooks --> APIClient
    APIClient -->|HTTP| Flask
    Flask --> Routes
    Routes --> Services
    Services --> JobQueue
    JobQueue --> Docling
    Docling --> OCR
    Docling --> Extract
    Services --> SQLite
    Docling --> FileSystem

Datenfluss

Dokumentkonvertierungs-Fluss

sequenceDiagram
    participant U as User
    participant F as Frontend
    participant B as Backend
    participant D as Docling

    U->>F: Upload File
    F->>B: POST /convert
    B->>B: Save & Queue Job
    B-->>F: 202 job_id

    loop Poll
        F->>B: GET /status
        B-->>F: progress %
    end

    B->>D: Convert
    D-->>B: Results
    B-->>F: Complete
    F->>B: GET /result
    B-->>F: Content
    U->>F: Download

Konvertierungspipeline

Job-Warteschlangen-System

Um Speichererschöpfung bei der Verarbeitung mehrerer Dokumente zu verhindern:

class ConverterService:
    _job_queue: Queue       # Ausstehende Jobs
    _worker_thread: Thread  # Hintergrundprozessor
    _max_concurrent_jobs = 2  # Parallele Verarbeitung begrenzen

Der Worker-Thread:

1. Überwacht die Job-Warteschlange
2. Startet Konvertierungs-Threads bis zur gleichzeitigen Grenze
3. Verfolgt aktive Threads und bereinigt abgeschlossene
4. Verhindert Ressourcenerschöpfung während Stapelverarbeitung

Datenbankschema

Konvertierungs-Tabelle

Sicherheitsüberlegungen

Leistungsoptimierungen