Vue d'ensemble du système

Architecture de haut niveau et flux de données dans Duckling.

Diagramme d'architecture

Vue détaillée des couches

graph TB
    subgraph Client
        Browser[Web Browser]
    end

    subgraph Frontend
        React[React App]
        Components[Components]
        Hooks[Custom Hooks]
        APIClient[Axios Client]
    end

    subgraph Backend
        Flask[Flask Server]
        Routes[API Routes]
        Services[Services]
        JobQueue[Job Queue]
    end

    subgraph Engine
        Docling[DocumentConverter]
        OCR[OCR Backends]
        Extract[Extraction]
    end

    subgraph Storage
        SQLite[(SQLite DB)]
        FileSystem[(File System)]
    end

    Browser --> React
    React --> Components
    Components --> Hooks
    Hooks --> APIClient
    APIClient -->|HTTP| Flask
    Flask --> Routes
    Routes --> Services
    Services --> JobQueue
    JobQueue --> Docling
    Docling --> OCR
    Docling --> Extract
    Services --> SQLite
    Docling --> FileSystem

Flux de données

Flux de conversion de document

sequenceDiagram
    participant U as User
    participant F as Frontend
    participant B as Backend
    participant D as Docling

    U->>F: Upload File
    F->>B: POST /convert
    B->>B: Save & Queue Job
    B-->>F: 202 job_id

    loop Poll
        F->>B: GET /status
        B-->>F: progress %
    end

    B->>D: Convert
    D-->>B: Results
    B-->>F: Complete
    F->>B: GET /result
    B-->>F: Content
    U->>F: Download

Pipeline de conversion

Système de file d'attente de jobs

Pour éviter l'épuisement de la mémoire lors du traitement de plusieurs documents :

class ConverterService:
    _job_queue: Queue       # Jobs en attente
    _worker_thread: Thread  # Processeur en arrière-plan
    _max_concurrent_jobs = 2  # Limiter le traitement parallèle

Le thread worker :

1. Surveille la file d'attente
2. Démarre les threads de conversion jusqu'à la limite concurrente
3. Suit les threads actifs et nettoie ceux terminés
4. Empêche l'épuisement des ressources pendant le traitement par lot

Schéma de base de données

Table Conversion

Considérations de sécurité

Optimisations de performance