Vue d’ensemble du système

Architecture et flux de données de Duckling à un niveau élevé.

Schéma d’architecture

Vue détaillée par couches

graph TB
    subgraph Client
        Browser[Navigateur web]
    end

    subgraph Frontend
        React[Application React]
        Components[Composants]
        Hooks[Hooks personnalisés]
        APIClient[Client Axios]
    end

    subgraph Backend
        Flask[Serveur Flask]
        Routes[Routes API]
        Services[Services]
        JobQueue[File d’attente des tâches]
    end

    subgraph Engine
        Docling[DocumentConverter]
        OCR[Back-ends OCR]
        Extract[Extraction]
    end

    subgraph Storage
        SQLite[(Base SQLite)]
        FileSystem[(Système de fichiers)]
    end

    Browser --> React
    React --> Components
    Components --> Hooks
    Hooks --> APIClient
    APIClient -->|HTTP| Flask
    Flask --> Routes
    Routes --> Services
    Services --> JobQueue
    JobQueue --> Docling
    Docling --> OCR
    Docling --> Extract
    Services --> SQLite
    Docling --> FileSystem

Flux de données

Flux de conversion de document

sequenceDiagram
    participant U as Utilisateur
    participant F as Frontend
    participant B as Backend
    participant D as Docling

    U->>F: Téléverser un fichier
    F->>B: POST /convert
    B->>B: Enregistrer et mettre en file
    B-->>F: 202 job_id

    loop Interrogation
        F->>B: GET /status
        B-->>F: progression %
    end

    B->>D: Convertir
    D-->>B: Résultats
    B-->>F: Terminé
    F->>B: GET /result
    B-->>F: Contenu
    U->>F: Télécharger

Pipeline de conversion

Téléversement de dossier (UI) : Le navigateur développe un répertoire choisi ou glissé-déposé en liste de fichiers ; le frontend filtre par extension et taille autorisées, puis envoie les fichiers pris en charge via POST /api/convert/batch avec des parties files répétées (comme pour le lot multi-fichiers). Le backend rejette individuellement les parties non prises en charge ; si aucune partie n’est convertible, l’API répond 400.

File d’attente des tâches

Pour éviter l’épuisement de la mémoire lors du traitement de plusieurs documents :

class ConverterService:
    _job_queue: Queue       # Pending jobs
    _worker_thread: Thread  # Background processor
    _max_concurrent_jobs = 2  # Limit parallel processing

Le thread worker :

1. Surveille la file d’attente des tâches
2. Lance des threads de conversion jusqu’à la limite de parallélisme
3. Suit les threads actifs et nettoie ceux qui sont terminés
4. Évite l’épuisement des ressources lors du traitement par lots

Schéma de base de données

Table de conversion

Considérations de sécurité

Optimisations des performances