Skip to content
Projets

WANGLEVY9/VidForge has 95 GitHub stars and 5 forks. GitHot measured 0 stars in 24 hours. Last checked 2026-11-16 20:11 UTC. Last push 2026-10-21.

Comment ces chiffres sont mesurés

Progression mesurée des étoiles

in 24h
0
in 7 days
Mise à jour retardée
in 15 days
Mise à jour retardée
in 1 month
Mise à jour retardée

Variations nettes sur des périodes qui se chevauchent, pas des totaux quotidiens. Les mesures absentes restent vides. Les étoiles indiquent l’intérêt, pas la qualité.

À propos

Open-source AI pipeline for short-form commerce videos: multimodal analysis, RAG scripts, multi-agent orchestration, FFmpeg composition, and cost tracing.

IA

README.fr.md

Original

VidForge — espace de génération vidéo Multi-Agent

VidForge

Une infrastructure open source Multi-Agent pour la génération vidéo fondée sur les connaissances.
VidForge relie compréhension des médias, connaissances de marque, ingénierie du contexte, planification de scripts, génération vidéo, contrôle qualité et assemblage média.

English · 简体中文 · 日本語 · Français · Deutsch · Русский

CI CodeQL Secret scan Licence MIT TypeScript

Démo · Runtime Agent · Architecture · Feuille de route

Statut : développement actif. VidForge peut être compilé et testé sans identifiants de modèles payants. La génération réelle de texte, d’images, de vidéos et de voix nécessite les Providers correspondants. La démo publique est un déploiement indépendant et peut ne pas activer tous les Providers.

Qu’est-ce que VidForge ?

VidForge est un espace de production vidéo IA auto-hébergeable destiné au commerce et au storytelling produit. Une demande devient un workflow avec état : des Agents spécialisés recherchent des assets, construisent un contexte borné, planifient un storyboard, appellent les Providers média, évaluent le résultat et réinjectent les preuves de qualité dans l’essai suivant.

Préoccupation Implémentation
Orchestration Multi-Agent État LangGraph explicite, nœuds spécialisés, replanification conditionnelle, retries bornés, annulation
Génération fondée sur les connaissances Script RAG, connaissances d’espace produit, recherche média et références traçables
Ingénierie du contexte Mémoire long terme par scope, scores de recherche, budget de prompt, nettoyage et feedback
Pipeline vidéo exécutable Génération parallèle de plans, FFmpeg, TTS, musique, sous-titres, stockage et progression

Runtime Multi-Agent

START → orchestrator → material_analysis → script_generation
                                      ↓                    ↓
                              quality_control ← video_composition
                                      │
                                      └── replanification qualité bornée → script_generation
Agent Responsabilité Sortie
Material Agent Recherche des images dans l’espace utilisateur/produit et classement déterministe Jusqu’à 5 candidats média
Script Agent Fusion de la demande, des médias, du RAG, de la mémoire et du feedback précédent Plan Hook / Demo / CTA en trois plans
Composition Agent Génération par lots parallèles bornés et polling des tâches Provider Résultats des plans et URL finale
Quality Agent Évaluation de la complétude, durée, cohérence, conformité et Hook Score à cinq dimensions et feedback

Le système utilise un graphe explicite, pas un essaim d’Agents non contrôlé. Les erreurs Provider et réseau transitoires utilisent un retry borné avec backoff exponentiel et jitter. Les annulations, erreurs d’entrée et HTTP 4xx ne sont pas retentés ; la replanification qualité possède sa propre limite AGENT_QC_MAX_RETRIES.

Architecture système

flowchart LR
    UI[React Studio] --> API[NestJS API]
    UI <--> WS[Socket.IO progress]
    API --> RUNS[(Agent run control plane)]
    API --> GRAPH[LangGraph StateGraph]
    GRAPH --> MATERIAL[Material Agent]
    MATERIAL --> SCRIPT[Script Agent]
    SCRIPT --> COMPOSE[Composition Agent]
    COMPOSE --> QUALITY[Quality Agent]
    QUALITY -->|quality feedback| SCRIPT
    SCRIPT --> RAG[Script RAG corpus]
    SCRIPT --> SPACE[Product-space knowledge]
    GRAPH --> MEMORY[Scoped long-term memory]
    MATERIAL --> VISION[Vision / embedding providers]
    SCRIPT --> TEXT[Text provider]
    COMPOSE --> VIDEO[Video provider]
    COMPOSE --> MEDIA[FFmpeg / TTS / BGM / subtitles]
    GRAPH --> TRACE[(Trace / cost / latency)]
    API --> DB[(PostgreSQL + pgvector)]
    API --> QUEUE[(Redis + BullMQ)]
    MEDIA --> STORAGE[Local or object storage]

L’état du graphe porte la demande, la mémoire récupérée, l’analyse des médias, le plan de script, les preuves RAG, le résultat de composition, les dimensions de qualité, les erreurs et les résumés de trace. PostgreSQL conserve le plan de contrôle de l’exécution et l’état final. PostgresSaver persiste les super-steps LangGraph ; un Agent Worker séparé récupère un lease expiré et reprend le même thread au dernier nœud inachevé. Il s’agit d’une reprise à la frontière d’un nœud, pas d’un moteur event-sourced ni d’une garantie exactly-once auprès des Providers.

Contrôle et échecs

  • Les erreurs Provider, base de données et réseau transitoire utilisent un retry LangGraph borné avec backoff exponentiel et jitter.
  • Les annulations, erreurs de syntaxe/type et erreurs d’entrée HTTP 4xx ne sont pas retentées.
  • agent_runs conserve les états queued/running/terminal, la progression, l’entrée et le résultat.
  • Les tâches running interrompues sont marquées failed au démarrage afin d’éviter une double facturation Provider.
  • AbortController propage l’annulation à l’invocation du graphe actif.

Ingénierie du contexte

flowchart TB
    REQUEST[Current request] --> PROMPT[Script prompt]
    SPACE[Product-space facts] --> PROMPT
    RAG[Script RAG references] --> PROMPT
    MEMORY[Recalled long-term memory] --> PACKET[Bounded Context Packet]
    PACKET --> PROMPT
    FEEDBACK[Previous quality feedback] --> PROMPT

Le Context Packet filtre les résultats faibles, trie de façon déterministe par score et ID, impose des budgets de quantité et de caractères, supprime les caractères de contrôle et échappe les contenus sensibles. Les métadonnées d’ID, type, score et provenance sont conservées ; la mémoire est présentée comme donnée de référence, jamais comme instruction.

AGENT_MAX_RETRIES=3
AGENT_RETRY_BASE_DELAY_MS=2000
AGENT_QC_MAX_RETRIES=2
AGENT_MEMORY_TOP_K=6
AGENT_MEMORY_MAX_CHARS=1800

Connaissances, RAG et mémoire

Trois plans de connaissances sont séparés :

  • Espace produit : arguments de vente, audience, ton de marque, positionnement prix, mots interdits et jusqu’à cinq modèles de scripts de qualité. Seuls les runs non-fallback avec un score d’au moins 85 alimentent les bonnes pratiques de façon idempotente.
  • Corpus Script RAG : 9 seeds structurées couvrant 7 catégories commerciales. Chaque seed contient un type de Hook, un squelette Hook / Demo / CTA, des exemples de messages, une direction musicale et des métadonnées de provenance.
  • Recherche média : isolation utilisateur/espace produit, tags, métadonnées d’analyse, légendes et embedding pgvector optionnel de 1024 dimensions. L’Agent actuel combine SQL et heuristiques déterministes ; l’API sémantique fournit un point d’extension pour un Provider d’embeddings.

La recherche Script RAG est déterministe et reproductible : la correspondance de catégorie domine, le style apporte un score secondaire, les correspondances partielles un bonus réduit. Les deux meilleures seeds sont transmises au prompt et leurs identifiants restent dans ragReferences. Le corpus intégré est une base de développement, pas un benchmark de conversion.

Boucle qualité et contrats Provider

Dimension Poids Signal
Complétude 30 % Plans générés avec succès par rapport au plan
Durée 15 % Respect de la cible de 8 à 20 secondes
Cohérence 20 % Alignement description visuelle / voix-off, éventuellement évalué par LLM
Conformité 20 % Mots interdits et expressions à risque en local
Force du Hook 15 % Qualité du mécanisme d’attention initial

Un run réussit lorsque le score pondéré atteint 70 sans terme de conformité. Les capacités externes sont isolées derrière des contrats métier TypeScript :

Capacité Contrat Adaptateur actuel
Génération de texte TextGenerationProvider ARK text
Génération vidéo VideoGenerationProvider ARK video
Synthèse vocale TextToSpeechProvider Volcano/OpenSpeech + silence fallback
Stockage objet ObjectStorageProvider Aliyun OSS + fallback local
Traitement média MediaProcessingProvider FFmpeg

Un nouvel adaptateur doit respecter le contrat métier, exposer sa capacité et conserver les métadonnées de trace, sans propager les types SDK dans les Agents.

La mémoire long terme agent_memories accepte les scopes user, product_space et run, ainsi que les types preference, fact, success_pattern, failure_pattern et decision.

score = lexical_match × 0.65 + importance × 0.25 + recency × 0.10

Le Context Packet filtre les résultats faibles, impose des budgets de quantité et de caractères, supprime les caractères de contrôle et présente la mémoire comme donnée de référence, jamais comme instruction. Les erreurs de mémoire sont fail-soft et ne bloquent pas la génération.

Boucle qualité et pipeline média

Quality Agent pondère la complétude à 30 %, la durée à 15 %, la cohérence à 20 %, la conformité à 20 % et la force du Hook à 15 %. Un score pondéré d’au moins 70 sans terme de conformité déclenche la réussite ; sinon le feedback structuré revient au Script Agent pour une replanification bornée.

Composition Agent génère jusqu’à trois plans en parallèle, les interroge pendant huit minutes, normalise et concatène avec FFmpeg, produit une voix ou un silence de secours, mélange la musique, génère les sous-titres SRT et publie vers le stockage local ou OSS. Le résultat expose durée, taille, SHA-256 et caractéristiques média. Sans Provider vidéo, le système signale la capacité manquante au lieu de présenter un placeholder comme produit fini.

Providers, files et observabilité

Les capacités texte, vidéo, TTS, stockage objet et traitement média sont isolées par des contrats TypeScript métier. Les adaptateurs actuels couvrent ARK, Volcano/OpenSpeech TTS, Aliyun OSS et FFmpeg. BullMQ gère les plans, la composition, l’export et l’analyse ; Redis indisponible peut utiliser un fallback en mémoire en développement.

trace_spans enregistre tâche, scope, latence, état, modèle, tokens, coût estimé, cache et métadonnées. Le workflow ajoute les retries, spans, hits mémoire, score mémoire maximal et références RAG. Les écritures de trace sont fail-soft.

Les jobs BullMQ supportent attempts, priorités, délais et identifiants idempotents. Le cache de réponses ARK utilise Redis entre processus et un LRU mémoire en fallback ; l’export OTLP ne doit pas interrompre le workflow créatif.

Implémenté et feuille de route

Implémenté : workspace frontend, authentification, espaces produit, médias, scripts, tâches, graphe Multi-Agent, replanification qualité, RAG de base, mémoire scopée, composition FFmpeg, checkpoints PostgreSQL avec reprise de nœud, Agent Worker séparé, ledger d’opérations Provider et chemins Redis/BullMQ optionnels.

Sont également implémentés : HITL optionnel avec interrupt()/resume, inspection de checkpoint redigée, replay/fork sur des threads isolés, outbox transactionnelle Agent, rôles séparés Agent/Media Worker et exécution métier réelle des queues création/composition/export. Restent dans la feuille de route : versioning du workflow, routeur de subagents, registre skills/tools, RAG hybride avec reranker et évaluation des trajectoires Agent.

Références de conception : LangGraph.js, DeerFlow, Letta et Claude Code subagents. Ces liens n’impliquent ni parité fonctionnelle ni réutilisation de code.

Matrice des capacités

Capacité Statut Exigence externe
Studio frontend et parcours /try Implémenté Aucune pour /try
Auth, espaces produit, médias, scripts, tâches Implémenté PostgreSQL
Graphe Multi-Agent et replanification qualité Implémenté Provider texte/vidéo pour une sortie réelle
Script RAG et propagation des références Baseline implémentée Aucune pour le corpus intégré
Mémoire scopée et Context Packet Baseline lexicale implémentée PostgreSQL
Recherche média sémantique Chemin optionnel implémenté pgvector + endpoint embedding
Composition FFmpeg Implémenté FFmpeg local
Queue durable et cache inter-processus Chemin optionnel implémenté Redis
Checkpoint PostgreSQL et reprise de nœud Implémenté PostgreSQL + Agent Worker séparé
Ledger Provider et audit du propriétaire Implémenté PostgreSQL; idempotence Provider dépendante de l’adaptateur
Approbation humaine / interrupt-resume Implémenté optionnel Checkpoint persistant ; UI via API
Outbox Agent et replay/fork isolé Implémenté PostgreSQL + Redis
Workers média shot/composition/export Implémenté Redis, FFmpeg et Providers configurés
Routeur dynamique, skills et registry tools Feuille de route Modèle runtime et permissions
RAG hybride, reranker et dataset d’évaluation Feuille de route Corpus et protocole d’évaluation

Feuille de route Agent

  • Exécution durable et supervision humaine : les nœuds interrupt(), l’inspection redigée, replay/fork et l’outbox Agent sont implémentés ; le versioning du workflow reste ouvert.
  • Context engineering : query planning, compression, evidence gating et budget Token par nœud.
  • Multi-Agent hiérarchique : routeur typé, budgets de délégation et slices d’état isolés.
  • Cycle de vie mémoire : consolidation, contradictions, decay, promotion vers la connaissance produit et métriques de retrieval.
  • Skills et outils : capacités découvrables et autorisées séparées des prompts.
  • Évaluation Agent : trajectoires, preuves RAG, utilité mémoire, coût Provider et qualité média évalués séparément.

Démarrage rapide

Prérequis : Node.js 20, pnpm 8.15.4, Docker Compose et FFmpeg 4+.

git clone https://github.com/WANGLEVY9/VidForge.git
cd VidForge
corepack enable
corepack prepare [email protected] --activate
pnpm install --frozen-lockfile
docker compose up -d
cp apps/backend/.env.example apps/backend/.env
cp apps/frontend/.env.example apps/frontend/.env.local
pnpm --filter @vidforge/backend migration:run
pnpm check:env
pnpm dev

Frontend : http://localhost:3000, parcours /try, workspace /workspace, API http://localhost:3001/api, Swagger /api/docs. Les vrais Providers sont nécessaires pour générer des médias. Vérifications : pnpm docs:check, pnpm test, pnpm lint, pnpm build, pnpm verify.

Configuration et surfaces locales

Variable Requise Usage
DATABASE_URL Oui Connexion PostgreSQL
JWT_SECRET Production Au moins 32 caractères en production
WEB_BASE_URL Production Allowlist CORS HTTP/WebSocket
API_BASE_URL Production Préfixe des URLs média/export publiques
ARK_TEXT_PRIMARY_* Optionnelle Appels texte et quality model réels
ARK_VIDEO_PRIMARY_* Optionnelle Génération réelle des plans
EMBEDDING_API_URL Optionnelle Embeddings média, Ollama local par défaut
REDIS_URL Optionnelle localement BullMQ et cache inter-processus
VOLC_TTS_APPID / VOLC_TTS_TOKEN Optionnelle TTS réel au lieu du silence fallback
OSS_* Optionnelle Stockage objet au lieu du disque local
OTEL_EXPORTER_OTLP_* Optionnelle Collecteur OTLP/HTTP
VITE_API_BASE_URL Frontend Origine backend visible du navigateur
VITE_WS_URL Optionnelle Override de l’origine WebSocket

Ne mettez jamais de secrets dans VITE_* : Vite les intègre aux assets du navigateur.

Surface URL locale
Landing page http://localhost:3000
Parcours guidé http://localhost:3000/try
Workspace http://localhost:3000/workspace
API REST http://localhost:3001/api
Swagger http://localhost:3001/api/docs
Liveness / readiness /api/health / /api/health/ready

API et contribution

Endpoints représentatifs : POST /api/agent/run, GET /api/agent/status/:taskId, GET /api/agent/runs/:taskId/audit, POST /api/agent/cancel/:taskId, GET /api/agent/memory, GET /api/spaces, PATCH /api/material/:id/analyze. Swagger fait foi pour les requêtes et réponses.

Les contributions sur les adaptateurs Provider, l’évaluation RAG, la consolidation mémoire, les checkpoints, l’approbation humaine, la qualité vidéo, l’accessibilité et la fiabilité du déploiement sont les bienvenues. Consultez CONTRIBUTING.md, docs/CONTRIBUTOR_QUICKSTART.md et GOVERNANCE.md.

Carte du dépôt

apps/frontend/src/              # studio React/Vite, pages, composants, store, clients
apps/backend/src/modules/agent/ # graphe, Agents, runs, mémoire, Context Packet
apps/backend/src/modules/rag/   # corpus Script RAG structuré
apps/backend/src/modules/media/ # FFmpeg, TTS, musique, sous-titres, stockage
apps/backend/src/providers/     # contrats et adaptateurs Provider
docs/                           # architecture, runtime, déploiement, observabilité
examples/                       # fixtures sans identifiants
scripts/                        # contrôles du dépôt et de la documentation

Vérification et documentation

pnpm docs:check
pnpm check:hygiene
pnpm test:repo
pnpm test:backend
pnpm lint
pnpm stylelint
pnpm build
pnpm verify

La CI vérifie les tests unitaires, contrats, migrations, politiques de sécurité, smoke FFmpeg, liens Markdown, dépendances, lint, styles, build et budget des bundles.

Document Objet
docs/AGENT_RUNTIME.md cycle du graphe, retries, mémoire, budgets de contexte
docs/TECHNICAL_ARCHITECTURE.md frontières et décisions techniques
docs/OBSERVABILITY.md trace, coût, latence, OTLP
docs/PROVIDER_CONTRACTS.md contrats de remplacement Provider
ROADMAP.md direction du projet
CHANGELOG.md historique des versions

Ne commitez jamais de clés API, secrets JWT, identifiants de base de données ou données utilisateur. VidForge est distribué sous MIT License et reste indépendant des projets et entreprises cités.

Pour la documentation technique complète, consultez README.md.