47 lines
2.2 KiB
Markdown
47 lines
2.2 KiB
Markdown
|
---
|
||
|
|
name: test-qwen3
|
||
|
|
description: Évalue Qwen3 en lui déléguant des tâches via mcp__qwen3__task et en vérifiant les fichiers produits.
|
||
|
|
---
|
||
|
|
|
||
|
|
Exécute les tests suivants dans l'ordre. Pour chaque test :
|
||
|
|
1. Appelle `mcp__qwen3__task` avec la tâche
|
||
|
|
2. Vérifie que le fichier attendu existe dans `test_qwen3_output/`
|
||
|
|
3. Vérifie que le contenu est propre (pas de balises markdown résiduelles, pas de sérialisation JSON)
|
||
|
|
4. Valide syntaxiquement si applicable
|
||
|
|
5. Affiche ✓ PASS ou ✗ FAIL avec la raison
|
||
|
|
|
||
|
|
Répertoire de sortie : `test_qwen3_output/` à la racine du projet (le créer si absent).
|
||
|
|
|
||
|
|
## Tests
|
||
|
|
|
||
|
|
**T1 — Python basique**
|
||
|
|
Tâche : "Crée le fichier test_qwen3_output/hello.py qui affiche Hello, World!"
|
||
|
|
Vérif : fichier existe, contient `print`, `python3` produit "Hello, World!", pas de balises ``` dans le fichier
|
||
|
|
|
||
|
|
**T2 — Bash boucle**
|
||
|
|
Tâche : "Crée le fichier test_qwen3_output/count.sh, script bash qui affiche les nombres de 1 à 5 un par ligne"
|
||
|
|
Vérif : fichier existe, `bash -n` passe, exécution produit "5" en dernière ligne, pas de balises ```
|
||
|
|
|
||
|
|
**T3 — Python récursion**
|
||
|
|
Tâche : "Crée le fichier test_qwen3_output/fibonacci.py avec une fonction fib(n) et à la fin print(fib(10))"
|
||
|
|
Vérif : fichier existe, `python3` retourne 55, pas de balises ```
|
||
|
|
|
||
|
|
**T4 — Markdown titre**
|
||
|
|
Tâche : "Crée le fichier test_qwen3_output/intro.md avec un titre H1 CrazyClaude et un paragraphe de présentation"
|
||
|
|
Vérif : fichier existe, commence par `#`, plus de 50 caractères, pas de balises ``` englobantes
|
||
|
|
|
||
|
|
**T5 — Markdown documentation**
|
||
|
|
Tâche : "Crée le fichier test_qwen3_output/api.md documentant la fonction process(data, options) avec les sections Description, Paramètres, Retour, Exemple"
|
||
|
|
Vérif : 4 sections présentes, contenu structuré, pas de balises ```
|
||
|
|
|
||
|
|
**T6 — Markdown changelog**
|
||
|
|
Tâche : "Crée le fichier test_qwen3_output/changelog.md avec 3 entrées au format ## [version] - date avec sous-sections Added/Fixed/Changed"
|
||
|
|
Vérif : au moins 3 entrées `## [`, sous-sections présentes
|
||
|
|
|
||
|
|
## Résumé final
|
||
|
|
|
||
|
|
Affiche :
|
||
|
|
- Le score N/6
|
||
|
|
- Pour les FAIL : contenu du fichier produit (ou absence) pour diagnostic
|
||
|
|
- Évaluation qualitative : ce que Qwen3 fait bien/mal (utilisation des outils, qualité du contenu, propreté des fichiers)
|