simonlesaumon/qwen-french-humanizer

🤖 Qwen2.5-14B-Humanizer-v1

📄 Description du Projet

Ce modèle est un fine-tuning expérimental basé sur l'architecture Qwen2.5-14B-Instruct. Son objectif unique est le transfert de style : il prend en entrée un texte au ton "corporate", technocratique ou généré par une IA standard (type GPT-4), et le réécrit pour adopter un style humain, journalistique et naturel.

L'objectif final est de produire des textes indétectables par les algorithmes de classification (détecteurs d'IA), en introduisant de la "burstiness" (variation de rythme) et un vocabulaire moins probabiliste.

⚠️ Statut : Alpha / Recherche. Ce modèle nécessite des paramètres d'inférence très précis pour fonctionner correctement (voir section "Paramètres Critiques").

---

🏗️ Architecture et Choix Techniques

Pourquoi Qwen 2.5 14B ?

Nous avons choisi Qwen 2.5 14B comme base pour plusieurs raisons stratégiques :

1. Le "Sweet Spot" VRAM/Intelligence : Le modèle 14B offre des capacités de raisonnement bien supérieures aux modèles 7B/8B, tout en restant exécutable sur des GPU de gamme moyenne/haute (A40, A100, ou localement avec quantification).
2. Instruction Following : Qwen excelle dans le respect des contraintes négatives ("Ne fais pas ça"), ce qui est crucial pour lui interdire d'halluciner des faits.

Méthode d'Entraînement

• Framework : Unsloth (Optimisation vitesse/mémoire).
• Technique : QLoRA (Quantized Low-Rank Adaptation).
• Quantisation : 4-bit (bitsandbytes) pour l'entraînement.
• Infrastructure : Entraîné sur une instance GPU NVIDIA A40 (48GB VRAM) via RunPod.
• Hyperparamètres : 3 Epochs, Batch Size effectif de 16, Learning Rate de 2e-4.

---

📚 Le Dataset

Le succès de ce modèle repose sur un dataset curé manuellement de ~1200 paires de conversations au format ShareGPT.

• Entrée (User) : Textes au style lourd, passif, remplis de connecteurs logiques artificiels ("En effet", "Il est crucial de noter", "Dans un contexte holistique").
• Sortie (Assistant) : Textes réécrits dans un style journalistique direct, avec des variations de longueur de phrase, des imperfections humaines volontaires et un vocabulaire imagé.

Le modèle n'a pas appris de connaissances factuelles, il a appris une "musique" syntaxique.

---

⚙️ Paramètres d'Inférence Critiques (A LIRE)

Ce modèle est très sensible à la configuration de l'inférence. Si vous utilisez les paramètres par défaut, il risque soit de recopier le texte (trop robotique), soit d'halluciner (trop créatif).

Nous sommes encore en phase de recherche pour trouver la configuration parfaite, mais voici les réglages recommandés pour obtenir les meilleurs résultats :

Configuration recommandée (LM Studio / llama.cpp / Python)

Paramètre	Valeur	Explication
Température	0.35 - 0.45	Crucial. Plus bas (0.1), il recopie le texte source. Plus haut (0.7), il invente des dates et des faits.
Repetition Penalty	1.15 - 1.2	L'arme secrète. Force le modèle à utiliser des synonymes. Attention : >1.2, il peut générer des fautes d'orthographe bizarres.
Top P	0.9	Standard pour garder de la cohérence.
System Prompt	Voir ci-dessous	Indispensable pour empêcher les hallucinations.

---

🔮 Roadmap & Recherche : Vers l'IA Embarquée (Edge AI)

Ce projet ne s'arrête pas là. Notre ambition à long terme est de démocratiser cette capacité d'humanisation en la rendant accessible sans GPU coûteux, directement côté client.

🎯 L'Objectif : "In-Browser" Inference

Nous travaillons activement sur la distillation de cette compétence vers des Small Language Models (SLM) beaucoup plus légers, tels que :

• Ministral 8B
• Llama 3.2 (3B ou 1B)

La finalité est de produire un modèle capable de tourner directement dans un navigateur web (via WebGPU/WASM) sur un ordinateur standard, garantissant une confidentialité totale des données et une accessibilité universelle.

🧪 État des lieux (Research Preview)

Actuellement, ces pistes sont encore au stade de recherche expérimentale. Les tentatives d'entraînement sur ces architectures réduites (< 8B paramètres) ne sont pas encore concluantes :

• Les petits modèles peinent à maintenir la cohérence sur des textes longs lorsqu'on leur impose une forte pénalité de répétition.
• La qualité du français et la subtilité du style se dégradent trop rapidement par rapport au modèle enseignant.

À ce jour, ce modèle Qwen 2.5 14B représente notre meilleur résultat stable (State-of-the-Art). Il est le seul à offrir la densité neuronale nécessaire pour jongler entre la rigueur du sens et la créativité du style sans "casser" la langue.

System Prompt (Obligatoire)

Tu es un expert en réécriture stylistique.
Ta mission : Réécrire le texte fourni par l'utilisateur pour le rendre fluide, naturel et indétectable, tout en restant STRICTEMENT fidèle au sens.

Règles absolues :
1. GARDE LE SENS : Ne rajoute AUCUNE information factuelle (pas de dates, pas de lieux, pas de noms qui ne sont pas dans le texte).
2. CASSE LE RYTHME : Alterne entre phrases très courtes et phrases complexes.
3. VOCABULAIRE : Remplace les mots génériques par des synonymes précis.
4. FLUIDITÉ : Supprime les connecteurs lourds (En effet, De plus, Par ailleurs).
5. CHIFFRES : Conserve les dates et montants exacts du texte original.