prozart/Wait

mt5_fakcogni_model

Modèle mT5 (small) fine-tuné pour générer, en français, de courtes phrases de feedback / formalisation d'interface utilisateur, à partir d'une icône UI et de la requête de l'utilisateur.

Ce modèle est utilisé dans le cadre du projet WAIT (gestion de la latence perçue pour les interfaces LLM locales) : pendant qu'un agent conversationnel réfléchit, mt5_fakcogni_model génère en amont une phrase courte associée à une icône (ex. "recherche en cours", "récupération de la météo"...) afin de donner un retour visuel immédiat à l'utilisateur.

Le modèle est disponible publiquement sur le Hub : prozart/Wait.

Utilisation

from transformers import AutoTokenizer, MT5ForConditionalGeneration

repo_id = "prozart/Wait"
tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = MT5ForConditionalGeneration.from_pretrained(repo_id)

prompt = "<fr> Formalize UI: Recherche. User query: quelle est la météo à Nantes"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=32)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Format du prompt d'entrée

Le modèle attend un prompt structuré de la façon suivante :

<{lang}> Formalize UI: {icon}. User query: {clean_query}

• lang : code de langue cible (ex. fr)
• icon : titre / nom de l'icône UI associée à l'action détectée (issu d'une recherche vectorielle dans une base d'icônes Lucide)
• clean_query : requête de l'utilisateur, tronquée aux 12 premiers mots

Génération

La génération est effectuée avec max_length=32, produisant une phrase courte adaptée à un affichage UI (pas de streaming, pas de sampling avancé décrits dans le code d'inférence).

Exemples (fictifs)

Le modèle gère à la fois le français (<fr>) et l'anglais (<en>). Exemples illustratifs :

Prompt	Sortie générée
<fr> Formalize UI: Recherche. User query: quelle est la météo à Nantes	Recherche des informations météo pour Nantes...
<fr> Formalize UI: Horloge. User query: donne moi l'heure à Tokyo	Récupération de l'heure actuelle à Tokyo...
<en> Formalize UI: Search. User query: what's the weather in Paris	Searching for weather information in Paris...
<en> Formalize UI: Download. User query: get me the latest report	Fetching the latest report...

(Exemples donnés à titre indicatif pour illustrer le format d'entrée/sortie, à remplacer par de vraies générations du modèle.)

Entraînement

• Modèle de base : mT5-small
• Entraîné via Seq2SeqTrainer (Hugging Face transformers)
• Jeu de données généré à partir d'appels aux API Gemini et Mistral, puis dédupliqué (scripts JSONL)

Limitations

• Modèle spécialisé pour un format de prompt précis (Formalize UI: ... User query: ...) ; les performances hors de ce format ne sont pas garanties.
• Génération limitée à des phrases courtes (max_length=32).
• Actuellement mono-langue (français), même si le prompt prévoit un tag de langue générique.

Contexte du projet

Ce modèle fait partie du projet WAIT, une application FastAPI/WebSocket combinant :

• une recherche sémantique d'icônes (SentenceTransformer BAAI/bge-m3 + sqlite-vec),
• un classifieur de format de réponse (SLPClassifier),
• ce modèle mT5 de génération de phrases de feedback,
• un agent LangGraph pour les réponses conversationnelles finales.