Baromètre
Vitesse, fiabilité et préférences des modèles du chat, mesurées sur les vraies demandes. Pas de score inventé : les classements attendent d’avoir assez de votes.
Comment nous mesurons
Temps avant le premier mot
Le temps entre l’envoi de la demande et le premier mot de la réponse. Nous donnons la médiane sur 7 jours : la moitié des réponses arrivent plus vite.
Vitesse d’écriture
Le nombre de tokens écrits par seconde, une fois la réponse lancée. Un token est un morceau de mot, environ 4 lettres.
Taux de réussite
La part des demandes qui ont reçu une réponse, sur 7 jours. Un modèle apparaît à partir de 20 demandes mesurées.
Préférences
Elles viennent uniquement des duels à l’aveugle : vous votez sans connaître les modèles. Les duels où vous choisissez les modèles ne comptent pas.
Score de préférence
La méthode de Bradley-Terry transforme les victoires en duel en score, avec un intervalle à 95 % qui montre la marge d’incertitude. Il s’affiche à partir de 100 votes.
Données anonymes
Nous gardons des chiffres : durée, nombre de tokens, réussite, type de tâche. Jamais le texte des demandes ni des réponses, ni qui les a envoyées.
Résultats
Qualité générale des réponses
Pour comparer la qualité des réponses sur un grand nombre de votes, consultez compar:IA, le comparateur public de l’État français. Ses jeux de données sont réutilisables sous Licence Ouverte Etalab 2.0. aidock ne cherche pas à le remplacer.
Ouvrir compar:IA (nouvel onglet)Chaque vote rend le Baromètre plus fiable.
Deux modèles répondent à la même demande. Vous votez sans connaître leurs noms, puis ils s’affichent.