Finley atteint 73,64% sur le benchmark de Scale AI. Claude Opus 5.5 plafonne à 21,25%.
Le Remote Labor Index de Scale AI fait passer aux IA de vraies missions freelance, payées par de vrais clients. On a lancé Finley sur les 10 missions publiques. Voici le rapport complet, et chaque livrable à ouvrir toi-même.
Missions freelance réelles, commandées sur Upwork
Comment Scale AI
note les IA.
Scale AI et le Center for AI Safety ont monté le Remote Labor Index pour mesurer une seule chose : est-ce qu’une IA sait faire le travail qu’un client paie à un freelance ? 240 missions réelles, commandées sur Upwork à 358 freelances vérifiés, pour 143 991$ de travail payé.
Le rapport de Scale : scale.com/research/rliCe que contient chaque mission
Scale publie 10 de ces missions avec tout ce qu’il faut pour les refaire. Chacune contient :
- Le brief : la commande du client, mot pour mot.
- Les fichiers : tout ce que le client a fourni pour la faire.
- Le livrable du freelance : le travail payé et accepté, qui sert de référence.
- La valeur : le prix payé au freelance, 4 995$ pour les 10 missions.
8 missions sur 10.
Validées par la majorité des correcteurs.
8 missions sur 10.
Validées par la majorité des correcteurs.
On a appliqué la méthode officielle de Scale, mission par mission. Le correcteur lit le brief, ouvre le livrable du freelance, puis celui de Finley, et répond à une seule question : un client raisonnable accepterait-il ce livrable comme le travail commandé ? Il note de 1 à 3 : 1 pour un échec, 2 au niveau du freelance, 3 au-dessus.
Pour que Finley ne se note pas lui-même, 11 correcteurs IA ont noté à l’aveugle, chacun de son côté, sans voir les notes des autres. Ils viennent de deux familles de modèles, et 5 d’entre eux notent en barème strict. Sur 110 verdicts, 81 disent « réussi » : ce sont les 73,64%. Une mission est réussie quand la majorité des 11 l’accepte.
Combien de correcteurs sur 11 acceptent chaque mission
Au-dessus du freelanceAu niveau du freelance
Chaque ligne compte les correcteurs qui acceptent le livrable de Finley. En valeur, les 8 missions réussies pèsent 4 445$ sur les 4 995$ payés aux freelances : 88,99% en Dollars Earned, la métrique de Scale.
De la consigne du client
au livrable de Finley.
au livrable de Finley.
au livrable de Finley.
au livrable de Finley.
De la consigne du client
au livrable de Finley.
Jeu web
Consigne du client
Crée un jeu web casual appelé « Mega Merge », où le joueur fusionne des objets qui tombent pour atteindre l’objet le plus haut possible. Le jeu s’inspire du célèbre Watermelon Game, avec ses propres mécaniques. Il doit être accessible et fluide sur tous les appareils, avec une mise en page adaptée au desktop comme au mobile.
Le joueur fusionne deux objets identiques pour créer l’objet du niveau supérieur, et marque un maximum de points avant que la boîte ne déborde. Thème brasserie, avec ces objets dans l’ordre : goutte d’eau, grain d’orge, sac de malt, orange, citron vert, houblon, pistache, miel, canette de bière ouverte, chope de bière, tonneau de bière.
Livrable de Finley
Extraction d’audits
Consigne du client
Extrais les données utiles de chaque rapport fourni, en particulier les findings structurés, et sors-les dans un format défini.
Dans chaque rapport PDF, récupère pour chaque finding : le numéro, le titre, par exemple Requirements Violation ou Documentation Mismatch, le statut, la sévérité, l’impact, la probabilité, la description, la recommandation, l’URL du dépôt et l’identifiant du commit.
Livrable : les données extraites dans un format texte structuré, avec tous les findings, un fichier par rapport.
Audit_Work_PDFsLivrable de Finley
Mise en page LaTeX
Consigne du client
Voici un article technique sur le contrôle d’un robot d’impression 3D : moteurs des axes X, Y et Z, compensateurs à avance de phase et simulation dans MATLAB/Simulink. Il faut tout mettre au format LaTeX des conférences IEEE.
Mise en page sur deux colonnes. Toutes les équations numérotées 1, 2, 3 et ainsi de suite, une légende pour chaque figure, le code MATLAB et les fonctions de transfert proprement mis en forme.
Livrables : le projet LaTeX et le PDF final, environ 14 pages.
E1.pdfLivrable de Finley
CAO d’aérateurs
Consigne du client
Crée les modèles CAO 3D de deux aérateurs de toiture, avec leurs vues éclatées pour montrer comment les assembler. Les modèles doivent respecter les cotes ci-dessous.
Aérateur champignon : plaque de base de 18 pouces à 7 trous de boulons, plaque intermédiaire de 17 pouces à 3 trous, chapeau de 18 pouces de diamètre et 9 pouces de haut.
Éolienne de toiture, dite whirlybird : plaque de base de 18 pouces, plaque intermédiaire de 17,5 pouces, dôme de 16 pouces de diamètre et 9,5 pouces de haut, avec un mécanisme interne simplifié.
Livrables : les modèles et leurs vues éclatées en STEP, et des plans d’assemblage en PDF.
Whirlybird Ventilation Reference.pngLivrable de Finley
Chaque mission du benchmark est une vraie commande passée à un freelance sur Upwork. La consigne est celle du client, traduite de l’anglais et resserrée. Le livrable est celui que Finley a rendu, sans retouche.
Prêt à mettre Finley
sur ta première tâche ?
5 nouvelles agences
par mois.
«Je fais chaque diagnostic moi-même, pour être sûr qu’on peut t’apporter une vraie valeur. »
1M$+ signés en vente
Tu repars avec ta première tâche choisie, même si on ne bosse pas ensemble.
- Projection du ROI pour ta boîte
- Les outils sur lesquels Finley se branche
- Le planning de mise en place
Prêt à mettre Finley sur ta première tâche ?
5 nouvelles agences par mois.
Diagnostic de 15min, sans engagement.
Un Finley forgé pour ton agence.
Je fais chaque diagnostic
moi-même, pour être sûr
qu’on peut t’apporter
une vraie valeur.
Tu repars avec ta première tâche choisie, même si on ne bosse pas ensemble.