Prestataire IA labellise : ce que le label garantit, et ce qu'il ne garantit pas

Selon Sud Ouest, un groupe d'experts en intelligence artificielle a ete labellise dans le cadre de Pays basque digital. Nous ne disposons que du titre de cette depeche et nous ne decrirons donc ni le referentiel de ce label, ni les entreprises concernees, ni les criteres retenus. Ces elements doivent etre verifies aupres de l'organisme qui delivre le label. Ce qui merite en revanche d'etre examine, c'est la maniere dont un dirigeant doit interpreter ce type de signal.

Un label remplit une fonction reelle et utile : il reduit le cout de recherche. Face a un marche ou tout prestataire peut se declarer specialiste de l'intelligence artificielle sans qu'aucune qualification ne soit exigee, disposer d'une liste d'acteurs ayant passe un filtre fait gagner du temps. C'est un point de depart pour construire une liste courte de candidats. C'est aussi, generalement, une garantie que la structure existe vraiment et exerce reellement l'activite annoncee.

Ses limites sont tout aussi reelles. Un label evalue une organisation a un instant donne, sur des criteres generiques, alors que votre projet est specifique. Il ne dit rien de la disponibilite reelle des experts sur votre creneau, ni de leur experience dans votre secteur, ni de la qualite de la relation de travail. Il ne garantit pas non plus l'actualite des competences, ce qui compte particulierement dans un domaine dont les outils evoluent en quelques mois. Avant de vous appuyer sur un label, demandez qui le delivre, sur quels criteres, et a quelle frequence il est reexamine.

Passons aux questions a poser au-dela du label. La premiere concerne les donnees. Ou seront hebergees les donnees que vous confiez ? Quels sous-traitants interviennent dans la chaine, y compris les fournisseurs de modeles ? Vos donnees peuvent-elles etre utilisees pour entrainer ou ameliorer des modeles tiers, et si oui, cette utilisation peut-elle etre desactivee ? Un prestataire competent repond precisement a ces trois questions ; un prestataire qui repond de facon vague sur l'hebergement n'a probablement pas lu les conditions de ses propres fournisseurs.

La deuxieme question porte sur la mesure du resultat. Un projet d'intelligence artificielle doit etre evalue sur un indicateur defini avant le demarrage : taux d'erreur acceptable, temps de traitement, taux de reponses jugees satisfaisantes par un evaluateur humain. Exigez que cet indicateur figure dans la proposition, avec la methode de mesure et le seuil en dessous duquel le livrable est considere comme non conforme. Sans cela, la recette d'un projet d'IA se resume a une impression subjective, et vous n'avez aucun levier.

La troisieme question concerne la dependance technologique. Sur quel modele et quel fournisseur la solution repose-t-elle ? Que se passe-t-il si ce fournisseur change ses tarifs, modifie ses conditions ou interrompt le service ? Une architecture bien concue isole la dependance au modele derriere une couche qui permet d'en changer sans tout reecrire. Demandez explicitement si c'est le cas, et faites preciser le cout estime d'un changement de fournisseur.

La quatrieme question est celle du cout d'exploitation. Contrairement a un site web, une solution d'intelligence artificielle genere des couts recurrents proportionnels a l'usage. Demandez une estimation du cout mensuel pour un volume donne, avec l'hypothese de volume retenue, et le comportement du cout si ce volume double. Beaucoup de projets deviennent economiquement discutables non pas au moment du developpement, mais six mois apres, quand la facture d'usage devient visible.

Terminez par la supervision humaine. Pour tout usage qui touche a une decision affectant une personne, un client, un candidat, un salarie, definissez qui verifie, selon quelle procedure, et comment une erreur est signalee et corrigee. Cette exigence n'est pas seulement reglementaire ou ethique : elle est operationnelle. Une solution sans point de controle humain identifie est une solution dont personne ne detectera la derive avant qu'un client ne s'en plaigne.