Les derniers outils d’IA, conçus pour être plus intelligents, font plus d’erreurs factuelles que les versions plus anciennes.
Comme le souligne le New York Times, les tests montrent des erreurs pouvant atteindre 79% dans les systèmes avancés de sociétés comme OpenAI.
Cela peut créer des problèmes pour les spécialistes du marketing qui comptent sur ces outils de contenu et de service client.
Augmentation des taux d’erreur dans les systèmes d’IA avancés
Les tests récents révèlent une tendance: les nouveaux systèmes d’IA sont moins précis que leurs prédécesseurs.
Le dernier système d’Openai, O3, s’est trompé 33% du temps pour répondre aux questions sur les gens. C’est deux fois le taux d’erreur de leur système précédent.
Son modèle O4-MinI a encore pire, avec un taux d’erreur de 48% sur le même test.
Pour les questions générales, les résultats (lien PDF) étaient:
- L’O3 d’Openai a fait des erreurs 51% du temps
- Le modèle O4-Mini avait tort 79% du temps
Des problèmes similaires apparaissent dans les systèmes de Google et Deepseek.
Amr Awadallah, PDG de Vectara et ancien cadre de Google, raconte au New York Times:
« Malgré nos meilleurs efforts, ils halluneront toujours. Cela ne disparaîtra jamais. »
Conséquences réelles pour les entreprises
Ce ne sont pas seulement des problèmes abstraits. Les vraies entreprises sont confrontées à un contrecoup lorsque l’IA donne de mauvaises informations.
Le mois dernier, le curseur (un outil pour les programmeurs) a fait face à des clients en colère lorsque ses utilisateurs de support AI de support ont pu utiliser les utilisateurs du logiciel sur plusieurs ordinateurs.
Ce n’était pas vrai. L’erreur a conduit à des comptes annulés et à des plaintes publiques.
Le PDG du curseur, Michael Truell, a dû intervenir:
«Nous n’avons pas une telle politique. Vous êtes bien sûr libre d’utiliser le curseur sur plusieurs machines.»
Pourquoi la fiabilité est en baisse
Pourquoi les nouveaux systèmes d’IA sont-ils moins précis? Selon un rapport du New York Times, la réponse réside dans la façon dont ils sont construits.
Des entreprises comme OpenAI ont utilisé la plupart du texte Internet disponible pour la formation. Maintenant, ils utilisent «l’apprentissage du renforcement», qui implique l’enseignement de l’IA par essais et erreurs. Cette approche aide aux mathématiques et au codage, mais semble nuire à la précision factuelle.
La chercheuse Laura Perez-Beltrachini a expliqué:
«La façon dont ces systèmes sont formés, ils commenceront à se concentrer sur une tâche – et commenceront à oublier les autres.»
Un autre problème est que les nouveaux modèles d’IA «pensent» étape par étape avant de répondre. Chaque étape crée une autre chance d’erreurs.
Ces résultats sont préoccupants pour les spécialistes du marketing utilisant l’IA pour le contenu, le service client et l’analyse des données.
Le contenu AI avec des erreurs factuels pourrait nuire à votre classement et à votre marque de recherche.
Pratik Verma, PDG d’Okahu, raconte au New York Times:
«Vous passez beaucoup de temps à essayer de déterminer quelles réponses sont factuelles et lesquelles ne pas faire face à ces erreurs correctement éliminent essentiellement la valeur des systèmes d’IA.»
Protéger vos opérations de marketing
Voici comment protéger votre marketing:
- Demandez aux humains de réviser tout le contenu d’IA destiné aux clients
- Créer des processus de vérification des faits pour les matériaux générés par l’IA
- Utilisez l’IA pour la structure et les idées plutôt que des faits
- Considérez les outils de l’IA qui citent des sources (appelée génération de la récupération)
- Créez des étapes claires à suivre lorsque vous repérez des informations sur l’IA douteuses
La route à venir
Les chercheurs travaillent sur ces problèmes de précision. Openai dit qu’il «travaille activement à réduire les taux d’hallucination plus élevés» dans ses nouveaux modèles.
Les équipes marketing ont besoin de leurs propres garanties tout en utilisant les avantages de l’IA. Les entreprises ayant des processus de vérification solides équilibreront mieux l’efficacité de l’IA avec le besoin de précision.
Trouver cet équilibre entre la vitesse et l’exactitude restera l’un des plus grands défis du marketing numérique alors que l’IA continue d’évoluer.
Image en vedette: Le kong/ Shutterstock
