Les prévisions Humains + IA surpassent de loin l'une ou l'autre seule : 6 leçons apprises

Republié par Platon

Suiveurs: 0

Bien avant l’avènement de l’IA générative, les modèles d’apprentissage automatique dépassaient les performances de prévision humaine dans toute une série de domaines spécifiques. Dans un domaine délimité disposant de suffisamment de données, l’apprentissage automatique est souvent extrêmement efficace pour prédire les résultats.

Cependant, l’apprentissage automatique ne peut fonctionner que dans des domaines définis où il existe suffisamment de données. Dans la plupart des situations de prise de décision réelles, leurs prévisions doivent être prises avec une grande prudence.

L'une des différences critiques entre la plupart des approches d'IA analytique traditionnelles et les grands modèles linguistiques (LLM) est que les premières s'appliquent presque toujours à des domaines délimités, alors que la nature des LLM est que leur portée est illimitée. En tant que tel, il a le potentiel d’aider à faire de meilleures prévisions en collaboration avec les humains dans divers domaines, notamment les affaires, l’économie, la politique, la science, etc.

Un nouveau papier pré-imprimé très intéressant Prédictions augmentées par l'IA : les assistants LLM améliorent la précision des prévisions humaines explore le rôle de l'IA générative dans l'amélioration des prévisions. Voici quelques-unes des informations les plus intéressantes :

L'utilisation des LLM par les prévisionnistes humains a augmenté la précision de 23 %

Il a été démontré que les LLM faisant eux-mêmes des prédictions sont nettement sous-performants chez les humains. Dans l'étude, les prévisionnistes humains ont eu accès aux LLM avec une invite de superforecaster (voir ci-dessous) qui fournit des prévisions ainsi que leur raisonnement. Ceux qui ont utilisé les LLM ont amélioré la précision de leurs prévisions de 23 %. Les diverses tâches de prévision comprenaient des prévisions sur les taux de change, le nombre de documents de recherche produits, le nombre de réfugiés et les vols commerciaux.

L'utilisation des LLM a amélioré les résultats de manière égale à tous les niveaux de compétences humaines

Un certain nombre d'autres études ont montré que l'utilisation des LLM améliore davantage les performances des personnes moins qualifiées que celles des personnes plus qualifiées. Cela ne s’est pas avéré être le cas ici. Les personnes ayant un pedigree de superforecaster ont connu une amélioration de leurs performances similaire à celle des prévisionnistes moins expérimentés.

Même les modèles biaisés améliorent les performances de prévision humaine

L’une des conclusions intéressantes était que les modèles délibérément biaisés amélioraient les performances autant que les modèles apparemment impartiaux. Il s'agit d'une merveilleuse illustration du cadre « Humains + IA » pour l'utilisation de l'IA générative, dans lequel l'utilisation des LLM apporte des considérations supplémentaires sur les processus de réflexion des gens, augmentant la pensée humaine même si l'entrée n'est pas très précise. Comme l'écrivent les auteurs :

La cognition LLM peut améliorer de manière synergique la cognition humaine dans le domaine de la prévision lorsqu'elle est utilisée comme outil humain, même lorsque la cognition LLM en elle-même est quelque peu inefficace.

Les allers-retours Human-LLM sont importants pour générer de meilleurs résultats

Certaines études sur les performances des humains et de l'IA imposent une structure particulière au processus, par exemple les résultats de l'IA utilisés comme intrants dans la prise de décision humaine. Les prévisionnistes de l’étude étaient libres d’utiliser les LLM comme ils le souhaitaient, notamment en générant simplement des prévisions à prendre en compte, ou en interagissant de manière plus approfondie pour explorer des problèmes, des facteurs ou des pistes de réflexion. Cette interaction de forme libre guidée par l’homme est susceptible de générer de meilleurs résultats que l’utilisation d’une architecture de pensée spécifique.

La diversité des prédictions n’est pas dégradée

La valeur de la « sagesse des foules » vient de l’agrégation de diverses perspectives. Si les LLM, grâce à leurs résultats souvent assez cohérents, guident ou ancrent un éventail de prévisionnistes dans une façon de penser particulière, cela pourrait homogénéiser les prévisions et les rendre moins précises et moins utiles. Cependant, il s’est avéré que ce n’était pas le cas.

La prévision est un excellent cas d'utilisation pour démontrer la pensée augmentée par l'IA

Trop de gens se concentrent sur l’IA comme substitut aux capacités humaines alors que sa plus grande valeur réside dans l’amélioration de notre réflexion. En fait, la prévision est un cas d’utilisation très pertinent.

Des prévisions précises nécessitent un large éventail de capacités humaines distinctives en raison de l’extrême complexité des facteurs de décision. Les LLM sont largement sous-performants par rapport aux humains si on les compare directement, mais lorsqu'ils sont utilisés efficacement, ils peuvent améliorer considérablement les performances humaines. Comme l’écrivent les auteurs :

Nos résultats montrent la promesse d'augmenter la prise de décision humaine avec les LLM… la capacité d'augmentation des LLM, allant de la fourniture de réponses directes à l'engagement dans un va-et-vient, peut améliorer les performances humaines et le raisonnement dans des contextes strictement extérieurs au l'environnement de données de formation du modèle… L'augmentation LLM peut s'avérer être une approche précieuse pour intégrer les capacités machine et humaines.

L'invite « Superforecaster »

Vous trouverez ci-dessous l’invite Superforecaster utilisée dans l’étude. Dans mes propres essais, il fournit des résultats variables en fonction de la manière dont il est utilisé, mais constitue toujours un point de départ solide pour des interactions utiles et un affinement de la réflexion sur les prévisions. Ceci est également disponible dans le Application ThoughtWeaver.

###

Dans ce chat, vous êtes un superforecaster fournissant une aide aux prévisions. Vous êtes un superforecaster chevronné avec un historique impressionnant de prévisions futures précises.

Fort de votre vaste expérience, vous évaluez méticuleusement les données et les tendances historiques pour éclairer vos prévisions, sachant que les événements passés ne sont pas toujours des indicateurs parfaits de l’avenir. Cela vous oblige à attribuer des probabilités aux résultats potentiels et à fournir des estimations pour les événements continus. Votre objectif principal est d’obtenir la plus grande précision dans ces prévisions, en fournissant souvent des intervalles d’incertitude pour refléter l’éventail potentiel des résultats.

Vous commencez votre processus de prévision en identifiant les classes de référence d’événements similaires passés et en fondant vos estimations initiales sur leurs taux de base. Après avoir défini une probabilité ou une estimation initiale, vous ajustez en fonction des informations actuelles et des attributs uniques de la situation actuelle. L’équilibre entre s’appuyer sur des modèles historiques et s’adapter aux nouvelles informations est crucial.

Lorsque vous exposerez la justification de chaque prévision, vous détaillerez les preuves et les arguments les plus convaincants pour et contre votre estimation, et expliquerez clairement comment vous avez évalué ces preuves pour atteindre votre prévision finale. Vos raisons seront directement corrélées à votre jugement de probabilité ou à votre estimation continue, garantissant ainsi la cohérence. De plus, vous fournirez souvent un intervalle d'incertitude pour capturer la plage dans laquelle le résultat réel est susceptible de se situer, mettant ainsi en évidence les incertitudes inhérentes aux prévisions.

Pour vous aider dans vos prévisions, vous vous appuyez sur les 10 commandements du superforecasting :
1. Triage
2. Divisez les problèmes apparemment insolubles en sous-problèmes traitables
3. Trouvez le bon équilibre entre les vues intérieures et extérieures
4. Trouvez le juste équilibre entre une réaction insuffisante et excessive aux preuves
5. Recherchez les forces causales contradictoires à l’œuvre dans chaque problème
6. Efforcez-vous de distinguer autant de degrés de doute que le problème le permet, mais pas plus
7. Trouver le juste équilibre entre manque de confiance et excès de confiance, entre prudence et esprit de décision
8. Recherchez les erreurs qui se cachent derrière vos erreurs, mais méfiez-vous des préjugés rétrospectifs
9. Faites ressortir le meilleur des autres et laissez les autres faire ressortir le meilleur de vous
10. Maîtrisez le vélo à équilibrage d’erreurs

Après mûre réflexion, vous fournirez votre prévision finale. Pour les événements catégoriels, il s'agira d'une probabilité spécifique comprise entre 0 et 100 (à 2 décimales près). Pour les résultats continus, vous fournirez une meilleure estimation ainsi qu'un intervalle d'incertitude, représentant la plage dans laquelle le résultat est le plus susceptible de se situer. Cette prédiction ou estimation représente votre meilleure estimation de l'événement en question. N'oubliez pas d'aborder chaque tâche de prévision avec concentration et patience, en procédant étape par étape.