IA-nxiété générative : gestion des risques en entreprise

D’abord, une mise au point en débutant. Cet article est une traduction commentée (en italique) d’un article originalement publié dans le « Harvard Business Review » sous la plume de Reid Blackman, l’auteur de Ethical Machines (Harvard Business Review Press, 2022), intitulé « Generative AI-nxiety »

Je n’ai pas pu résister à l’envie de le partager et au passage d’en souligner les points cruciaux qui font écho à ma propre réflexion dans mon dernier livre : Souveraineté numérique! Aux frontières du réel et du virtuel! Quoique mon livre ait visé une audience plus élargie sans exclure les dirigeants d’entreprise, il n’a pas visé à soutenir les dirigeants de façon tangible dans leur réflexion face à l’intégration de l’IA dans leurs processus d’affaires. Cette réflexion traduite ici comble cette lacune et interpelle les comités de direction à une prudence face aux décisions relatives à l’IA.

Traduction commentée

Les dirigeants de tous les secteurs sont confrontés à la pression de leurs conseils d’administration et de leurs PDG pour déterminer où une solution d’IA générative peut être mise en œuvre. La logique est familière : d’un côté, il y a l’enthousiasme à l’idée de capitaliser sur de nouvelles opportunités, et de l’autre, la peur de prendre du retard sur la concurrence. Mais au milieu de cette volonté d’innover, il y a aussi une anxiété bien fondée. Samsung a interdit l’utilisation de ChatGPT après que des employés ont chargé des données sensibles de l’entreprise sur la plateforme qui ont ensuite été divulguées. La tendance bien documentée de l’IA à générer des résultats discriminatoires s’applique également à l’IA générative. Pendant ce temps, les entreprises d’IA générative font face à des poursuites : StableDiffusion, qui génère des images, fait face à un procès de Getty Images , tandis que Microsoft, GitHub et OpenAI font face à un recours collectif .

Ce n’est que le début puisque que les IA conversationnels telles que ChatGPT ne sont en fait que des logiciels de plagiat. Ils recomposent des créations en copiant et en collant ce qu’elles trouvent dans les contenus sur le Web.

Les personnes et les entreprises responsables de cette technologie tirent également la sonnette d’alarme, depuis divers « parrains de l’IA » comme Geoffrey Hinton et Yoshua Bengio jusqu’à Sam Altman, PDG d’OpenAI. Les humains, affirment-ils, pourraient être confrontés à l’extinction – ou du moins à la domination de leurs suzerains robots – dans un avenir proche . D’autres voix mettent en garde contre la facilité de créer des campagnes de désinformation de haute qualité à la veille d’une élection présidentielle américaine, tandis que d’autres encore mettent en garde contre la catastrophe économique potentielle provoquée par le remplacement des travailleurs humains par l’IA.

J’aborde tous ces enjeux et nous aurions tort de les minimiser. D’abord parce que le seul fait que nous ayons raison est une perspective suffisante pour investir l’énergie pour que nous ayons tort à terme.

Au cours des derniers mois où j’ai conseillé des entreprises clientes, j’ai constaté que les dirigeants d’entreprise, tant du côté technologique que non technologique, ne savaient pas à quoi ils devraient prêter attention. La cacophonie des alarmes les a laissés désorientés et inquiets, d’autant plus que l’IA générative est accessible à tous au sein de leur organisation, et pas seulement aux data scientists. Comme l’a fait remarquer un client, expliquant pourquoi il a besoin d’un programme de gestion des risques éthiques en matière d’IA : « Ce n’est pas que le feu soit déjà allumé. C’est que tout le monde dans notre organisation tient un lance-flammes. »

J’ai adoré cette dernière analogie. Nous avons mis un bouton de bombe d’armement numérique dans les mains de n’importe qui. Rien de moins.

De quels risques devez-vous vraiment vous inquiéter ?

Bien que l’IA générative présente de nombreux risques éthiques réels, ces risques ne s’appliquent pas à toutes les entreprises.

Premièrement, même si nous admettons, pour les besoins de l’argumentation, que l’effet cumulatif de l’IA sur l’économie entraîne un chômage massif, cela ne signifie pas pour autant qu’une entreprise particulière ait l’obligation d’y mettre un terme. Après tout, selon une vision standard des responsabilités des entreprises, elles n’ont pas l’obligation d’embaucher ou de retenir leurs employés. Il peut être éthiquement bon de garder les gens au travail alors qu’ils pourraient être remplacés par une IA plus efficace et/ou moins coûteuse – et dans certains cas, j’encouragerais les entreprises à faire exactement cela – mais cela n’est généralement pas considéré comme une exigence éthique.

Dans mes recommandations, je pense que nous devons nous pencher sur les responsabilités des entreprises face au potentiel de chômage massif. Par exemple, d’assumer un frais de formation aux employés congédiés au profit d’une IA afin de les rendre employables ailleurs.

Deuxièmement, la menace de propagation de fausses informations (électorales) est sans doute l’un des plus grands risques auxquels les démocraties modernes sont confrontées – il se classe certainement parmi mes trois premiers – mais la plupart des entreprises n’ont pas pour mission d’aider les individus ou les entreprises à diffuser des informations. Il est peu probable que ce risque concerne votre organisation, sauf s’il s’agit d’une entreprise de médias sociaux.

Dans les communautés, les entreprises ont des rôles sociaux importants. Elles s’impliquent dans les campagnes électorales depuis toujours. Nous aurions tort de sous-estimer ce risque. Un scandale est si vite arrivé. La lutte à la désinformation sur le plan démocratique est l’affaire de tous.

Troisièmement, même si nous admettons que l’IA présente un risque existentiel pour la race humaine dans un avenir proche, votre organisation ne peut probablement pas y faire grand-chose. Si vous pouvez faire quelque chose à ce sujet, alors n’hésitez pas à le faire.

Encore une fois, c’est mal comprendre la spirale descendante qui mènera à ce scénario catastrophe éventuel. Les premiers chapitres débuteront pas un chômage massif créé par la mise à pied d’humains au profit de l’IA par les ENTREPRISES. Le chaos économique et social commencera comme ça. Des entreprises sans consommateurs avec du pouvoir d’achat, ça ne va pas très loin. Il est donc impératif de comprendre que les choix d’affaires seront au coeur de la suite des événements.

Maintenant que nous avons mis de côté ces risques éthiques, tournons-nous vers ceux auxquels la plupart des entreprises doivent faire face.

La première chose que les entreprises doivent faire est de se demander :

1. Quels risques éthiques, réputationnels, réglementaires et juridiques l’IA générative partage-t-elle avec l’IA non générative ?
2. Quels risques éthiques, réputationnels, réglementaires et juridiques sont spécifiques ou exacerbés par l’IA générative par rapport à l’IA non générative ?

Quant à la première question, l’IA non générative peut facilement créer des résultats biaisés ou discriminatoires . Il peut également produire des résultats d’une manière qui ne peut être expliquée , ce qu’on appelle le problème de la boîte noire (ou les hallucinations). Et l’IA non générative peut être formée sur ou créer des données qui violent la vie privée d’autrui. Enfin, de nombreux risques éthiques liés à l’IA non générative sont spécifiques à chaque cas d’utilisation. En effet, les types de risques éthiques auxquels une organisation est confrontée dépendent des différents contextes dans lesquels l’IA non générative est déployée.

L’IA générative partage tous ces risques éthiques avec l’IA non générative. Les générateurs d’images et de texte ont démontré des biais dans leurs résultats . En ce qui concerne le problème de la boîte noire, les data scientists eux-mêmes ne peuvent pas expliquer pourquoi les résultats sont devenus si bons. Et comme ces modèles sont formés à partir de données extraites d’Internet, ces données incluent à la fois des données sur les individus et des données qui constituent la propriété intellectuelle des personnes ou des organisations.

Enfin, comme pour l’IA non générative, les risques éthiques de l’IA générative sont également spécifiques à chaque cas d’utilisation. Mais il y a une différence. L’IA générative est une IA à usage général. Cela signifie qu’elle peut être utilisée dans d’innombrables cas d’utilisation dans tous les secteurs. De plus, les organisations comptent désormais des milliers (voire des dizaines ou des centaines de milliers) d’employés qui ont accès à ces nouveaux outils. Les organisations doivent non seulement prendre en compte les risques éthiques spécifiques aux cas d’utilisation de l’IA conçue par les data scientists et les ingénieurs, mais également les innombrables contextes dans lesquels leurs employés peuvent utiliser une IA.

Cela nous amène à notre deuxième question : quels risques éthiques, réputationnels, réglementaires et juridiques sont spécifiques ou exacerbés par l’IA générative par rapport à l’IA non générative ?

Les risques éthiques de l’IA générative

Il existe au moins quatre risques intersectoriels que les organisations doivent maîtriser : le problème des hallucinations, le problème de la délibération, le problème des vendeurs louches et le problème de la responsabilité partagée. Comprendre ces risques en détail peut aider les entreprises à planifier la manière dont elles souhaitent y faire face.

Le problème des hallucinations

Un risque important lié aux LLM comme ChatGPT d’OpenAI, Bing de Microsoft et Bard de Google est qu’ils génèrent de fausses informations . Les exemples montrant à quel point cela est risqué ne manquent pas. Pensez aux médecins utilisant un LLM pour diagnostiquer leurs patients, aux consommateurs utilisant un LLM pour demander des conseils financiers ou relationnels, ou aux consommateurs demandant des informations sur un produit, pour ne citer que quelques-uns des innombrables contextes dans lesquels un LLM peut être déployé.

Il y a quelques aspects importants du problème des hallucinations qui doivent être soulignés.

Premièrement, la vérification de la véracité des affirmations d’un LLM ne peut pas être automatisée. Il n’existe aucun logiciel capable d’exécuter un programme permettant de vérifier les affirmations par rapport à la réalité. La vérification de la véracité/fausse d’une affirmation doit être effectuée manuellement.

Deuxièmement, les gens ont tendance à faire confiance aux résultats des logiciels. En fait, cette tendance est si bien établie qu’elle porte un nom : « biais d’automatisation ». Ainsi, la vérification manuelle qui doit être effectuée doit avoir lieu contre la force compensatrice des biais d’automatisation. Le problème est exacerbé par le ton d’autorité que manifestent souvent les LLM. Les LLM ne se trompent pas seulement trop souvent, mais aussi trop souvent avec assurance.

Troisièmement, et c’est connexe, les gens sont paresseux et veulent des réponses rapides – ce qui est l’une des raisons de se tourner vers un LLM en premier lieu – et la vérification manuelle de la véracité des résultats peut demander beaucoup d’efforts et se déroule lentement.

Quatrièmement, comme le souligne l’analogie avec le lance-flammes ci-dessus, il s’agit d’un outil auquel littéralement tout le monde dans votre organisation a accès.

Cinquièmement et enfin, beaucoup de gens ne savent pas que les LLM adoptent avec confiance de fausses affirmations, ce qui les rend particulièrement vulnérables à une dépendance excessive à l’égard de l’outil.

La propension naturelle de l’humain est d’en faire le moins possible. Avec l’IA générative, le phénomène va aller en dégradant le jugement. Il est facile de se remettre en question ou en doute lorsque nous obtenons une réponse d’une intelligence que l’on croit supérieure. ChatGPT l’a dit, ça doit être vrai.

Dans ce contexte, il est important de souligner que le simple fait de dire aux employés que les LLM peuvent produire de fausses informations ne suffit pas pour les empêcher de s’y fier automatiquement. La connaissance est une chose ; l’action en est une autre. Il sera probablement courant de rationaliser que « ce résultat est probablement correct » compte tenu des biais d’automatisation, de la paresse et du besoin de rapidité. Des processus de diligence raisonnable, le respect de ces processus et une surveillance de l’utilisation sont nécessaires pour lutter contre ces ennemis, tout comme l’implication d’autres personnes susceptibles de corriger les lacunes trop humaines de quelqu’un d’autre.

Le problème de la délibération

Les LLM semblent avoir le pouvoir de délibérer – de présenter un raisonnement cohérent qui ressemble à de la pensée – mais en réalité, ils génèrent une pâle imitation et qui peut être dangereuse. Supposons qu’un conseiller financier ne sache pas quoi recommander et consulte donc un LLM pour obtenir des conseils. Le LLM peut recommander une certaine stratégie d’investissement, accompagnée du prétendu raisonnement derrière le conseil. Mais ne vous y trompez pas : même s’il semble qu’un LLM fournisse une explication derrière son résultat, il ne fait en réalité que générer une raison qui semble plausible, basée sur un processus de prédiction des mots qui vont ensemble.

Ce point est un peu subtil, alors prenons le temps d’expliquer.

Les LLM ont pour mission de trouver le prochain ensemble de mots qui est le plus cohérent possible avec les mots qui l’ont précédé. Ses résultats doivent avoir un sens pour l’utilisateur. Ce qui est si surprenant avec les LLM récents comme GPT-4, c’est qu’ils peuvent avoir un sens sans savoir ce qu’ils disent . Un LLM ne comprend pas ses résultats. Il ne saisit pas le sens des mots. C’est un prédicteur de mots suivants étonnamment réussi (bien que loin d’être parfait).

Cela signifie que lorsque vous demandez à un LLM une explication sur les raisons pour lesquelles il a recommandé X, il ne vous donne pas réellement d’explication sur les raisons pour lesquelles il a recommandé X . Il prédit que les prochains mots qu’il « pense » sont cohérents avec la conversation qui a eu lieu jusqu’à présent. Il n’explique pas les raisons pour lesquelles il a recommandé X car il ne fournit pas de résultats pour les raisons. Il ne délibère ni ne décide. Il prédit simplement la probabilité du mot suivant. Il ne peut donc pas vous donner les raisons pour lesquelles il a recommandé X car sa sortie est basée sur des probabilités et non sur des raisons. Au lieu de cela, il fabrique des raisons qui, pour l’utilisateur sans méfiance, ressemblent véritablement aux raisons derrière les résultats.

En fait, il s’agit de comprendre que l’IA générative fonctionne selon la logique du prolongement lexical selon les principes de la sémantique distributionnelle. Ainsi, si vous demandez : est-ce que l’oeuf de la vache est plus gros qu’un oeuf de poule? Il dira oui.

Cela génère au moins deux problèmes.

Premièrement, il est facile de se laisser berner par cela.

Supposons, par exemple, qu’un utilisateur surmonte ses préjugés en matière d’automatisation, sa paresse et son besoin de rapidité et commence à sonder le LLM pour justifier sa réponse. Vraisemblablement, l’utilisateur a consulté le LLM en premier lieu parce qu’il n’était pas sûr de la réponse à une situation complexe. Désormais, le LLM explique patiemment et avec autorité à l’utilisateur la justification (prétendue) de sa recommandation. Il est désormais assez facile pour l’utilisateur de s’en remettre au LLM délibératif et apparemment faisant autorité. Et maintenant, nous sommes revenus là où nous étions avant leurs efforts pour surmonter leurs préjugés, leur paresse et leur besoin de rapidité.

Deuxièmement, il est parfois important qu’une personne délibère.

S’il existe certains scénarios dans lesquels la performance est tout ce qui compte, il y en a d’autres dans lesquels il est important pour nous – ou du moins pour certains d’entre nous – qu’il y ait une personne à l’autre bout du fil qui délibère sur la manière de nous traiter correctement. Dans un contexte de justice pénale, par exemple, vous pourriez vous soucier non seulement que le juge obtienne la bonne réponse, mais également qu’il délibère. Sa réflexion sur vous et votre cas fait partie de ce que signifie être respecté par le juge. Transférer cette décision sur un ordinateur est sans doute répréhensible sur le plan éthique.

Déjà le logiciel Compas se substitut aux juges dans plusieurs états américains pour déterminer les peines d’emprisonnement. Cette délégation est non seulement injuste pour les personnes marginaliseés à cause des stéréotypes programmés, mais les décisions sont sans appel tel que statué par la cour Suprême des É-U dans une cause Loomis vs Wisconsin..

De la même manière, nous voulons de bons conseils financiers, mais nous voulons aussi savoir que nous obtenons ces conseils de quelqu’un qui délibère activement sur ce qui est le mieux pour nous. Il y a un élément humain dans les relations – en particulier dans les situations à enjeux élevés – dont nous ne voulons sans doute pas nous débarrasser. Plus précisément, même si vous, le lecteur, ne ressentez pas cela, il est probable que certains clients de votre organisation ressentent également cela. Dans ce cas, par respect pour leur volonté de maintenir cet élément humain, il est nécessaire de ne pas remplacer les personnes délibérantes par des logiciels faux-délibératifs.

Comme pour le problème des hallucinations, les remèdes au problème de la délibération sont les processus de diligence raisonnable, la surveillance et l’intervention humaine.

Le problème du vendeur véreux

La meilleure méthode pour vendre quelque chose à quelqu’un est peut-être de lui parler. Dans certains cas, les vendeurs vendent alors qu’ils sont en pleine ascension. Dans d’autres, il y a le vendeur véreux ou astucieux qui excelle à pousser les boutons émotionnels des gens pour les amener à acheter des choses dont ils ne veulent pas vraiment. En fait, lors d’un emploi d’été dans une entreprise de location de voitures, on m’a appris — et à l’époque, je l’ai fièrement exécuté — une tactique pour inciter les gens à souscrire une assurance automobile (désolé — « couverture » ; nous n’avions pas le droit de dire «assurance») en déclenchant la peur du locataire quant à ce qui pourrait mal tourner dans une voiture. De même, dans la conception de sites Web, il existe des méthodes permettant de manipuler les utilisateurs, entre autres choses, pour qu’ils renoncent à leur tentative d’annulation de leur compte ; c’est ce qu’on appelle des « motifs trompeurs ».

Supposons maintenant que certaines personnes de votre organisation – motivées par le cocktail familier d’incitations financières et de pression pour atteindre certains chiffres – développent un chatbot de vente LLM très efficace pour manipuler les gens. Il a « lu » tous les livres sur la façon d’appuyer sur les boutons des gens et tous les livres sur la négociation et a reçu pour instruction de converser avec les consommateurs d’une manière qui soit à la mesure de ce qu’il a appris.

C’est une excellente recette pour miner la fiabilité de votre organisation. Lorsque les consommateurs sont systématiquement trompés à grande échelle par votre chatbot LLM destiné aux consommateurs, vous perdrez suffisamment de confiance pour justifier de dépenser plus d’argent que ce que vous avez gagné grâce à la supercherie visant à regagner cette confiance. (Sans oublier qu’il est tout simplement éthiquement grossier de tromper systématiquement les gens pour qu’ils achètent vos produits.)

Cet enjeu existe depuis la naissance du Web. J’ai nommé le remède : la Présence. Faire des affaires exigent de l’authenticité et de la transparence. Utiliser l’IA pour déjouer la confiance des consommateurs devrait être passible de crime.

Le problème de la responsabilité partagée

Pour la plupart, les modèles d’IA génératifs, également appelés « modèles de base », sont construits par une poignée d’entreprises. Si votre organisation s’approvisionne en IA générative auprès de l’une de ces sociétés, elle va probablement « peaufiner » ce modèle. Vos data scientists et ingénieurs internes sont là pour effectuer ce travail. Mais si quelque chose ne va pas d’un point de vue éthique lors du déploiement de votre IA générative affinée, la question se pose : qui est responsable ?

La réponse à cette question est compliquée. Premièrement, les modèles de fondation sont souvent des boîtes noires. Cela signifie que nous – y compris les data scientists – ne pouvons pas expliquer comment l’IA arrive à ses résultats compte tenu des entrées. Deuxièmement, de nombreuses entreprises qui construisent les modèles de base ne sont pas particulièrement transparentes quant aux décisions prises tout au long des cycles de vie de conception, de construction et de validation de l’IA. Par exemple, ils ne peuvent pas partager les données qu’ils ont utilisées pour entraîner l’IA. Votre organisation est donc confrontée à la question : disposons-nous de suffisamment d’informations auprès du fournisseur qui a construit le modèle de base pour que nous puissions faire preuve d’une diligence raisonnable éthique, de réputation, réglementaire et juridique suffisante pendant que nous affinons et déployons le modèle ?

Permettez-moi de le dire différemment. Supposons que votre organisation déploie un modèle d’IA générative et que les choses tournent mal sur le plan éthique. Si votre organisation disposait de suffisamment d’informations auprès du fournisseur du modèle de base pour pouvoirSi vous avez effectué des tests qui auraient détecté le problème mais que vous n’avez pas effectué ces tests, alors (toutes choses égales par ailleurs) la responsabilité incombe à votre organisation. D’un autre côté, si votre organisation ne disposait pas de suffisamment d’informations pour ne pas pouvoir faire preuve de diligence raisonnable de manière efficace, la responsabilité incombe à la fois au fournisseur et à votre organisation. Cela dépend du fournisseur, car il aurait dû vous fournir les informations dont votre organisation avait besoin pour faire preuve de diligence raisonnable. Cela dépend de votre organisation, car soit vos équipes n’ont pas réalisé qu’elles ne disposaient pas de suffisamment d’informations, soit elles le savaient et ont quand même décidé d’aller de l’avant.

Cela nous montre à quel point une analyse de faisabilité est importante lors de la recherche puis de la mise au point d’un modèle d’IA générative. Une partie de cette analyse doit inclure si l’équipe de votre organisation peut évaluer ce dont elle a besoin pour faire preuve de diligence raisonnable, si elle obtiendra ces informations du fournisseur et quels sont les critères de référence pour « suffisamment sûr pour le déploiement ».

Gérer ce risque

À la lumière de ces problèmes, certaines entreprises ont décidé d’interdire l’utilisation de l’IA générative dans leur organisation. Ce n’est pas judicieux. En fait, c’est un peu comme dire aux adolescents d’être abstinents et ensuite refuser de leur offrir une éducation sexuelle sans risque ; de mauvaises choses vont arriver. C’est l’une des raisons pour lesquelles la formation à l’échelle de l’entreprise sur l’utilisation sûre de l’IA générative – y compris des processus faciles et clairement articulés leur permettant de poser des questions aux experts en la matière et aux autorités appropriées au sein de votre organisation – doit être prioritaire d’une manière qui ne l’était pas avant l’IA générative.

Cela dit, les risques éthiques de l’IA générative ne sont pas si nouveaux qu’ils défient les approches existantes de conception et de mise en œuvre d’un programme de risques éthiques en matière d’IA. Les quatre problèmes évoqués ci-dessus soulignent la nécessité de se concentrer davantage sur ces types de risques, mais les stratégies de base pour y faire face sont indissociables des stratégies qui s’appliquent à l’IA non générative, y compris, entre autres, un processus de diligence raisonnable en matière de risques éthiques. qui se produit à chaque étape du cycle de vie de l’IA, un comité des risques éthiques de l’IA, l’apprentissage et le développement des risques éthiques de l’IA dans toute l’entreprise, ainsi que des mesures et des KPI pour mesurer le déploiement, la conformité et l’impact de votre programme de risques éthiques de l’ IA .

Ma conclusion

Cet article est excellent pour amorcer les réflexions nécessaires à tous projets d’IA au sein des comités de direction. Personnellement, je me permets de mettre en garde les entreprises contre leurs propres tendances à balayer sous le tapis certains risques. Nous avons la loi 25 qui entre dans sa 2e phase au Québec et la plupart ne sont pas conformes. Les ressources exigéees dépassent la capacité des petites entreprises. Les questions soulevées ici s’ajoutent à un volet préventif et non légal, ce qui viendra tôt ou tard. Vaut mieux s’autoréguler d’ici là.