Les machines pourraient un jour devenir conscientes, avec des conséquences catastrophiques. Pour le moment, elles n’en ont pas, et c’est aussi un problème car elles manquent de morale et de doute.

Les machines ne sont, pour l’instant, pas conscientes. Le débat fait rage chez les experts : est-il possible d’atteindre un jour la singularité, c’est-à-dire une forme de conscience chez les machines dotées des IA les plus avancées ? Il faudrait déjà s’entendre sur le concept de conscience et plus particulièrement sur le “problème difficile de la conscience” (“Hard problem of consciousness) tel que présenté par David Chalmers, philosophe de l’esprit.

La conscience, qu’est-ce que c’est ? Référons-nous au CNRTL : “Organisation du psychisme d’un individu qui, en lui permettant d’avoir connaissance de ses états, de ses actes et de leur valeur morale, lui permet de se sentir exister, d’être présent à lui-même.”

Le problème difficile de la conscience, quant à lui, désigne le problème de l’origine des qualia, c’est à dire du contenu subjectif de l’expérience d’un état mental, et divise les philosophes sur la question de savoir si l’esprit est séparé du corps (dualité corps-esprit) ou bien s’ils ne font qu’un (monisme). Je ne vais pas rentrer dans les détails de ces concepts, qui, bien que fascinants, seraient trop longs à expliquer. Si vous voulez en apprendre plus sur le sujet, je vous recommande l’excellent MOOC “Minds and Machines” du MIT. Celui-ci explique parfaitement bien les différents problèmes et courants de pensée philosophiques sur le sujet.

Sans cette compréhension claire du phénomène de la conscience, comment pourrons-nous détecter qu’une machine atteint une forme d’intelligence consciente ?

Cette question est légitime car de nombreux experts estiment que des systèmes basés sur l’IA pourraient probablement atteindre les capacités humaines d’ici 2040–2050, et très certainement d’ici 2075. (Source : Future Progress in Artificial Intelligence: A Survey of Expert Opinion)

Cela soulève de nombreuses inquiétudes, en particulier la fameuse “singularité”. David Chalmers l’explique dans son papier “The Singularity: A Philosophical Analysis” : “Que se passera-t-il quand les machines deviendront plus intelligentes que les êtres humains ? Il y a une possibilité pour que cet évènement soit suivi d’une explosion de plus grands niveaux d’intelligence, puisque chaque génération de machine créera des machines plus intelligentes à leur tour. Cette explosion d’intelligence est maintenant souvent nommée la “singularité”.”

Cette singularité est souvent associée avec une fin du monde, comme plusieurs experts le craignent, tels que Elon Musk, Stephen Hawking, Nick Bostrom.

Heureusement, d’autres experts sont plus sceptiques quant à cette prédiction et doutent fortement qu’elle puisse se réaliser un jour.

Pour l’heure, les IA ne sont pas conscientes, et ironiquement, cela fait partie des raisons pour lesquelles on ne peut pas totalement leur faire confiance, un problème qui pour le coup est d’actualité.

Comme le dit Daniel Dennett, un autre fameux philosophe de l’esprit, dans son ouvrage “ From Bacteria to Bach and Back: The Evolution of Minds “ : “Le réel danger, je pense, n’est pas que les machines plus intelligentes que nous usurperont notre rôle comme capitaines de nos destins, mais que nous allons surestimer notre compréhension des derniers outils, leur cédant prématurément notre autorité, bien au-delà de leurs réelles compétences.”

Les IA sont déjà omniprésentes dans nos quotidiens, et force est de constater que nous leur faisons trop confiance, non sans conséquences :

• Nous faisons trop confiance aux GPS ce qui mènent à des accidents (voir le papier “The Role of Trust and Interaction in GPS Related Accidents: A Human Factors Safety Assessment of the Global Positioning System (GPS)”
• L’algorithme de Youtube nous recommande des vidéos qui peuvent être de plus en plus clivantes et désinformantes. Lê de Science4All a fait plusieurs vidéos sur le sujet et en parle également dans son excellent ouvrage “Le fabuleux chantier”.
• Predpol, outil de prévision des crimes utilisé aux Etats-Unis exclue une partie de la population à l’offre de sécurité publique (lire l’article “A qui profite le crime?” du chercheur Bilel Benbouzid)
• COMPAS, algorithme prédictif de récidive d’un criminel utilisé par les tribunaux américains discrimine les personnes racisées (lire l’enquête réalisée par ProPublica)
• Les algorithmes utilisés par la santé peuvent aussi être biaisés (cf “Dissecting racial bias in an algorithm used to manage the health of populations” qui présente les discriminations envers les personnes de couleurs).

Malheureusement, les machines n’étant pas conscientes, elles sont également dépourvues de valeurs morales. Selon la philosophe Carissa Véliz, avoir des capacités morales est dépendant du fait d’être sentient (capacité d’éprouver des choses subjectivement, d’avoir des expériences vécues). Les algorithmes étant dépourvus de sentience ne peuvent par conséquent ni être autonomes, ni tenus pour responsables de quoi que ce soit : “ils leur manquent la compréhension morale nécessaire pour être responsables moralement. Pour comprendre ce que cela signifie d’infliger de la douleur à quelqu’un, il est nécessaire de connaitre et d’avoir expérimenté de la douleur. Au mieux, pour un algorithme qui ne ressent rien, les “valeurs” seront des items dans une liste, potentiellement priorisée selon des poids. Mais des entités qui ne peuvent pas ressentir ne peuvent pas évaluer moralement, et des choses qui ne peuvent pas évaluer moralement ne peuvent pas agir de façon morale.”

Selon Stephen Fleming, un neuroscientifique, ce qui manque aux machines c’est le doute : les machines “ne savent pas ce qu’elles ne savent pas, une capacité que les psychologues appellent la métacognition. La métacognition est la capacité de penser à propos de ses propres pensées — de reconnaitre quand on peut se tromper, par exemple, ou quand il serait préférable de chercher une seconde opinion”.

Les chercheurs en Intelligence Artificielle savent depuis un moment que les machines ont tendance à être beaucoup trop confiantes dans leurs résultats. Par exemple, lorsqu’elles font face à quelque chose d’inédit, elles vont prédire un résultat complètement erroné avec un haut niveau de confiance, plutôt que d’admettre leurs limites.

Des chercheurs proposent d’intégrer une capacité introspective aux robots : leur permettre d’identifier leur probabilité d’être justes avant de prendre une décision, plutôt qu’après, en évaluant le niveau de confiance, notamment en réalisant qu’une situation n’avait jamais été vue précédemment. Simuler la métacognition et le doute dans les machines permettraient d’améliorer la confiance que nous pouvons leur porter.

Cette approche est celle également adoptée par des chercheurs du MIT qui ont développé une technique permettant à un réseau de neurones de donner une prédiction accompagnée d’un niveau de confiance. “Le niveau de confiance donné par le réseau de neurones peut être la différence entre un véhicule autonome déterminant que ‘tout est ok pour traverser cette intersection’ et ‘c’est probablement ok, mais arrêtons-nous quand même au cas où’.”

Le fait que les IA ne soient pas conscientes, et donc non dotées de valeurs morales ni de doutes, est un problème à l’heure actuelle. Mais le fait que les machines pourraient acquérir une forme de conscience serait un grave problème également, et que nous ne saurions pas forcément détecter. Dans les deux cas, les travaux sur l’éthique et les IA sont essentiels et on ne peut que s’alarmer du fait que Google ait récemment viré la responsable de leur département Ethique… Heureusement, la Commission Européenne a commencé à se saisir de ces sujets, et une proposition de règlements a été déposée le 21 avril 2021, même s’il reste encore beaucoup à faire.

Sources :

• https://www.edx.org/course/minds-and-machines
• https://interestingengineering.com/will-ai-ever-be-conscious
• https://www.nickbostrom.com/papers/survey.pdf
• https://philosophybreak.com/articles/what-happens-when-machines-become-smarter-than-people/
• http://www.dcs.gla.ac.uk/~johnson/papers/GPS/Johnson_Shea_Holloway_GPS.pdf
• L’éthique des algorithmes et de l’information
• https://laviedesidees.fr/A-qui-profite-le-crime.html
• https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
• https://science.sciencemag.org/content/366/6464/447
• https://link.springer.com/content/pdf/10.1007/s00146-021-01189-x.pdf
• https://www.ft.com/content/1ff66eb9-166f-4082-958f-debe84e92e9e?segmentid=acee4131-99c2-09d3-a635-873e61754ec6
• https://openaccess.thecvf.com/content_CVPR_2019/papers/Hein_Why_ReLU_Networks_Yield_High-Confidence_Predictions_Far_Away_From_the_CVPR_2019_paper.pdf
• https://journals.sagepub.com/doi/abs/10.1177/0278364915587924
• https://news.mit.edu/2020/neural-network-uncertainty-1120
• https://lestempselectriques.net/index.php/2021/04/22/proposition-de-reglement-de-lia-de-la-commission-europeenne-entre-le-trop-et-le-trop-peu/