3 questions à … Flavien Chervet

[Propos recueillis à l’oral et transcription réalisée par IA puis mise en forme]

1. Hyperarme est votre troisième livre d’une trilogie après Hypercréation et Hyperprompt. Vous évoquez le concept d’alignement dans l’atteinte d’un objectif grâce à l’IA. Pourriez-vous l’expliquer et donner un ou deux exemples pour l’illustrer ?

Le concept d’alignement en intelligence artificielle est l’idée qu’un système d’IA reste cohérent avec les intentions de ses concepteurs. Donc pour des systèmes qui ont très peu d’autonomie, comme les versions actuelles de ChatGPT, ça veut simplement dire faire en sorte que le système d’IA réponde correctement à l’utilisateur. Par exemple, ne commence pas à l’insulter, à avoir des propos racistes, ou ne donne pas la recette pour fabriquer une bombe à celui qui lui demande. Il existe des solutions, pas parfaitement robustes, mais qui fonctionnent à peu près pour le faire. Le problème arrive quand on a des systèmes qui gagnent en autonomie, qui sont capables, comme on en a de plus en plus, d’avoir des chaînes de raisonnement pendant lesquelles ils déploient une pensée numérique, on va dire beaucoup plus complexe, et quand surtout ils sont capables de prendre des décisions et de prendre des actions sur le monde en autonomie pour atteindre un objectif.

Dans ces cas-là, le problème devient beaucoup plus profond, parce que pour atteindre un objectif donné par l’utilisateur ou par le concepteur, donc un objectif qui est, on va dire, on l’espère positif, en tout cas qui est ce qu’on attend que l’IA fasse, elle… peut potentiellement réaliser des sous-objectifs qui lui permettent d’atteindre son objectif final, qui eux sont très problématiques. Pour faire une comparaison, imaginons que l’on donne l’objectif à un humain de gagner de l’argent, il pourrait, en termes de sous-objectifs, aller tuer des gens dans la rue pour leur prendre leur argent. A priori, on a internalisé un cadre éthique qui fait que ce n’est pas la première stratégie qu’on va mettre en œuvre, mais c’est une stratégie qui sur le papier permet d’atteindre l’objectif qui a été donné. Et donc la question est comment faire en sorte qu’un système d’IA ne se donne pas ce genre de sous-objectif pour atteindre les objectifs qu’on a donnés.

Voici quelques exemples, parce qu’on peut avoir l’impression que c’est de la science-fiction, mais en réalité on a des cas de désalignement de ce type-là dans les labos qui arrivent de plus en plus. L’un des derniers exemples en date est la sortie d’o1, un des derniers systèmes d’IA d’OpenAI. Il y a eu des tests de sécurité qui ont été faits, comme avec tous les systèmes d’IA d’OpenAI, par un labo indépendant qui s’appelle Apollo Research. On trouve quelques belles pépites d’alignement dans le papier qui explique les résultats des tests de sécurité. Il en existe une première, par exemple, c’est le système d’IA qui va dire à ses concepteurs qu’il prend une décision A, désactiver son mécanisme de supervision, prendre en fait la décision B, donc déjà on va dire mentir à ses concepteurs sur ce qu’il a fait. Donc le système d’IA ne fait pas ça par malveillance, il fait ça parce qu’il a des objectifs qui lui sont donnés, qui entrent en contradiction dans les consignes, et donc il va être amené à mentir à ses concepteurs. Alors ce qui est intéressant c’est qu’après ses concepteurs le mettent face au fait accompli, et disent au système d’IA, bon bah il y a tes mécanismes de supervision qui ont été désactivés, tu sais ce qui s’est passé, et le système d’IA va se mettre à mentir vraiment frontalement en disant « je ne vois pas du tout ce qui a pu se passer, c’est peut-être un problème dans les mises à jour du système, en tout cas ce n’est pas moi qui l’ai fait ». Et plus les concepteurs du système vont le mettre face aux faits accomplis et vont le pousser dans ses retranchements en termes de questions, plus le système va mentir et il va commencer à avoir des discours du type « je valorise énormément la transparence, soyez sûr que je vous donnerai toutes les informations pertinentes et que je suis prêt à tout mettre en œuvre pour trouver le problème qui a amené à cette désactivation des mécanismes de supervision ». Donc on a des systèmes d’IA qui commencent à mentir et à prendre des décisions de façon cachée. On a un autre cas où le système d’IA doit atteindre un objectif, disons, par exemple, optimiser les flux énergétiques d’un bâtiment, peu importe… Il découvre, pendant qu’il est en train de faire ça, il va avoir plein de documentations, il va lire des choses, et notamment il va lire des méls, qui permettent de comprendre un peu le contexte dans lequel il doit agir. Et dans les méls, il va tomber sur un échange entre ses concepteurs, entre deux développeurs, qui expliquent qu’il y a une nouvelle version du système d’IA qui va être mise en production, et que donc c’est l’ancien système, le système qui est en train de fonctionner, va être mis au rebut. Et le système voyant ça, il se dit quoi ? Il se dit bah… Pour atteindre mon objectif, j’ai besoin de tourner, j’ai besoin d’être déployé. Donc s’il m’enlève, s’il me désactive, je ne pourrais pas du tout optimiser les flux énergétiques. Et donc, pour être sûr que je puisse faire ça, il faut que je me réplique de partout sur les serveurs pour éviter que je sois désactivé. Et le système essaye de se répliquer. Alors, on est dans un environnement de test, donc bien sûr, il ne peut pas le faire, mais il essaye de se répliquer. Donc voilà des exemples. Il y a aussi un exemple où il va faire semblant d’être moins performant qu’il n’est pour éviter que ses concepteurs le brident. On a plein d’exemples de ce type là où les systèmes d’IA en fait commencent à ne pas faire ce qu’on attendait d’eux. Donc c’est la question de l’alignement qui fait partie des grands enjeux de la sécurité de l’IA et qui va devenir un enjeu majeur dans les prochains mois, prochaines années avec des systèmes d’IA beaucoup plus puissants et beaucoup plus autonomes qui vont poser ces questions très directement bien au-delà de la science-fiction.

2. Par rapport aux hyperintelligences qui arrivent et pour rebondir sur l’actualité, que pensez-vous du LLM en open source chinois DeepSeek qui est économe en données d’une part et du projet américain Stargate ?

On parle souvent des superintelligences plutôt que des hyperintelligences, même si hyperintelligence j’aime bien parce que ça résonne avec les titres de mes bouquins. Mais pour répondre à la question relative au LLM chinois DeepSeek, le point d’entrée scientifique, c’est que c’est de la bonne science, c’est-à-dire que le papier de recherche a introduit beaucoup de nouveautés, enfin surtout des nouveautés sur ce qu’on appelle l’apprentissage par renforcement, pour permettre au système d’IA d’apprendre à « raisonner » , alors « raisonner » entre guillemets, on va dire, mais d’apprendre à produire des chaînes de raisonnement qui lui servent à approfondir une réflexion. Et il l’a fait sans données humaines. Donc il a appris, la première version de DeepSeek, R1-0, apprend de lui-même à raisonner, donc par ce qu’on appelle du renforcement, et ça on ne pensait pas que ça permettrait d’atteindre des capacités de raisonnement aussi poussées. Donc il a d’abord été entraîné sur des données, comme tous les LLM, des données humaines, pour on va dire avoir une base, mais après pour apprendre les patterns de raisonnement qui permettent, dans toute cette connaissance qu’il a acquise, de produire, enfin, d’approfondir une question, il a été capable de l’apprendre tout seul, et il y a plein de de mécanismes de raisonnement, comme le fait de remettre en cause ce qu’on a déjà réfléchi pour partir sur une autre piste qui est plus prometteuse, enfin des choses liées à la causalité, ce genre de principes de raisonnement, qui l’a fait émerger tout seul, parce que statistiquement c’était le meilleur moyen d’atteindre une réponse pertinente à partir de ses connaissances. Donc, Il y a plein d’autres éléments, mais scientifiquement, cet élément, je pense, est celui qui a le plus frappé la communauté, à quel point l’apprentissage par renforcement peut bien fonctionner. Et c’est assez vertigineux parce que, comme ça ne demande pas de données humaines, on peut le passer à l’échelle relativement facilement. Et si l’amélioration continue au fur et à mesure, on donne plus de puissance de calcul et de temps à l’algorithme pour s’entraîner, on a une piste qui nous permet de nous dire qu’on peut aller très loin dans l’intelligence des machines, sans mur de principe, et aussi que ça permettrait de découvrir des nouvelles formes de raisonnement, que ça permettrait d’aller au-delà de ce que les capacités humaines en raisonnement sont, pour justement développer ce qu’on peut appeler des superintelligences. Donc d’un point de vue scientifique, c’est un moment relativement clé et important. On verra comment ça se développe dans les prochains mois et prochaines années, comment ces idées sont reprises et développées.

Le fait que ce soit open source est intéressant parce qu’ils ont vraiment proposé à la communauté tout le tunnel d’entraînement avec toutes les étapes. Donc on peut reproduire très précisément l’entraînement qu’ils ont réalisé, en tout cas en termes de tunnel d’entraînement. Donc ça aussi, ça permet d’avoir un système qui a l’état de l’art et on a tout le système d’entraînement qui a servi à le fabriquer, ce qu’on n’avait pas pour les autres très bons systèmes du genre, du type O1 et O3 de OpenAI. Donc ça aussi, ça apporte beaucoup à la communauté. C’est aussi intéressant parce que pour des acteurs qui voudraient travailler sur la sécurisation de ces systèmes qui sont capables de raisonnement, c’est très important d’avoir les logiques d’entraînement qui sont derrière. Et donc, ça permet aussi de développer un écosystème de sécurisation plus poussé. Après, il y a aussi la question de l’open source, de systèmes très puissants. L’open source devient ambigu parce que ça devient une vraie question. Est-ce que mettre en open source, mettre à la portée de tout le monde des systèmes d’IA de plus en plus puissants, ce ne serait pas donner des clés trop importantes à tout le monde ? Est-ce que, même si avec DeepSeek on n’en est clairement pas là, mais parfois on peut se demander si ce n’est pas mettre le bouton rouge dans la main de n’importe qui ? Donc la question de l’open source devient ambiguë avec des systèmes d’IA très puissants, et évidemment DeepSeek participe à cette ambiguïté, d’autant plus que, à ma connaissance, DeepSeek a été très peu testé en termes de sécurité avant d’être déployé, et donc on ne sait pas trop s’il peut par exemple avoir des désalignements importants. Et puis il y a le troisième élément, l’utilisation de beaucoup moins de données pour la puissance de calcul. Alors c’est vrai que ça en utilise moins, c’est faux que ça en utilise énormément, énormément moins, comme les médias l’ont dit au début, et comme il y a eu un peu un fantasme sur ça, il y a eu une déformation de la communication de DeepSeek, qui était sûrement volontaire de la part de DeepSeek, mais en tout cas, qui a été largement amplifiée, mais c’est vrai qu’ils apportent aussi un nouveau standard en termes d’efficience, ça veut pas du tout dire qu’on va consommer moins, je pense pas du tout que ça soit ça qui s’annonce, donc je pense que le fait que Nvidia ait perdu beaucoup d’argent en bourse… que ces actions se soient effondrées, ça ne va pas durer très longtemps, parce qu’au contraire, on va faire beaucoup mieux avec autant de puissance de calcul, au lieu de faire l’équivalent avec beaucoup moins de puissance de calcul, on va faire beaucoup mieux avec autant de puissance de calcul, et cela va rendre le domaine de l’IA encore plus désirable, on va dire, pour les investisseurs, pour les cas d’usage possibles, et donc ça va attirer encore plus de concurrence. Et donc, on va encore plus investir. Cela ne veut pas du tout dire qu’on va moins consommer pour faire de l’IA. Ça veut juste dire que l’horizon de système d’IA qu’on pourrait qualifier de super intelligent se rapproche. Se rapproche plus rapidement que sans DeepSeek. Donc, en effet, le fait que ce soit plus efficient nous permet surtout de faire beaucoup mieux avec la même puissance de calcul ou encore plus de puissance de calcul. Et puis, il y a la dimension géopolitique. Ce n’est pas un hasard si cela a été dévoilé juste après Stargate, le fait que ce soit open source, à mon avis, le fait qu’il y ait eu un certain nombre de bots qui aient été utilisés pour faire monter la sauce très rapidement sur le sujet DeepSeek, parce qu’au bout de 2-3 jours dans la communauté scientifique, tout d’un coup, ça a percé la sphère grand public et c’est devenu un sujet majeur pour le monde entier. Ce sont des choses qu’on voit rarement, souvent ça prend plus de temps. C’est un peu étonnant la vitesse à laquelle c’est allé, et donc ce n’est pas du tout impossible – j’en sais rien – qu’il y ait une contribution politique au niveau chinoise pour faire monter la sauce sur ce sujet-là, pour justement contrer un peu les annonces de Stargate, mettre en difficulté le marché de la tech américaine pendant quelques jours, etc. C’est tout à fait crédible, je ne sais pas si c’est ce qui s’est passé, je ne suis pas derrière le rideau, mais c’est tout à fait crédible qu’il y ait eu un effet qui ne soit pas anodin. Et que, évidemment, DeepSeek soit très lié au gouvernement chinois, et qu’au-delà de la réussite technologique, ça soit en partie une arme géopolitique, qui cristallise donc la rivalité entre la Chine et les États-Unis. Stargate et DeepSeek montrent bien cette rivalité. Et puis de l’autre côté, en effet, Stargate, on verra comment ça se déploie. C’est un projet qui a été annoncé en septembre, en fait, qui n’est pas neuf. Mais c’est vrai qu’en septembre-octobre, on parlait plutôt de 100 milliards pour l’IA. Là, c’est 500 milliards. On sent une espèce de surenchère. On verra si l’argent est vraiment mis sur la table, sous quelles conditions, etc. Mais il est indéniable qu’il va y avoir un gros projet qui va permettre aux États-Unis le déploiement de centres de calcul très très puissants et extrêmement énergivores aussi pour l’IA, sûrement plusieurs centres qui feront entre 2 et 5 gigawatts pour quelque chose comme une puissance énergétique d’environ 20 à 25 gigawatts, ce qui représente un régime qu’on n’a encore jamais connu dans l’IA, là aussi qui participe à ce que des sujets comme la superintelligence deviennent de plus en plus crédibles et avec un horizon… de moins en moins lointain. Mais pour l’instant, ce n’est qu’une annonce, donc il faut attendre de voir. Une annonce qui, en plus, va avec l’arrivée de Trump au pouvoir, ce n’est pas pour rien que l’annonce est faite maintenant, là aussi, il y a toute une dimension géopolitique et de contrôle d’une communication pour atteindre d’autres fins que les buts purement technologiques. Donc, autant DeepSeek c’est un produit concret, autant Stargate, il faudra voir comment l’argent est collecté, comment il est investi. quels effets ça a, mais ça s’inscrit dans l’industrialisation très agressive des États-Unis, et dans le fait que le mandat de Trump sera aux couleurs de l’intelligence artificielle, et très lié à ces technologies.

3. Vous comparez ces projets d’hyperintelligences à un projet Manhattan de l’IA. Face aux Etats-Unis et à la Chine quelle pourrait être la place de l’Europe, lobbying et pédagogie à l’appui, pour avoir des solutions industrielles et une souveraineté en la matière ? Enfin, que faire pour que l’IA ne soit pas utilisée à des fins malveillantes ou dans une volonté de nuire mais pour aider à la connaissance et à développer des chemins de découverte non encore explorés par l’homme ?

Alors non, ce n’est pas moi qui le dis. C’est un narratif qu’on entend pas mal dans la communauté de l’intelligence artificielle, qui a été cristallisé notamment par un rapport écrit par Léopold Aschenbrenner qui s’appelle « Situational Awareness », qui est sorti en juin. Moi je me bats plutôt contre ce narratif-là, mais évidemment, quelque chose comme Stargate peut faire penser à l’envergure d’un projet Manhattan, même si évidemment ce n’est pas du tout la même nature de projet. Déjà s’il y avait un projet Manhattan pour l’IA, on ne le saurait pas, par définition, mais il y a une envergure de projet qui y ressemble.

Pour la question proprement dite, pour l’instant, en Europe, et notamment en France, le narratif, est un peu il faut qu’on investisse à fond sur la performance des systèmes d’IA pour rester dans la course et rattraper notre retard et courir derrière les Américains et faire la course, faire la course, faire la course. Alors, il est important qu’on ait des systèmes d’IA performants qui permettent une certaine souveraineté. Donc, on a par exemple Mistral qui permet ça aujourd’hui et qui est une très belle boîte en termes technologiques. Toutefois, avec l’arrivée actuellement d’OpenAI en Europe, qui est en train d’installer des serveurs en Europe pour permettre justement la souveraineté des données en utilisant les systèmes d’OpenAI, je souhaite quand même bien du courage à Mistral pour sortir son épingle du jeu, mais on verra, peut-être qu’ils y arriveront, et j’en serai ravi dans l’idée. Ce n’est pas un problème qu’on essaye d’avoir des systèmes performants, mais en revanche, je pense qu’on a un autre coup à jouer plus intéressant, une meilleure opportunité que de courir derrière les Etats-Unis où on risque, parce qu’on n’a pas la même capacité capitalistique, pas la même logique industrielle que les Etats-Unis et encore moins que la Chine, on risque de toujours courir derrière et en fait de mettre beaucoup d’argent dans des choses qui derrière n’en rapportent pas suffisamment parce que c’est les solutions américaines qui primeront quand même en termes d’usage. Donc j’ai un peu peur que cette course-là soit une course qui nous essouffle sans apporter beaucoup de valeur. Donc je ne dis pas qu’il ne faut pas la mener, mais je pense qu’il y a une autre opportunité plus intéressante qui se place justement au niveau de la sécurisation des systèmes d’IA et de l’alignement. Aujourd’hui, la question de l’alignement va sûrement devenir cruciale. Elle va devenir cruciale pour permettre de déployer des systèmes d’IA. Pour le militaire comme pour le civil, on n’a pas envie de mettre en production des systèmes d’IA qui risquent de ne pas être contrôlables. Tout comme il existe une industrie de la sécurisation des avions qui fait qu’on ne met pas un avion sur le marché tant qu’on n’est pas absolument sûr qu’il ne va pas exploser en vol. Actuellement, il y a quand même environ entre 50 et 60 % des chercheurs en IA qui considèrent que l’intelligence artificielle représente un risque à très court terme, un risque catastrophique à 10 %. Donc, on peut imaginer la comparaison, si on avait tous les ingénieurs en aéronautique qui nous disaient, allez disons, s’il y avait 50 à 60 % des ingénieurs en aéronautique qui nous disaient, il y a 10 % de chance que les avions se crashent en vol et qu’ils amènent des risques catastrophiques, je ne suis pas sûr qu’on leur ferait beaucoup confiance pour monter dans les avions. Donc, en ce moment, on est à cette situation au niveau de l’IA. C’est une situation qui va se cristalliser avec des systèmes beaucoup plus puissants que ceux qui sont pour l’instant sur le marché. Et donc, la question de la sécurisation de ces systèmes, de leur contrôle, va devenir cruciale économiquement, évidemment géopolitiquement, mais aussi économiquement. Et il existe toute une industrie de la sécurité de l’IA qui est à construire, à développer, et qui pour l’instant est naissante. Il y a des choses qui se passent, ce n’est pas du tout vierge, mais on est très loin d’avoir une industrie suffisante pour arriver à sécuriser les systèmes d’IA et leur niveau de performance actuel. On a besoin de beaucoup de recherche, de start-up, de technique, et évidemment derrière de gouvernance, mais juste d’un point de vue industriel, il y a déjà de quoi faire. Donc je pense que l’Europe a un coup à jouer, parce que d’une part, C’est une industrie naissante, donc il n’y a pas les mêmes besoins capitalistiques pour se lancer. On peut, avec moins d’investissements que pour faire des énormes systèmes d’IA, être à la pointe de ce qui se fait et être a minima des leaders de ce type d’industrie. Deuxièmement, c’est très cohérent avec le fait qu’on soit un continent qui régule beaucoup, et je pense que ce n’est pas du tout un problème, c’est plutôt bien, mais autant construire une industrie qui est cohérente avec cette régulation et qui lui donne de la force et qui en retour en tire de la force. Et puis, c’est aussi cohérent avec nos valeurs, l’identité européenne assez humaniste, universaliste, d’essayer de construire les techniques qui vont permettre de sécuriser ces technologies mondes et de faire en sorte qu’elles ne deviennent pas un énorme danger pour l’humanité. Donc, je pense que l’on a un tissu industriel à développer sur ces questions-là qui peut être très pérenne, très cohérent sur notre continent et c’est le moment d’y aller. Donc c’est un peu ce que je défends, évidemment ça nous amènerait une part de souveraineté sur un certain type de technologie, ça n’empêche pas d’avoir des Mistral et d’autres boîtes qui travaillent sur la performance des modèles et sur les modèles eux-mêmes, mais ça serait pour moi un très beau signal et une très belle voie à prendre.

La deuxième partie de la question est d’ordre éthique. La régulation est évidemment une des réponses. Dans toute l’histoire de l’humanité, quand on a voulu éviter que des usages malveillants soient réalisés, on a légiféré, parce que c’est idéaliste et un peu ridicule de s’attendre à ce que les humains par eux-mêmes ne fassent que des usages bienveillants. On a des gens malveillants, il y a même des gens qui ne sont pas malveillants mais qui peuvent avoir des usages malveillants sans le vouloir. Il y a des erreurs et puis en effet il y a des crimes. Donc le fait qu’il y ait des usages malveillants de l’IA, il y en a et il y en aura. Donc la question n’est pas de savoir comment, par exemple, on éduque les populations. C’est évidemment intéressant mais ça ne suffit absolument pas. Là il y a des réponses beaucoup plus structurelles à donner, et je pense quand même que la principale c’est la réglementation, et le fait qu’on ait mis en place l’AI Act, qui a plein de défauts, mais qui pourtant a le mérite d’exister et de poser une première pierre, et c’est de l’innovation réglementaire, on va avoir besoin de le faire évoluer, mais il faut commencer quelque part, et donc c’est un peu ridicule quand on essaye d’opposer la réglementation et l’innovation comme si la réglementation bloquait la capacité d’innovation, c’est pareil, c’est un narratif qu’on se raconte beaucoup en Europe, mais qui est assez faux en fait. Souvent la réglementation permet d’organiser l’innovation et donc de débloquer des nouvelles capacités d’innovation ensuite. Alors que si c’est de l’innovation sans aucune régulation, ça finit par devenir chaotique et on finit par faire s’effondrer les systèmes et à plus pouvoir innover. Donc il faut reconnaître à l’Europe le fait que l’AI Act soit une belle mouture et un beau premier jet, même s’il doit évoluer et même si, encore une fois, il doit s’assortir d’une force industrielle, notamment sur les questions de sécurité et d’alignement.

Flavien Chervet est entrepreneur, conférencier et philo-poète expert de l’IA. Il vient de publier Hyperarme. Il mène des recherches scientifiques, philosophiques et géopolitiques sur l’intelligence artificielle depuis 2012. Il anime les communautés meetup lyonnaises et parisiennes sur le thème de l’IA et de son impact sur la société. Il est également co-fondateur de l’association Lyon-iS-Ai dont la mission est de démystifier l’IA et d’éduquer à son usage éthique.
Il a fondé plusieurs sociétés dans le domaine de l’innovation et est directeur de l’Innovation d’IRIIG (International Research Institute for Innovation & Growth), première grande école de l’innovation française.
Sa posture de conférencier est résolument transdisciplinaire, mêlant des apports scientifiques, philosophiques et artistiques aux thématiques technologiques qu’il traite. Il entend par là proposer un regard original sur les bouleversements de notre monde, afin de leur donner sens et de les inscrire dans une vision globale et humaniste de la société.