Warning: Undefined property: stdClass::$subjects in /home/clients/35666af5317ba4b26577e5dc7df1a2a0/web/wp-content/plugins/openbook-book-data/openbook.php on line 222
Entre le foie gras et les flocons, j’ai dévoré « Das System », un thriller technologique de l’allemand Karl Olsberg sur l’apparition d’une intelligence artificielle distribuée sur internet.
Une startup (allemande) crée une sorte de BOINC pour prévoir la météo en utilisant la puissance de calcul des PC disséminés sur internet. Mais le truc devient un virus (un BOINC viral… idée à retenir …), et le système devient intelligent, conscient, et dangereux…
Vous avez peur ? Science-fiction futuriste ? En fait, plusieurs penseurs et scientifiques soutiennent que nous ne sommes qu’à quelques décennies de la singularité technologique, le moment où les outils que nous avons crées n’auront plus besoin de nous pour fonctionner, ni pour produire d’autres outils. Aujourd’hui déjà, on estime que la puissance de tous les ordinateurs interconnectés sur internet équivaut à environ un cerveau humain, et la Loi de Moore nous promet l’équivalent artificiel des cerveaux de toute l’humanité dans 35 ans maximum…
Comme le mentionne un prof dans le roman, les microprocesseurs se reproduisent désormais beaucoup plus vite que les humains. Ils « se » reproduisent, car la conception et la production de machines ne peut plus s’envisager sans machines. En même temps qu’une extinction d’espèces basées sur la chimie du carbone, sommes-nous en train de démarrer une biologie du silicium ? Pour l’instant nous sommes encore indispensables pour certaines opérations délicates, notamment programmer, mais pour combien de temps ? Si un jour un logiciel devient capable de s’auto-améliorer en modifiant son propre code, ce ne sera plus qu’une question de secondes avant qu’on doive devenir très polis avec nos ordinateurs, dans le meilleur des cas…
La force du roman est de rendre ce scénario assez vraisemblable malgré d’inévitables raccourcis réducteurs, ou du moins de susciter la réflexion. Un bon bouquin à la Crichton donc, mais vous pouvez aussi attendre le film qui ne devrait pas tarder…
Référence :
- Karl Olsberg "Das System" (2009) Actes Sud ISBN:9782742782581 WorldCat Google Books
Voir aussi:
- le site du livre et celui de l’auteur (en allemand)
- « Un monde sous influence. Critique de “Das System”, de Karl Olsberg » sur La culotte à l’envers
13 commentaires sur “Das System”
Je trouve que ce point de départ du roman ressemble beaucoup à celui des 2 films Terminator.
Ceci étant dit, côté réalité, il y a quand même un gros hic pour que ce rêve puisse se réaliser : la consommation d’énergie et de matières premières délirante que cela nécessiterait.
Pour mémoire, la consommation d’électricité des serveurs et des data centers n’est déjà plus négligeable par rapport à la consommation d’électricité totale de la société. Ainsi, la consommation d’électricité aux Etats-Unis a doublé entre 2000 et 2006, atteignant de l’ordre de 3% de la consommation électrique nationale, soit plus que la consommation électrique de tous les téléviseurs des Etats-Unis. Et cette hausse ne comprend pas le développement, plus récent, du cloud computing et des énormes data centers qui lui sont dédiés.
Il ne faut pas oublier à quel point ce « monde virtuel » qui nous fait rêver est en réalité très dépendant du système économique et industriel réel et aussi de ressources matérielles (or un système cybernétique ne peut être considéré comme intelligent ET dangereux que si les humains ne peuvent pas l’arrêter en le débranchant, autrement dit si le système contrôle aussi ce dont il dépend pour fonctionner, en particulier la production de l’énergie qu’il consomme) :
1) Bien sûr, il faut produire l’électricité qui fait tourner toutes ces machines. Et souvenons-nous que le mode dominant de production d’électricité dans le monde, c’est le charbon. Inutile, donc, de rêver à un « monde virtuel » alimenté intégralement au vent ou au solaire : on n’alimente pas un ordinateur qui tourne 24 heures sur 24 avec une source d’énergie intermittente. Et de toute façon, la quantité d’électricité consommée par les serveurs et les data centers est *déjà* plus importante que ce que fournissent ces systèmes de production.
Cela veut dire aussi que toute augmentation du parc informatique impliquera une augmentation du même ordre de grandeur de la consommation d’électricité, donc de la consommation de ressources physiques, et elle impliquera aussi une hausse de la pollution générée (pollution locale pour les centrales au charbon ; pollution planétaire de type gaz à effet de serre, ayant un effet négatif très probable à plus long terme sur le système économique et industriel des hommes, cf. point 3).
2) La loi de Moore commence déjà à atteindre certaines limites : il n’y a déjà quasiment plus de gain accessible via une augmentation de la fréquence d’horloge (alors que les fréquences d’horloge des processeurs n’ont cessé d’augmenter entre 1970 et 2002-2003, elles restent « bloquées » autour de 2 ou 3 GHz depuis). Et les fondeurs de processeurs ont de plus en plus de mal à réduire encore et toujours leur finesse de gravure : Intel atteint aujourd’hui les 22 nanomètres, mais on sait qu’il ne reste plus beaucoup d’ordres de grandeur de réduction de la finesse de gravure avant de constater des effets quantiques significatifs et non désirés (du genre un isolant qui laisse passer quelques électrons parce qu’il est trop fin). Jusqu’à quand pourra-t-on réduire la finesse de gravure ? Certainement pas un facteur 100, qui correspond à ce qu’Intel a réussi à faire depuis son célèbre 8086 (3000 nanomètres ; année 1979) : cela voudrait dire une finesse de gravure de la taille d’un atome d’hydrogène ou d’hélium ! Bref, il ne restera alors plus qu’à augmenter les surfaces des processeurs, ou augmenter le nombre de processeurs (ou de coeurs) en parallèle.
3) La fabrication de nouveaux ordinateurs ou même de nouveaux processeurs reposent sur notre système économique et productif actuel. Et ce système économique et productif a, lui aussi, besoin de beaucoup d’énergie. Disposerons-nous, dans les 15 ou 20 prochaines années, de la quantité d’énergie nécessaire pour multiplier par un facteur mille voire un million le nombre de nos ordinateurs (ou de nos processeurs) si c’est la condition nécessaire pour garder la loi de Moore valide ? Réponse : si on continue à ne se reposer que sur les hydrocarbures (ou même la filière nucléaire non surgénératrice à uranium) pour produire l’essentiel de notre électricité, la réponse est clairement non : le flux de ressources physiques nécessaire dépasserait le seuil critique de ce que l’on peut consommer. Sans compter qu’il n’est pas exclu que, pour des raisons structurelles, le système économique et industriel ne puisse plus croître dans les 30 prochaines années comme il a crû ces 20 ou 30 dernières années.
Merci pour ce long commentaire plein de choses 😉
Oui, le Skynet de Terminator me semble plus proche d’une « singularité technologique » que Pandora. Et plus « logique » aussi : il ne perd pas de précieuses microsecondes à discuter…
Pour l’énergie, le cerveau humain consomme directement 20 à 40 watts, soit aussi une part non négligeable de notre propre énergie. Et en fin de compte toute l’énergie que nous consommons sert indirectement à faire marcher nos cerveaux, non ? Donc quelques Gigawatt pour faire marcher des milliards de processeurs, ça reste dans le même ordre de grandeur… Et au fait, que peut-on faire de mieux avec l’électricité que de faire fonctionner des circuits ? ce qui est idiot, ce sont les radiateurs électriques résistifs alors qu’on pourrait faire des radiateurs à teraflops. D’ailleurs je viens de lire quelque part (est-ce dans Das System ?) qu’un processeur moderne consomme/dégage plus de chaleur par cm2 qu’une plaque de cuisson… Faisons des plaques de cuissons qui calculent en plus de faire la cuisine !
Sur la Loi de Moore, je pense et j’ai écrit qu’on est encore loin de la limite. La meilleure preuve est notre propre cerveau, justement.
Comme plusieurs fois dans l’histoire de l’humanité, on arrive peut-être à un plateau dans la croissance, mais personnellement je ne crois pas à une décroissance durable. Les êtres vivants sont condamnés à croitre et E=mc2 nous dit que ce n’est pas l’énergie qui manque : un jour nous aurons la « société à 2MW« .
A part ça, ce que je pense réellement des intelligences artificielles se trouve intégralement dans les « Perlisismes » 😉
Non, l’essentiel de l’énergie que nous consommons sert à nous faire vivre, à maintenir nos fonctions vitales. Notre cerveau n’est qu’un des outils dont l’évolution nous a doté pour mieux nous adapter aux changements auxquels nous avons été (et nous sommes) confrontés. Comme disait Desmond Morris, « l’être humain est spécialisé dans la non-spécialisation ». C’est pour cela qu’il possède, entre autres, un cerveau particulièrement plastique à la naissance. Cette non-spécialisation, qui impose aussi une enfance très longue (une douzaine d’années avant de devenir biologiquement adulte), est à la fois une force et une faiblesse (n’oublions pas que, de toutes les espèces humaines ayant foulé cette Terre depuis quelques millions d’années, il n’y en a qu’une seule qui, à ce jour, ait survécu. Autrement dit, l’avantage compétitif des autres espèces «homo» ne leur a pas suffi. Et, pour autant qu’on le sache, il semble s’en être fallu de peu pour que nous aussi nous disparaissions il y a environ 70 000 ans.)
Au sujet de la loi de Moore.
Qu’il y ait encore une marge de progression pour les processeurs actuels, je n’ai pas dit le contraire. Vous dites que les processeurs sont de véritables radiateurs, et qu’il faudrait en profiter. Sauf que la chaleur qu’ils génèrent est justement le principal obstacle des processeurs, et elle perturbe gravement leur fonctionnement si elle n’est pas évacuée assez vite (voire ils grillent littéralement et deviennent inutilisables !) Fabriquer des processeurs multi-couches démultiplierait le problème, puisque, en première approximation, par millimètre cube, on multiplie la production de chaleur par le nombre de couches gravées ! Aujourd’hui, pour une couche de silicium d’une centaine de microns d’épaisseur (même si, en fait, la couche effectivement gravée est beaucoup plus fine que cela), il faut un ventilateur, plus un dissipateur de chaleur de plusieurs centimètres d’épaisseur. Quand il ne faut pas carrément baigner le processeur dans un liquide refroidissant (qu’il faut rafraichir à son tour en consommant encore un bon paquet d’énergie.) Que faudra-t-il pour éviter que le processeur ne grille lorsqu’il aura une dizaine, voire une centaine de couches ? Une réponse possible sera sans doute de ne plus le faire tourner à quelques GHz, mais seulement à quelques centaines de MHz (voire moins), pour réduire efficacement l’effet Joule (mais allez expliquer cela au grand public à qui on a fait croire toutes ces années que le meilleur processeur était celui avec la fréquence d’horloge la plus élevée possible…)
Et si la chaleur est un élément limitant des processeurs (après tout, elle l’est aussi pour certains de nos organes, dont notre cerveau, qui ne supporte pas des températures supérieures à 41 ou 42°C… alors que d’autres organes de notre corps pourraient profiter de températures plus élevées), alors la loi de Moore ne pourra pas être conservée très longtemps, tant que nos processeurs conserveront la même architecture. Là encore, l’analogie du processeur avec le cerveau est trompeuse, car leurs deux architectures sont totalement différentes. L’architecture des processeurs actuels n’a pas fondamentalement changé depuis l’ENIAC (en fait, je devrais même dire depuis Charles Babbage !) et aucune révolution aussi radicale, qui serait susceptible de se généraliser d’ici quelques décennies, ne pointe le bout de son nez.
« Donc quelques Gigawatt pour faire marcher des milliards de processeurs, ça reste dans le même ordre de grandeur… »
Je crains que vous ne fassiez une erreur d’ordre de grandeur sur la quantité d’énergie nécessaire pour produire et faire fonctionner les ordinateurs. Quelques térawatts de puissance, c’est ce que les ordinateurs consomment *déjà* *aujourd’hui* dans les seuls Etats-Unis. Je l’ai déjà dit précédemment : ce pays en est déjà quelques pour cent de sa consommation électrique totale. Sauf que :
(1) ce qui compte, ce n’est pas la puissance, mais la quantité d’énergie, donc il faut multiplier la puissance consommée (de manière instantanée) par la durée de consommation, et, dans le cas des serveurs et des data centers, c’est 24 h/24 et 365 jours/an (ce qui nous fait de l’ordre du demi pétawatt-heure par an ; et on n’a pas encore compté tous les ordinateurs individuels des particuliers et des entreprises des Etats-Unis)
(2) ça ne prend pas non plus en compte la consommation du reste du monde… qui, pour les autres pays développés, est du même ordre de grandeur que les Etats-Unis par habitant, et pour les pays un peu moins riches (de type BRIC), s’en rapproche quand on regarde la consommation totale (en 2005, la consommation électrique de la Chine dépassait déjà celle de l’Union Européenne, et celle de l’Inde dépassait celle de la France.)
Donc dans une dizaine d’années, on n’en sera plus à quelques térawatts, mais plutôt à quelques pétawatts de puissance instantanée pour le monde entier, et on n’en sera plus à quelques pour cent, mais à nettement plus… si le système économique productif supporte une telle hausse en pourcentage, ce qui n’a rien d’évident !
Ça le sera si le réseau est absolument vital aux fonctions de base du reste du système économique, ou s’il permet de réduire de plusieurs ordres de grandeur la consommation d’énergie du reste du système économique. Aujourd’hui, c’est exactement le contraire : le système économique productif ne repose pas sur le réseau informatique, c’est le réseau informatique qui repose sur le reste du système productif. Et en cas de très très gros pépin sur l’ensemble du système économique, suffisamment grave pour qu’il oblige à sacrifier une petite partie du système pour protéger le reste, ce que l’on choisit toujours de sacrifier en premier, c’est ce qu’il y a tout en haut du système… (ce qui est tout en bas du système, et qui nous est vital, c’est la nourriture et l’énergie de chauffage. C’est ce que l’on conservera le plus longtemps.)
Quant à la « société à 2 mégawatts », c’est peut-être un beau rêve, mais pour les humains qui vivent aujourd’hui, cela reste un rêve. Cette société n’est possible qu’avec des technologies qui ne seront utilisables à grande échelle au mieux que dans une trentaine d’années (fission nucléaire surgénératrice, à condition de s’y mettre tout de suite et de ne pas s’arrêter en chemin), voire 60 ou 80 ans (dans le cas de la fusion nucléaire). Et aussi à condition de ne pas manquer d’énergie de masse d’ici-là (par exemple de pétrole ; savez-vous par exemple que le coup d’arrêt à la construction de centrales nucléaires aux Etats-Unis dans les années 1970 n’a pas été l’accident de Three Mile Island, comme on le dit souvent à tort, mais le premier choc pétrolier ? Hé oui, le renchérissement soudain du pétrole a considérablement repoussé le délai nécessaire pour obtenir un retour sur investissement des centrales, et du coup, plusieurs projets ont été abandonnés.) Le problème du côté du pétrole, c’est que les spécialistes du domaine, alias les géologues pétroliers, ont acquis la certitude depuis 10 ou 20 ans que nos réserves ultimes de pétrole ne permettront pas une consommation de pétrole toujours croissante au-delà de 2015 à 2025 (selon que l’on est pessimiste ou optimiste).
Bref, si l’optimisme reste de rigueur pour l’avenir, l’optimisme béat, que vous semblez vouloir à tout prix conserver est, lui, très hasardeux (dans le sens anglais du terme…)
Hélas je trouve plus la source, mais il y a pas si longtemps que ça, une entreprise dévoilait une logiciel qui était capable de réparer d’autres logiciels s’ils faisaient une erreur.
A première vu, cela était utile pour la protection, dans le sens ou le logiciel évite de sortir ce qu’il ne doit pas.
Mais bon, on est pas loin de la fiction 🙂
le marketing n’est jamais loin de la fiction 😉 Si tu retrouves la référence, mets la ici parce que moi j’en suis resté au problème de l’arrêt, que j’expérimente quasi tous les jours : ce programme, il est planté ou pas ?
Le projet ClearView du MIT ?
http://www.technologyreview.com/computing/23821/
Merci pour le link. ClearView a l’air d’une sorte de patcheur de binaire fonctionnant par apprentissage. J’ai beaucoup de peine à croire qu’il puisse faire quelque chose d’efficace sans connaitre le programme patché…
J’ai aussi trouvé Dimmunix http://dslab.epfl.ch/proj/dimmunix , qui lui doit être incorporé à des programmes pour détecter la survenance de « deadlocks » (situation d’interblocage) et qui évite ensuite ces situations.
On en est encore au B.A.BA, mais c’est déjà un début.
Bonjour,
Je n’ai pas lu ce livre (mais je pense que je le ferai), toutefois le pitch ressemble beaucoup à 2 livres de JM Truong:
* Un roman : Le Successeur de Pierre http://tr.im/KmQm
* Un pamphlet : Totalement Inhumaine http://tr.im/KmQv
L’idée derrière ces 2 livres est qu’un jour l’intelligence quittera son support biologique pour le silicon, et se rendra compte que l’humanité est peut être un boulet plus qu’autre chose.
Le concept de « singularité technologique » n’est pas nouveau, je recommande la lecture de l’article de la Wikipedia sur le sujet, bien fait et documenté.
Je ne connais pas JM Truong (honte…), mais ça a l’air bien. Je l’ajoute à la liste des bouquins à lire. Cela dit il me semble que le transfert d’une intelligence biologique (la notre) sur du silicium est beaucoup plus futuriste et hypothétique que l’apparition d’une « vraie » intelligence artificielle, car les principes de fonctionnement du cerveau et des circuits logiques sont très différents. Je pense qu’on est très très très loin de pouvoir simuler un cerveau, même si les puissance de calcul et capacités de stockage commencent à être en faveur du silicium. Vu récemment des articles qui relativisent beaucoup le concept des « réseaux de neurones » artificiels dont on était très fiers il y a quelques années, expliquant qu’on a négligé tout l’environnement chimique, la matière blanche etc.
Quelle coincidence, je l’ai aussi lu pendant les vacances ! Ce thème du programme informatique qui devient conscient est assez récurrent dans la littérature, comme le dit ianux. Par exemple, je viens de passer à l’Etoile de Pandore, de Peter F. Hamilton, qui met en scène (entre autres), une communauté d’IA affranchie des humains, ayant choisi d’évoluer indépendamment de ses anciens maitres, sur une autre planète. Je pense qu’il vous plairait aussi, même si c’est de la SF pure et dure 🙂
AMA, si une « intelligence artificielle » devait émerger du Réseau (et cette idée ne me parait pas ridicule, de la même manière que la neurologie n’explique l’apparition de la conscience que par l’interconnexion de plus en plus complexe des neurones, bref, rien de plus qu’un constat), elle nous dépasserait complètement et nous n’en aurions aussi peu conscience que les cellules de notre corps n’ont conscience de ce dernier (le tout dépasse la somme des parties, toussa).
Un peu à la manière de l’hypothèse Gaia (ce qui – digression – me fait penser/espérer/imaginer que la Terre recèle tout juste assez de ressources fossiles pour que leur combustion complète ne pourrisse pas la planète de façon irréversible, l’idée de réchauffement climatique – ou plutôt de ses dangers – voire celle d’écologie n’étant qu’un fantasme anthropomorphe)…
faut pas confondre écologie (une science une vraie) et écologisme (une idéologie politique).
La question de anthropomorphisme-centrisme me parait intéressante, et c’est d’ailleurs la critique principale que j’ai contre HAL de 2001, Pandora de Das System et les autres IA’s fictives : elles sont trop humaines. Nos auteurs ne peuvent pas s’empêcher de les faire communiquer par le langage humain. Pour les Robots d’Asimov passe encore : ils sont délibérément conçus pour servir les humains. Une IA apparaissant dans le réseau ressemblera probablement plus à une colonie de fourmis, ou à rien de connu.
Oui oui, je parlais bien sûr d’écologie politico-médiatique.
Quant aux robots d’Asimov, c’est pire, les lois de la robotique font intervenir la morale (le bien et et mal), notion éminemment subjective sur laquelle l’humanité se casse les dents depuis ses débuts. De là à l’implémenter dans des portes logiques…
Mais rien n’empêche une I.A. de développer sa propre forme de morale (la 0ème loi qui conduit inévitablement à… un freeze).
Mais c’est vrai que les robots d’Asimov ont un cerveau positronique 🙂