« NOUS SOMMES COMME DES PETITS ENFANTS QUI JOUENT AVEC UNE BOMBE »

À la fin de son essai, Nick Bostrom lance un plaidoyer aux forces vives pour répondre au problème de la superintelligence et tout mettre en oeuvre pour qu’elle nous soit bénéfique.

« Avant que ne survienne une explosion d’intelligence, nous autres humains sommes comme des petits enfants qui jouent avec une bombe. Décalage entre le pouvoir de notre jouet et l’immaturité de notre conduite. La superintelligence est un défi, auquel nous ne sommes pas préparés et auquel nous ne serons pas prêts avant longtemps. Nous n’avons qu’une petite idée de la détonation qui se produira, même si, quand nous approchons le dispositif de notre oreille, nous entendons un vague tic-tac. Un enfant qui aurait une bombe dans ses mains devrait évidemment la déposer gentiment, sortir rapidement de la pièce et contacter l’adulte le plus proche. Mais ce que nous avons ici, ce n’est pas un enfant, mais beaucoup d’enfants, chacun avec un mécanisme de déclenchement à sa portée. […] Nous ne pouvons pas parvenir à plus de sécurité en nous enfuyant, parce que le souffle de l’explosion fera tomber le firmament même. Et il n’y a aucun adulte à l’horizon. Pas question, dans une telle situation, d’éprouver un sentiment d’exaltation du genre : « Ça alors ! ». La consternation et la peur seraient plus indiquées ; mais l’attitude à adopter, c’est plus une détermination glacée à être aussi compétents que nous le pourrons, un peu comme si nous nous préparions à un examen difficile qui nous permettrait de réaliser nos rêves, ou qui les détruirait. Il ne s’agit pas d’être fanatique. L’explosion de l’intelligence ne se produira peut-être que dans plusieurs décennies. Le défi qui nous fait face est plutôt, en bonne part, d’être fermes sur notre humanité : ne pas céder sur nos fondamentaux, notre bon sens, notre bonne humeur courtoise, même dans la mâchoire de ce problème contre-nature et inhumain. Nous devons consacrer toutes nos ressources d’humanité pour le résoudre. » […]