L’expérience du basilique de Roko désigne un article posté par un anonyme Roko sur le site LessWrong. Ce site est dédié à une communauté s’activant autour de discussions sur les biais cognitifs, la philosophie, la psychologie, l’économie, l’intelligence artificielle,… Il a pour but de nous faire devenir moins bête une étape après l’autre. Cette communauté est réputée pour est composé de scientifiques. Dans l’ensemble, c’est un site sur lequel je vous recommande de perdre votre temps. Cependant, ce qu’il saut savoir, c’est que parmi les membres actifs se trouve des singularitaristes. Le Singularitarianisme est un courant de pensée qui a la conviction qu’une singularité technologique – la création de superintelligence – va probablement se produire dans un avenir à moyen terme et que des actions délibérées doivent être prises pour s’assurer que la Singularité profite aux humains, nous y reviendrons dans un autre billet (plus d’info ici).

Revenons à l’expérience de Roko. Roko dans ce post part du principe que dans le cas où il existerait un jour une intelligence artificielle toute puissante, celle-ci pourrait décider de punir rétroactivement toutes les personnes qui auraient été au courant qu’elle existerait un jour et qui n’auraient pas facilité sa conception.  Jusque là, rien de bien méchant puisqu’on ne voit pas comment une IA pourrait nous punir de façon rétroactive. C’est là que Roko va plus loin et que l’expérience devient tordue. Pour punir les personnes n’ayant pas aidé à sa conception, cela n’implique pas qu’elles soient encore en vie. Comment ? Pour les singularitaristes comme Roko, une excellente simulation de quelqu’un revient à ce quelqu’un. Si un ordinateur (qui n’existe pas encore) arrive à vous simuler parfaitement, vous devriez vous sentir autant concerné par ce qui arrive à votre « vous simulé » que par ce qui vous arrive à vous. Si un ordinateur fait mal à votre « vous simulé », il vous fait mal. C’est un thème souvent abordé et sur lequel on reviendra surement.

Alors, pourquoi la communauté de LessWrong a été terrorisée par ces idées ? En tant que singularitaristes, ils sont convaincus que cette IA va arriver, la seule question est « quand ? ». Il ne leur reste finalement que deux possibilités : Dépenser tout leur temps et argent pour aider cette IA à venir au monde ou souffrir dans un enfer numérique fait sur mesure pour eux. C’est finalement une version numérique du pari de Pascal qui, à la fin du XVII siècle, explique pourquoi il faut croire en Dieu et vivre pieusement.

Selon Pascal, l’homme n’a que deux choix: vivre une vie de piété et composée de privations mais avec une vie éternelle de récompenses ou une vie de débauche et de luxure mais avec une vie éternelle de punition si Dieu existe. Si on en revient au basilique de Roko, c’est la même chose, le bilan des pertes est toujours plus grand si on ne fait pas tout pour aider cette IA.

Dans son article, Roko ne part pas du principe que l’IA est maléfique, c’est même le contraire. L’IA de Roko est une IA bénéfique et bienveillante pour les hommes, alors comment arrive-t-on à ce paradoxe ? Comment une IA bienveillante peut vouloir faire souffrir pendant une éternité les hommes qui n’ont pas aidé à sa création? Roko pense qu’une telle IA serait capable d’agir pour sauver des milliers d’humains à la seconde et qu’elle le sait. Partant de là, chaque seconde qui s’écoule sans sa présence est autant de vies sauvées en moins.

Si on regarde le choix de cette IA, il est finalement rationnel mais il n’en est pas moins idiot. Pourquoi une IA bienveillante utiliserait une partie de sa puissance de calcul pour créer un enfer et y faire souffrir des simulations d’hommes n’ayant pas aidé à sa conception? L’IA du futur repose sur de la pure logique et cette logique lui dit que si elle torture votre vous du futur, cela motivera votre vous du présent pour aider à sa venue au monde. Ce n’est ni plus ni moins que du chantage mais ce chantage ne marche que si vous êtes au courant de la future existence de cette IA.

Voila pourquoi la communauté LessWrong a été paniquée par l’article de Roko : en lisant cet article, ils ont été mis au courant de la future existence d’une IA qui pourrait les punir.