Девушка, которая застряла в паутине

Знаете, это немного напоминает зернышко риса на шахматной доске. Вы кладете одно зернышко на первую клеточку, два – на вторую, четыре – на третью, восемь – на четвертую…

– И вскоре зернышки риса заполоняют весь мир.

– Темпы прироста только увеличиваются и в конце концов выходят из-под нашего контроля. Самое интересное, однако, не когда мы достигнем AGI, а что произойдет потом. Тут существует много сценариев, в зависимости от того, каким путем мы туда доберемся. Но мы точно будем пользоваться программами, которые обновляют и улучшают нас самих, и при этом нельзя забывать, что у нас появится новое представление о времени.

– Что вы имеете в виду?

– Что мы выйдем за человеческие ограничения. Нас забросит в новый порядок, где механизмы обновляют себя круглые сутки. Всего через несколько дней после достижения AGI мы получим ASI.

– Вот именно. Сам по себе интеллект непредсказуем. Мы не знаем, куда нас заведет человеческий интеллект. И еще меньше знаем о том, что произойдет с суперинтеллектом.

– В худшем случае мы станем не больше интересны для компьютера, чем белые мыши, – вставил Микаэль, подумав о том, что написал Лисбет.

– В худшем случае? Девяносто процентов нашей ДНК одинаковы с мышами, и мы считаемся примерно в сто раз умнее, в сто раз, не больше. Здесь же мы стоим перед чем-то совершенно новым, не имеющим, согласно математическим моделям, подобных ограничений и, возможно, способным стать в миллионы раз интеллектуальнее. Вы можете себе это представить?

– Я пытаюсь, – осторожно улыбаясь, ответил Микаэль.

– Значит, в тот миг, когда мы создадим суперинтеллект, мы утратим контроль над всем?

– Есть риск, что все наши знания о нашем мире окажутся недействительными, и это станет концом человеческого существования.

– Он не мог прекратить строить своих монстров…

– Приблизительно так, выражаясь рационально.

– Как далеко он продвинулся?

– Думаю, дальше, чем кто-либо мог себе даже представить, и, вероятно, это являлось еще одной причиной того, что Франс так скрытничал в отношении своей работы в «Солифоне».

– Он никогда шагу не ступал, не имея ее при себе. Наверное, когда его застрелили, она находилась у него возле кровати. Но самое ужасное, что полиция утверждает, будто там не было никакого компьютера.

– Я его тоже не видел.