ХАКНYТЬ ЧЕЛОВЕЧЕСТ­ВО

Мо­жет ли искус­ствен­ный ин­тел­лект по­бе­дить ра­зум

Ekspert - - ПЕРВАЯ СТРАНИЦА -

Искус­ствен­ный ин­тел­лект и все, что с ним свя­за­но, та­ит в се­бе мно­го угроз для че­ло­ве­че­ства. Что­бы сни­зить рис­ки, тре­бу­ет­ся ко­лос­саль­ная ко­ор­ди­на­ция меж­ду все­ми тех­но­ло­ги­че­ски про­дви­ну­ты­ми стра­на­ми. Без это­го в ла­бо­ра­то­ри­ях ро­дит­ся та­кое, что си­бир­ская яз­ва и ней­трон­ная бом­ба в ди­пло­ма­те по­ка­жут­ся ме­ло­чью. Ин­тер­вью с Сер­ге­ем Ка­ре­ло­вым

Глав­ная ге­ро­и­ня «Пя­то­го эле­мен­та», счи­ты­вав­шая мил­ли­о­ны стра­ниц тек­стов за несколь­ко ми­нут, при­шла на Зем­лю, что­бы спа­сти человечест­во. Она бы­ла по­ра­же­на де­фи­ци­том люб­ви к ближ­не­му на Зем­ле и, ес­ли бы не лич­ная при­вя­зан­ность к ге­рою Брю­са Уил­ли­са, не от­да­ла бы она в ру­ки че­ло­ве­ка спа­си­тель­ный пя­тый эле­мент. Но этот фильм был снят в еще гу­ман­ные 1980-е. Се­год­ня же, по­хо­ро­нив идеи гу­ма­низ­ма на ру­бе­же ве­ков, человечест­во про­сто бре­дит про­ры­вом в бу­ду­щее, ко­то­рое су­лят тех­но­ло­гии, скры­ва­ю­щи­е­ся под еди­ным брен­дом — «искус­ствен­ный ин­тел­лект». Бре­дит, в об­щем-то, не очень по­ни­мая, что за этим на­зва­ни­ем сто­ит, и не осо­зна­вая ни ре­аль­ных воз­мож­но­стей, ни ре­аль­ных угроз, ко­то­рые та­ит в се­бе оче­ред­ной ви­ток тех­но­ло­ги­че­ско­го про­грес­са. А ведь неко­то­рые по­ла­га­ют, что этот ви­ток мо­жет ока­зать­ся по­след­ним для че­ло­ве­че­ства в том ви­де, в ко­то­ром мы при­вык­ли се­бя осо­зна­вать.

О том, что та­кое ИИ, что он уме­ет се­год­ня и что бу­дет уметь очень ско­ро, есть ли для него мо­раль­ные огра­ни­че­ния и нуж­ны ли они, мы по­го­во­ри­ли с Сер­ге­ем Ка­ре­ло­вым, экс-топ-ме­не­дже­ром меж­ду­на­род­ных ИT-ком­па­ний IBM, CGI,

Cray, неза­ви­си­мым экс­пер­том, ве­ду­щим ав­тор­ско­го на­уч­но­по­пу­ляр­но­го ка­на­ла «Ма­ло­из­вест­ное ин­те­рес­ное».

— Об ис­кус­ствен­ном ин­тел­лек­те сей­час мно­го го­во­рят, но, ка­жет­ся, ни­кто тол­ком не по­ни­ма­ет, что это та­кое, ка­кой это на­бор тех­но­ло­гий, ре­ше­ний, ра­мок. Мы мо­жем на­чать с азов?

— Искус­ствен­ный ин­тел­лект — лишь вер­ши­на сло­жив­шей­ся тех­но­ло­ги­че­ской пи­ра­ми­ды. Го­во­рить се­год­ня от­дель­но об AI, от­дель­но о ма­шин­ном обу­че­нии, от­дель­но о рас­по­зна­ва­нии об­ра­зов, от­дель­но о Big Data бес­смыс­лен­но. Есть боль­шой кла­стер, ко­то­рый пе­ре­стал быть чи­сто ин­фор­ма­ци­он­ным. Ана­ли­ти­ки ком­па­нии Forrester еще пят­на­дцать лет на­зад ска­за­ли, что долж­на воз­ник­нуть business technology — ВТ. И это про­изо­шло. Бо­лее то­го, это ушло из биз­не­са, рас­про­стра­ни­лось и за­хва­ти­ло со­ци­аль­ную сфе­ру и по­ли­ти­ку. Но на вер­шине это­го слож­но­го на­бо­ра тех­но­ло­гий есть некий кла­стер су­ма­сшед­ших тех­но­ло­гий, ко­то­рые, устро­ив ги­гант­скую пу­та­ни­цу, все на­зы­ва­ют ис­кус­ствен­ным ин­тел­лек­том. Здесь и то, что AI обыг­ры­ва­ет че­ло­ве­ка в шах­ма­ты, в го, в стре­лял­ки. Здесь и угро­зы: ро­бо­ты вы­тес­нят де­сят­ки мил­ли­о­нов ра­бо­чих. В об­щем, су­ма­сшед­ший за­мес идей, угроз, воз­мож­но­стей.

— Мож­но ли стро­го опре­де­лить класс за­дач, ра­ди ко­то­рых по­явил­ся искус­ствен­ный ин­тел­лект?

— Сам тер­мин «искус­ствен­ный ин­тел­лект» име­ет две­сти офи­ци­аль­ных опре­де­ле­ний. Его ис­поль­зу­ют для ши­ро­чай­ше­го кру­га об­ла­стей тех­ни­ки, биз­не­са, раз­лич­но­го ро­да гу­ма­ни­тар­ных, со­ци­аль­ных, по­лит­тех­но­ло­ги­че­ских ис­сле­до­ва­ний. В ито­ге тер­мин про­сто пред­став­ля­ет со­бой ни­что. И ес­ли мы пы­та­ем­ся го­во­рить об ис­кус­ствен­ном ин­тел­лек­те, мы долж­ны опре­де­лить­ся, о чем мы хо­тим по­го­во­рить — о вли­я­нии на вы­бо­ры или о том, как хакнуть человечест­во.

— Тем не ме­нее у это­го же есть ка­кой-то об­щий ко­рень?

— Нет.

— Я при­ве­ду про­стой при­мер. Три­го­но­мет­рия ро­ди­лась как на­у­ка, за­да­чей ко­то­рой бы­ло опи­са­ние тра­ек­то­рии по­ле­та яд­ра.

— Со­вер­шен­но вер­но.

— А искус­ствен­ный ин­тел­лект ро­дил­ся за­чем?

— В том, для че­го он ро­дил­ся, он со­всем не при­го­дил­ся. Ро­дил­ся искус­ствен­ный ин­тел­лект боль­ше пя­ти­де­ся­ти лет на­зад из вполне кон­крет­ной за­да­чи. Ком­пью­те­ры уже бы­ли, и они на тот мо­мент пре­крас­но счи­та­ли. И вот ре­ши­ли со­здать про­грам­му, ко­то­рая бу­дет так же ум­на, как че­ло­век. По су­ти, сыми­ти­ро­вать че­ло­ве­ка. И это на­зва­ли «искус­ствен­ный ин­тел­лект». И трид­цать пять лет лю­ди за­ни­ма­лись имен­но этим. А по­том по­ня­ли, что с прак­ти­че­ской точ­ки зре­ния ни чер­та не по­лу­ча­ет­ся — на че­ло­ве­ка это не силь­но по­хо­же и по­хо­же не ста­но­вит­ся. Но вы­лез­ла ку­ча смеж­ных за­дач: ав­то­ма­ти­че­ский пе­ре­вод, рас­по­зна­ва­ние об­ра­зов, — на ко­то­рых мож­но за­ра­ба­ты­вать день­ги. И то­гда имен­но про это ста­ли го­во­рить, что мы ре­ша­ем за­да­чу раз­ви­тия ис­кус­ствен­но­го ин­тел­лек­та. А ка­кую за­да­чу? А вот в Гуг­ле мы вме­сто линг­ви­сти­че­ско­го де­ре­ва для пе­ре­во­да с од­но­го язы­ка на дру­гой вклю­ча­ем ма­шин­ное обу­че­ние. И ма­ши­на са­ма пе­ре­во­дит, ана­ли­зи­руя мил­ли­ар­ды по­доб­ных тек­стов. Искус­ствен­ный ин­тел­лект? Да. А ка­кое это от­но­ше­ние име­ет к пер­во­на­чаль­ной за­да­че? Ни­ка­ко­го.

Или на­ча­ли де­лать рас­по­зна­ва­ние об­ра­зов. Рас­по­зна­ем всех: ко­шек, со­бак, лю­дей. А ка­кое это име­ет от­но­ше­ние к той, пер­во­на­чаль­ной за­да­че? Ни­ка­ко­го.

Тем не ме­нее в рам­ках ре­ше­ния этих за­дач по­ня­ли од­но: ин­тел­лект как спо­соб ре­ше­ния ин­фор­ма­ци­он­ных за­дач яв­ля­ет­ся ча­стью то­го, что на­зы­ва­ет­ся ра­зум, но не ос­нов­ной ча­стью. И ес­ли вы ими­ти­ру­е­те эту вы­чис­ли­тель­ную часть, то у вас по­лу­ча­ет­ся очень кра­си­во на­ри­со­ван­ный тигр, ко­то­рый то­го и гля­ди прыг­нет, но мы точ­но зна­ем, что он не прыг­нет. Ведь кро­ме ра­зу­ма есть еще со­зна­ние, и это со­всем дру­гая шту­ка. И вы­яс­ня­ет­ся, что без оте­лес­ни­ва­ния, без вза­и­мо­от­но­ше­ния со сре­дой, без эмо­ций тут во­об­ще не о чем го­во­рить. А зна­чит, что та пер­вая по­ста­нов­ка за­да­чи — сде­лать ма­шин­ный ин­тел­лект, ана­ло­гич­ный че­ло­ве­че­ско­му, — бы­ла некор­рект­ная, при­ми­тив­ная.

— Изна­чаль­ная за­да­ча бы­ла боль­ше про вы­чис­ле­ния?

— Еще раз, пер­вая за­да­ча ис­кус­ствен­но­го ин­тел­лек­та бы­ла та­кая: да­вай­те со­зда­дим про­грам­му, ко­то­рая бу­дет по сво­им ин­тел­лек­ту­аль­ным спо­соб­но­стям со­из­ме­ри­ма с че­ло­ве­ком.

Ин­тел­лект как спо­соб ре­ше­ния ин­фор­ма­ци­он­ных за­дач яв­ля­ет­ся ча­стью то­го, что на­зы­ва­ет­ся ра­зум, но не ос­нов­ной ча­стью. Кро­ме ра­зу­ма есть еще со­зна­ние, и это со­всем дру­гая шту­ка. Без оте­лес­ни­ва­ния, без вза­и­мо­от­но­ше­ния со сре­дой, без эмо­ций тут во­об­ще не о чем го­во­рить

— То есть без ка­кой-то при­вяз­ки к кон­крет­ным за­да­чам?

— Да. Лю­бая за­да­ча. Ма­ши­на долж­на бы­ла уметь то, что уме­ет че­ло­век: и рас­по­зна­вать, и го­во­рить, и чи­тать, и по­ни­мать. Мак­си­мум, че­го до­би­лись на се­го­дняш­ний день с точ­ки зре­ния прак­ти­че­ско­го при­ме­не­ния, — это то, что по­ка­за­ла IBM две неде­ли на­зад на сво­ем про­ек­те Debater.

Есть та­кая про­грам­ма Debater. В ка­кой-то мо­мент ста­ло яс­но, что на чи­сто вы­чис­ли­тель­ных за­да­чах, где есть ис­чис­ли­мое мно­же­ство ва­ри­ан­тов, та­ких как шах­ма­ты, го и да­же ком­пью­тер­ные иг­ры, че­ло­ве­ку «ло­вить» нече­го. Эти вы­чис­ли­тель­ные за­да­чи пре­крас­но ре­ша­ют­ся в лоб ма­шин­ным обу­че­ни­ем, боль­ши­ми вы­чис­ли­тель­ны­ми мощ­но­стя­ми. И их да­же не надо учить. До­ста­точ­но на­пи­сать од­ну про­грам­му обу­че­ния, по­ста­вить два ком­пью­те­ра, и они на­чи­на­ют учить друг дру­га. Да­же ес­ли не со­об­щать им пра­ви­ла иг­ры, а толь­ко по­ка­зать несколь­ко игр и ска­зать: даль­ше так же иг­рай­те са­ми.

— И как дол­го они учат­ся?

— По­след­ний опыт, ко­то­рый и по­верг всех в пол­ное за­ме­ша­тель­ство, по­ка­за­ла про­грам­ма AlphaZero. За од­ни сут­ки эти про­грам­мы, учась иг­рать с ну­ля, до­стиг­ли уров­ня иг­ры, при ко­то­ром бес­смыс­лен­но под­со­вы­вать лю­бо­го дру­го­го иг­ро­ка, жи­во­го ли, ком­пью­тер­ную про­грам­му. Они их про­сто раз­де­ла­ют как щен­ка.

— По­нят­но почему?

— Ко­неч­но. Ес­ли в за­да­че есть пря­мой пе­ре­бор ва­ри­ан­тов, то это озна­ча­ет, что надо най­ти игол­ку в сто­ге се­на. А для это­го нуж­но рас­смот­реть сто мил­ли­о­нов со­ло­ми­нок и срав­нить каж­дую, не яв­ля­ет­ся ли она игол­кой. Для то­го что­бы срав­нить сто мил­ли­о­нов со­ло­ми­нок со ско­ро­стью че­ло­ве­че­ской ра­бо­ты, по­тре­бу­ет­ся, до­пу­стим, две ты­ся­чи лет. А ком­пью­тер сде­ла­ет это за пять се­кунд.

Но это лишь в том слу­чае, ес­ли за­да­ча вы­чис­ли­мая. Как толь­ко за­да­ча ста­но­вит­ся невы­чис­ли­мая, а та­ких за­дач боль­шин­ство, надо при­ду­мы­вать, как это де­лать. И вот в по­след­нем ай­би­эмов­ском про­ек­те Debater они вер­ну­лись к той клас­си­че­ской за­да­че, с ко­то­рой на­чи­нал­ся искус­ствен­ный ин­тел­лект, — к те­сту Тью­рин­га. То есть пы­та­лись до­бить­ся то­го, что­бы, раз­го­ва­ри­вая с ком­пью­те­ром, вы не смог­ли от­ли­чить, с кем вы го­во­ри­те — с че­ло­ве­ком или с ком­пью­те­ром. Ес­ли это­го до­бить­ся, то мож­но счи­тать, что ком­пью­тер до­стиг че­ло­ве­че­ско­го уров­ня.

Пер­вые про­грам­мы ти­па «Эли­за» бы­ли на­пи­са­ны пять­де­сят лет на­зад. Они об­ме­ни­ва­лись ин­фор­ма­ци­ей пись­мен­но, но лю­ди с боль­шим тру­дом от­ли­ча­ли ком­пью­тер от че­ло­ве­ка. По­том ком­пью­те­ры на­учи­ли с по­мо­щью глу­бо­ко­го обу­че­ния го­во­рить и по­ни­мать сло­ва.

Но все это бы­ло не то. Ну от­ве­ча­ет на во­про­сы, по­хо­жа на че­ло­ве­ка, а спро­сишь — что с внуч­кой де­лать, она ска­жет: это слож­ный во­прос, мо­ло­дежь, с ней надо быть очень ак­ку­рат­ным. По­лу­чив де­ся­ток та­ких от­ве­тов, по­ни­ма­ешь, что все рав­но она ни­че­го не по­ни­ма­ет.

В Debater по­пы­та­лись све­сти по­ни­ма­ние к вы­чис­ли­тель­ной за­да­че и мо­ди­фи­ци­ро­ва­ли за­да­чу. Че­ло­век бу­дет со­рев­но­вать­ся с ком­пью­те­ром в де­ба­тах. Тема де­ба­тов бу­дет сюр­при­зом для обо­их. На­при­мер, нуж­но ли го­су­дар­ству бюд­же­ти­ро­вать школь­ное об­ра­зо­ва­ние? По­сле то­го как тема названа, и че­ло­ве­ку, и ком­пью­те­ру да­ет­ся пят­на­дцать ми­нут на под­го­тов­ку ре­чи. Че­ло­век про­из­но­сит свой спич, ком­пью­тер про­из­но­сит. В дан­ном слу­чае уже точ­но про­из­но­сит, го­во­рит есте­ствен­ным язы­ком. Все это слу­ша­ет те­ле­ви­зи­он­ная ау­ди­то­рия и го­ло­су­ет. Пер­вое го­ло­со­ва­ние про­во­дит­ся до то­го, как вы­ска­за­лись де­ба­те­ры. Про­сто спра­ши­ва­ют лю­дей: как вы счи­та­е­те, долж­но го­су­дар­ство в это де­ло лезть или нет? Семь­де­сят де­вять про­цен­тов ска­за­ли, что долж­но, три­на­дцать про­цен­тов, что нет.

По­сле пят­на­дца­ти­ми­нут­ной под­го­тов­ки каж­дая из сто­рон рас­ска­зы­ва­ет свою по­зи­цию. По­том да­ет­ся еще вре­мя, что­бы сто­ро­ны про­ана­ли­зи­ро­ва­ла по­зи­цию дру­гой сто­ро­ны и вы­шли с де­ба­та­ми, раз­би­вая ар­гу­мен­ты про­тив­ни­ка, до­бав­ляя свои ар­гу­мен­ты и за­би­вая по­след­ний гвоздь в крыш­ку. Ито­го у оп­по­нен­тов бы­ло пят­на­дцать ми­нут на под­го­тов­ку, че­ты­ре — на из­ло­же­ние сво­их ар­гу­мен­тов, че­ты­ре — на опро­вер­же­ние чу­жих и два — на ре­зю­ме. По­сле это­го лю­ди еще раз го­ло­су­ют и в за­ви­си­мо­сти от то­го, в чью поль­зу из­ме­ни­лось со­от­но­ше­ние, ре­ша­ют, кто вы­иг­рал. В дан­ном слу­чае вы­иг­рал че­ло­век, ан­гли­ча­нин Ха­риш На­та­рай­ан, ему трид­цать один год, чем­пи­он ми­ра по де­ба­там, ра­бо­та­ю­щий в кон­сал­тин­го­вой ком­па­нии по оцен­ке рис­ков. Очень крутой дядь­ка. Что-то сред­нее меж­ду Ур­ган­том и Спи­но­зой. Умен, шу­стер, ре­ак­ти­вен. По­зи­ция го­ло­су­ю­щих на сем­на­дцать про­цен­тов сме­сти­лась в его поль­зу.

— Вы­иг­рал в ка­ком смыс­ле?

— Хит­рость за­клю­ча­ет­ся в том, что у ма­ши­ны нет по­зи­ции. Она все зна­ет, но по­зи­ции у нее нет. И по­то­му пер­вым го­во­рит че­ло­век. В дан­ном слу­чае че­ло­век обос­но­вы­вал, что го­су­дар­ству нече­го де­лать в школь­ном об­ра­зо­ва­нии. А ком­пью­тер по оста­точ­но­му прин­ци­пу дол­жен был аги­ти­ро­вать «за». Он за эти пят­на­дцать ми­нут про­ана­ли­зи­ро­вал че­ты­ре мил­ли­ар­да до­ку­мен­тов и вы­дал очень хо­ро­шую речь на ос­но­ве ги­гант­ско­го опы­та се­ми­де­ся­ти двух стран за по­след­ние шесть­де­сят лет, обоб­щив все в циф­рах и гра­фи­ках.

— И тем не ме­нее на­род про­го­ло­со­вал за че­ло­ве­ка?

— Да. Ведь че­ло­век го­во­рит эмо­ци­о­наль­но, а у ком­пью­те­ра эмо­ции нет, и он по опре­де­ле­нию про­иг­ры­ва­ет. Он го­во­рит ве­щи ум­ные, пра­виль­ные. Ана­ли­зи­руя и раз­би­вая ар­гу­мен­ты че­ло­ве­ка во вто­рой ре­чи, ком­пью­тер про­сто раз­ма­зал его. Но про­иг­рал.

— И ма­ши­на вос­при­ни­ма­ет этот про­иг­рыш как свое еще не­до­ста­точ­ное раз­ви­тие?

— Ма­ши­на это ни­как не вос­при­ни­ма­ет.

— Я имею в ви­ду тех, кто эту раз­ра­бот­ку де­ла­ет. Здесь есть об­рат­ная связь или нет?

В Debater IBM по­пы­та­лась све­сти по­ни­ма­ние к вы­чис­ли­тель­ной за­да­че

— Раз­ра­бот­чи­ки зна­ли, что ма­ши­на про­иг­ра­ет, не­смот­ря на то что она вла­де­ет во­про­сом на по­ря­док луч­ше лю­бо­го дру­го­го спе­ци­а­ли­ста. Бо­лее то­го, она об­ла­да­ет весь­ма се­рьез­ны­ми ло­ги­че­ски­ми спо­соб­но­стя­ми. Она пре­крас­но по­ни­ма­ет се­ман­ти­ку ар­гу­мен­тов, рас­кла­ды­ва­ет ар­гу­мен­ты че­ло­ве­ка на со­став­ля­ю­щие и для каж­дой со­став­ля­ю­щей стро­ит схе­му ан­ти­убеж­де­ния, под­кла­ды­вая под нее ко­лос­саль­ный кор­пус до­ку­мен­таль­ных и экс­пе­ри­мен­таль­ных дан­ных. Но, не об­ла­дая эмо­ци­я­ми, она не в со­сто­я­нии убе­дить.

— А в чем за­да­ча?

— То, что сде­лал сей­час IBM Debater, — очень се­рьез­ный про­рыв. И за­да­ча ре­ша­лась един­ствен­ная. По­след­ние два­дцать пять лет ушли на то, что­бы по­нять, что ин­тел­лект — это про­сто вы­чис­ле­ния. При­чем вы­чис­ле­ния, вы­пол­ня­е­мые ней­рон­ной се­тью, не име­ю­щей ал­го­рит­ма. Про­сто мно­го-мно­го дан­ных. Они об­ра­ба­ты­ва­ют­ся, и по­лу­ча­ет­ся ин­тел­лек­ту­аль­ное ре­ше­ние вы­чис­ли­тель­ной за­да­чи. А IBM по­ста­ви­ла за­да­чу до­ка­зать, что и по­ни­ма­ние то­же мо­жет быть вы­чис­ле­ни­ем. Как? А вот так. У ма­ши­ны же не бы­ло ал­го­рит­ма по­ни­ма­ния, а она по­ня­ла во­прос. Бо­лее то­го, она по­ня­ла ар­гу­мен­ты че­ло­ве­ка. И она пы­та­лась над ним из­де­вать­ся, шу­тить, при­во­дя контр­ар­гу­мен­ты и по­ка­зы­вая, нас­коль­ко он да­лек от ис­ти­ны. Но она-то ни­че­го не по­ни­ма­ет. Та­ким об­ра­зом, уда­лось пре­вра­тить по­ни­ма­ние в вы­чис­ле­ния. Хо­тя мир это­го не по­нял.

Нас ха­ка­ют с утра до но­чи

— Что даль­ше бу­дет с этим по­ни­ма­ни­ем? Сей­час сде­ла­ли шаг, до­ка­за­ли, что это то­же ал­го­ритм. Ес­ли, на­при­мер, с рас­чет­ны­ми за­да­ча­ми до­шли до шах­мат и где-то оста­но­ви­лись, то что бу­дут де­лать с этим по­ни­ма­ни­ем?

— Вы чи­та­ли Юва­ла Ноя Ха­ра­ри?

— Нет.

— Sapiens, Homo Deus, «21 урок XXI ве­ка», очень ре­ко­мен­дую. Че­ло­век уни­каль­ный. Ни чер­та не по­ни­ма­ет в пред­ме­те, но за счет пра­виль­но­го строя моз­гов и то­го, что за­ни­ма­ет­ся чест­но и го­во­рит с людь­ми, ко­то­рые ему не ве­ша­ют лап­шу на уши, он очень хо­ро­шо все ре­зю­ми­ру­ет и объ­яс­ня­ет.

В част­но­сти, Ха­ра­ри пи­шет, что сре­ди трех глав­ных вы­зо­вов, ко­то­рые сто­ят пе­ред че­ло­ве­че­ством, пер­вый — из­ме­не­ние кли­ма­та. Вто­рой — ядер­ная вой­на. И тре­тий — что моз­ги че­ло­ве­ка за счет до­сти­же­ний AI мо­гут хакнуть.

AI — это фак­ти­че­ски спле­те­ние ин­фо­те­ха и био­те­ха. На про­тя­же­нии мно­гих лет в ин­фо­те­хе за­ни­ма­лись ре­ше­ни­ем той за­да­чи, о ко­то­рой я го­во­рил сна­ча­ла, по­том ку­чей дру­гих за­дач. А сей­час на но­вом ка­че­ствен­ном эта­пе вдруг при­шли к той же са­мой за­да­че, но уже по­ни­мая, что ин­тел­лект — это од­но, ра­зум — дру­гое, со­зна­ние — тре­тье. И воз­мож­но­сти со­всем дру­гие: IBM ими­ти­ру­ет по­ни­ма­ние. И это озна­ча­ет, что в ин­фо­те­хе про­дви­га­ют­ся к то­му, что­бы су­меть скон­стро­лить и ин­тел­лект, и ра­зум, и со­зна­ние. А па­рал­лель­но идет био­тех, ко­то­рый за­ни­мал­ся ДНК, ге­не­ти­кой, клет­кой, ген­ной мо­ди­фи­ка­ци­ей, ство­ло­вы­ми клет­ка­ми, му­тан­та­ми. Но в ито­ге опять все при­шло к моз­гу. В цен­тре аме­ри­кан­ской про­грам­мы Brain — мозг, мыш­ле­ние. Ана­ло­гич­но в Ев­ро­пе и Ки­тае. И вот тут био­тех и ин­фо­тех спле­лись. И на их спле­те­нии по­явил­ся фе­но­мен, о ко­то­ром пи­шет Ха­ра­ри. Он за­клю­ча­ет­ся в том, что уже су­ще­ству­ю­щие тех­но­ло­гии поз­во­ля­ют ле­гонь­ко хакнуть че­ло­ве­че­ские моз­ги — как от­дель­но­го че­ло­ве­ка, так и це­ло­го на­ро­да.

— Как?

— Нач­нем, с то­го, что нас ха­ка­ют с утра до но­чи. На­ши пред­по­чте­ния не на­ши, а пред­по­чте­ния по­ис­ко­ви­ков. Ес­ли вам нуж­но со­брать ин­фор­ма­цию по ка­ко­му-то во­про­су, вы не пой­де­те смот­реть на так­со­но­мию в Би­б­лио­те­ке име­ни Ле­ни­на, а по­ле­зе­те в ин­тер­нет. И в луч­шем слу­чае посмот­ри­те три пер­вые стра­ни­цы, уй­де­те в ссыл­ки, пе­рей­де­те к сле­ду­ю­щим, спро­си­те еще раз и в ито­ге вот так вот ско­ло­ти­те се­бе весь­ма…

— …ис­ка­жен­ное пред­став­ле­ние о пред­ме­те.

— Вы во­об­ще не зна­е­те ка­кое. В лю­бом слу­чае оно вам бу­дет в го­ло­ву встав­ле­но, и ва­ри­ан­тов у нас нет. И это ка­са­ет­ся не толь­ко по­треб­ле­ния ин­фор­ма­ции. Ес­ли вы за­хо­те­ли ку­пить се­бе туфли и сде­ла­ли несколь­ко за­про­сов, по­сле это­го вас три неде­ли бу­дут за­ва­ли­вать кон­текст­ной ре­кла­мой этих ту­фель.

— Это по­нят­но. А еще?

— Что зна­чит «еще»? Ки­но — си­сте­мы пред­по­чте­ний. При по­куп­ках в ма­га­зи­нах ана­ли­зи­ру­ют пред­по­чте­ния, мо­де­ли­ру­ют ваш пси­хо­ло­ги­че­ский строй вы­бо­ра и под­со­вы­ва­ют под­хо­дя­щее.

— Вы ска­за­ли, что про­изо­шло спле­те­ние био­те­ха и ин­фо­те­ха…

— Я сей­час к это­му при­ду. Ес­ли вы го­ло­су­е­те за по­ли­ти­ка, то вас то­же хак­ну­ли. Вся­кие там Cambridge Analytica и про­чее. Они де­ла­ют при­ми­тив­ные ве­щи, но это ра­бо­та­ет. Они дей­стви­тель­но го­во­рят, что ес­ли сред­не­му аме­ри­кан­цу раз в день по­ка­зы­вать опре­де­лен­ную кар­тин­ку, то ве­ро­ят­ность, что он про­го­ло­су­ет за Трам­па, вы­рас­тет на двенадцать про­цен­тов. А на кар­тин­ке ка­кая-то тет­ка с пив­ной круж­кой и с со­сис­кой. Почему? По­то­му. Ал­го­ритм го­во­рит, что та­кая кар­тин­ка скло­ня­ет пред­по­чте­ния в поль­зу Трам­па.

Воз­вра­ща­ясь к ин­фо­те­ху и био­те­ху. По­ка я го­во­рил толь­ко о том, что де­ла­ет ин­фо­тех. Но па­рал­лель­но, на­при­мер, вра­чи на­учи­лись всо­вы­вать со­от­вет­ству­ю­щий то­нень­кий элек­тро­дик в точ­ку, и че­ло­век на­чи­на­ет ли­хо­ра­доч­но сме­ять­ся и ста­но­вит­ся до­воль­ным. При­чем это про­изо­шло дав­но. За по­след­ние два-три го­да до­стиг­ли уже су­ма­сшед­ших воз­мож­но­стей, ко­гда, на­при­мер, мо­гут опре­де­лить ней­ро­ны, от­ве­ча­ю­щие от­дель­но за Бу­ша, за Трам­па, за Кон­до­ли­зу Райс…

— Да лад­но…

— Это ме­ди­цин­ский факт. Бо­лее то­го, пло­хо ли, хо­ро­шо ли, но на­учи­лись чи­тать мыс­ли. Да, по­ка это вы­гля­дит пре­дель­но по­га­но, но вы­яс­ни­лось, что не надо чи­тать мыс­ли как тек­сты.

При­ве­ду при­мер. Вот ки­тай­ская си­сте­ма со­ци­аль­но­го рей­тин­го­ва­ния. Ес­ли вы ве­де­те пас­сив­ный об­раз жиз­ни, ни­чем не ин­те­ре­су­е­тесь, не чи­та­е­те, не смот­ри­те, то у вас по­ни­жа­ет­ся со­ци­аль­ный рей­тинг. На крас­ный свет пе­ре­хо­ди­те до­ро­гу, ка­рье­рой сво­ей не за­ни­ма­е­тесь — опять по­ни­жа­ет­ся со­ци­аль­ный рей­тинг, ко­то­рый уже мно­гое вам не поз­во­ля­ет. Это ра­бо­та­ет ин­фо­тех, ко­то­рый за ва­ми на­блю­да­ет, оце­ни­ва­ет и вы­но­сит ре­ше­ние.

А ря­дом ра­бо­та­ет био­тех. Ча­си­ки ме­ря­ют био­мет­ри­че­ские дан­ные — ваш пульс и дав­ле­ние. Сей­час уже очень мно­го че­го ме­ря­ют. Бо­лее то­го, хит­рость за­клю­ча­ет­ся в том, что ес­ли вы ме­ря­е­те очень-очень мно­го де­сят­ков мил­ли­о­нов лю­дей, то пре­сло­ву­тый искус­ствен­ный ин­тел­лект в со­сто­я­нии вы­де­лять пат­тер­ны, ко­то­рые по ми­ни­маль­но­му ко­ли­че­ству па­ра­мет­ров — на­при­мер, по ча­сто­те сер­деч­ных со­кра­ще­ний, рит­му серд­ца, дви­же­нию ва­ших зрач­ков — все это об­ра­ба­ты­ва­ют… И вот те­перь пред­ставь­те, воз­вра­ща­ясь к си­сте­ме ки­тай­ско­го рей­тин­га, взгля­нул че­ло­век на фо­то­гра­фии Си Цзинь­пи­на, и си­сте­ма по­ка­зы­ва­ет, что нена­ви­дит он его. И хак­ну­ли че­ло­ве­ка. Во-пер­вых, про­чли его мыс­ли и эмо­ции по от­но­ше­нию к то­ва­ри­щу Си Цзинь­пи­ну.

— А хак­ну­ли в смыс­ле че­рез ин­фор­ма­цию, я на­де­юсь, по­ка?

— Нет. Они хак­ну­ли его на био­уровне.

— Ка­ким об­ра­зом?

— Ес­ли укра­ли ва­ши дан­ные из ком­пью­те­ра, вас хак­ну­ли.

— Укра­ли, по­нят­но. Я име­ла в ви­ду — из­ме­ни­ли. По­ка еще не до­шло до это­го на био­ло­ги­че­ском уровне?

— Нет, до­шло. Сей­час уже есть ле­кар­ства, раз­мяг­ча­ю­щие на ма­нер хо­ро­ше­го нар­ко­ти­ка. Все это в ла­бо­ра­то­ри­ях. Фе­де­раль­ная ко­мис­сия еще это не про­пус­ка­ет, но уже есть пре­па­рат. А есть спо­со­бы неме­ди­ка­мен­тоз­но­го воз­дей­ствия. Я при­ве­ду лишь один при­мер. Бы­ва­ет, что под­час, по­смот­рев на спи­ну, за­ты­лок че­ло­ве­ка, вы ду­ма­е­те: как же он ме­ня нена­ви­дит?

— Бы­ва­ет.

— Или во­прос о кол­лек­тив­ной пе­ре­да­че эмо­ций. Почему на ста­ди­оне так за­ра­жа­ет по­ве­де­ние тол­пы, а си­дя за те­ле­ви­зо­ром, не за­ра­жа­ешь­ся этой эмо­ци­ей? Ви­ди­мо, там что-то про­ис­хо­дит. А что?

И на­ко­нец, ка­ким об­ра­зом лю­ди счи­ты­ва­ют эмо­ции и пе­ре­да­ют их, на­при­мер, в му­зы­ке? Ведь есть же пар­ти­ту­ра. Мож­но сыг­рать так, а мож­но так. По­гром­че, по­ти­ше, из­ме­нить ритм.

Ко­ро­че, не бу­ду вас уво­дить в еще од­ну су­ма­сшед­шую сто­ро­ну, но ре­зуль­тат — сде­ла­ли эту ра­бо­ту, вы­яс­ни­ли. Су­масшед­шая ма­те­ма­ти­ка, так на­зы­ва­е­мая ве­ро­ят­ность Грейн­дже­ра, некор­ре­ля­ци­он­ный ана­лиз. С по­мо­щью язы­ка те­ла пе­ре­да­ют­ся эмо­ции. Так как у нас есть ста­рый мозг, ко­то­рый уме­ет опе­ри­ро­вать невер­баль­ны­ми по­ня­ти­я­ми. Он ра­бо­та­ет на уровне об­ра­бот­ки эмо­ций. У нас есть сиг­наль­ная си­сте­ма, при­мер­но та­кая же, как у пче­лы, ко­то­рая рас­ска­зы­ва­ет сво­им по­дру­гам при помощи тан­ца, ку­да ле­теть, как там и что там. И вот эта си­сте­ма невер­баль­ных ком­му­ни­ка­ций ис­поль­зу­ет­ся му­зы­кан­та­ми — для пе­ре­да­чи эмо­ций. Бо­лее то­го, на­учи­лись чи­тать их.

— А чи­та­ют как?

— На них на­де­ли ко­стю­мы motion capture, при­ду­ман­ные в Silicon Graphics. Со­бра­ли очень хо­ро­ших му­зы­кан­тов и по­про­си­ли: «Ре­бя­та, сей­час ис­пол­ня­е­те — ни­ка­ких эмо­ций. По пар­ти­ту­ре». За­пи­са­ли. Сня­ли ки­ло­тон­ны дан­ных по то­му, как они се­бя ве­дут. Это не то, что там на­клон го­ло­вы. Тон­чай­шие на­блю­де­ния: ско­рость, дви­же­ние каж­дой мыш­цы. Все это сни­ма­ет­ся, оциф­ро­вы­ва­ет­ся. По­том го­во­рят: «А те­перь с ду­шой». И вы­яс­ни­лось, что сам про­цесс ис­пол­не­ния хо­ро­ши­ми му­зы­кан­та­ми — огром­ная си­сте­ма. В лю­бой мо­мент су­ще­ству­ет эмо­ци­о­наль­ный ли­дер, ко­то­рый ве­дет за со­бой и ди­ри­жи­ру­ет эмо­ци­я­ми кру­че, чем ди­ри­жер. Осталь­ные сле­ду­ют. По­том про­ис­хо­дит пе­ре­хват ли­дер­ства, и за но­вым на­чи­на­ют ид­ти осталь­ные. И пошло, и пошло. Вы­яс­ня­ет­ся, что это ра­бо­та­ет и на ста­ди­оне, по­это­му вы се­бя так ве­де­те. И по спине вы опре­де­ля­е­те, что он вас нена­ви­дит. И во­об­ще, му­зы­ка по­ка­за­ла, что глу­бин­ная сиг­наль­ная си­сте­ма — ку­да бо­лее мощ­ная, прав­ди­вая и эф­фек­тив­ная, чем сло­вес­ные ком­му­ни­ка­ции.

— Как?

— Один при­мер из од­ной ла­бо­ра­то­рии про­шлой неде­ли. Из ко­стю­мов для motion capture ро­ди­лись ко­стю­мы для вир­ту­аль­но­го сек­са, они мо­гут воз­дей­ство­вать на опре­де­лен­ные точ­ки. И в прин­ци­пе, про­гресс су­ще­ствен­но про­дви­нул­ся, и мож­но вы­зы­вать эмо­ци­о­наль­ный ду­хов­ный подъ­ем у че­ло­ве­ка, на­дев на него ко­стюм. Вполне мож­но от­ка­зать­ся от всех осталь­ных ви­дов эн­тер­тей­н­мен­та. Ки­но, те­атр, спорт — все ухо­дит на вто­рой план, по­то­му что это ку­да эф­фек­тив­нее, де­шев­ле и мощ­нее. Это к во­про­су о ха­кин­ге.

— Вы ме­ня про­сто пу­га­е­те.

— А ес­ли вы это сде­ла­е­те — а лю­ди все рав­но на это ку­пят­ся, — то мож­но и под­кру­тить, что­бы воз­дей­ство­вать не толь­ко на эмо­ции, но и на вы­бор, при­мер­но так же, как на уровне ин­фо­те­ха это де­ла­ет­ся с по­ис­ко­вой вы­да­чей. Соб­ствен­но, об этом и пи­шет Ха­ра­ри: ал­го­рит­мы ха­ка­ют нас, по­то­му что ал­го­рит­мы луч­ше ма­мы и луч­ше нас са­мих зна­ют нас. Кто зна­ет, ка­кой бу­дет ре­зуль­тат у ра­бо­ты о пе­ре­да­че эмо­ций при помощи язы­ка те­ла. Мо­жет быть, дик­тор, ко­то­рый осво­ит этот язык те­ла, бу­дет спо­со­бен вну­шать луч­ше, чем лю­бой Ка­шпи­ров­ский. До­ста­точ­но бу­дет Ка­те Ан­дре­евой па­ру раз по­ве­сти пле­ча­ми, как воз­дей­ствие то­го, о чем она го­во­рит, воз­рас­тет на по­ря­док.

Это не оста­но­вить

— Это, без­услов­но, очень впе­чат­ля­ет, но воз­ни­ка­ет во­прос: а кто-ни­будь ду­ма­ет о том, как это оста­но­вить?

— Нет, по­то­му что оста­но­вить это невоз­мож­но. Человечест­во все­гда от­ли­ча­лось тем, что за­ме­ча­тель­но при­ду­мы­ва­ет что-ли­бо, но очень ла­жа­ет­ся на пред­мет то­го, как это пра­виль­но при­ме­нить. Ко­гда Нильс Бор ри­со­вал яд­ро ато­ма, он во­все не пла­ни­ро­вал уни­что­жать человечест­во.

— Это по­нят­ная ана­ло­гия.

— Здесь ров­но то же са­мое. Ни­кто не при­ду­мы­вал та­ких ве­щей для зло­го умыс­ла, но оста­но­вить это невоз­мож­но. Тре­бу­ет­ся ко­лос­саль­ная ко­ор­ди­на­ция меж­ду все­ми тех­но­ло­ги­че­ски про­дви­ну­ты­ми стра­на­ми. Без это­го в ла­бо­ра­то­ри­ях ро­дит­ся та­кое, что си­бир­ская яз­ва и ней­трон­ная бом­ба в ди­пло­ма­те по­ка­жут­ся ме­ло­чью.

— То есть пра­виль­но ли я по­ни­маю, что все эти рас­по­зна­ва­ние об­ра­зов, бес­пи­лот­ный ав­то­мо­биль и про­чее — это про­сто кру­пи­ца из это­го огром­но­го ми­ра, ко­то­рый…

— Да. Ча­стич­ка. Это при­горш­ня мо­за­ич­ных шту­чек, пе­ре­би­рая ко­то­рые мож­но за­ра­ба­ты­вать день­ги. Но это не име­ет ни­ка­ко­го от­но­ше­ния к то­му, что пред­став­ля­ет со­бой мо­за­и­ка и что мож­но по­нять из нее. Бе­да в том, что 99 и 9 в пе­ри­о­де спе­ци­а­ли­стов за­ни­ма­ют­ся этим как биз­не­сом, за­ра­ба­ты­ва­ют день­ги. И вы­яс­ни­лось, что за­ра­ба­ты­вать день­ги на этом мож­но очень непло­хо.

А мне по­вез­ло, я по­след­ние несколь­ко лет за­ни­ма­юсь тем, что си­жу в ла­бо­ра­то­ри­ях, встре­ча­юсь с людь­ми, чи­таю их бу­ма­ги, пи­шу свои воз­ра­же­ния, в чем-то сам участ­вую немнож­ко как экс­перт, и я ви­жу то, что ста­нет воз­мож­но очень ско­ро — услов­но в 2040 го­ду.

Почему Ки­тай по­бе­дит США

— По по­во­ду гон­ки США и Ки­тая. Почему ки­тай­цы сей­час вы­иг­ры­ва­ют и в чем?

— Есть та­кой че­ло­век Кай­фу Ли. Мы с ним вме­сте ра­бо­та­ли в од­но вре­мя в Silicon Graphics. Сей­час он глав­ный идео­лог ис-

кус­ствен­но­го ин­тел­лек­та в Ки­тае и ру­ко­во­ди­тель круп­ней­шей ин­ве­сти­ци­он­ной ком­па­нии. Он на­пи­сал кни­гу AI Superpower­s: China, Silicon Valley, and the New World Order. Она вы­шла осе­нью, и сей­час это са­мая известная кни­га по это­му по­во­ду. Мы с ним очень близ­ко мыс­лим, но в од­ном во­про­се мы рас­хо­дим­ся. Я со­гла­сен с Кай­фу Ли, что Ки­тай об­го­нит и уже обо­гнал в об­ла­сти ис­кус­ствен­но­го ин­тел­лек­та США. Но Кай­фу Ли счи­та­ет, что они сде­ла­ют лишь толь­ко по­то­му, что в Ки­тае боль­ше дан­ных. А я утвер­ждаю, что про­бле­ма не в этом.

— А в чем?

— Глав­ная при­чи­на в том, что в США сво­бод­ный ры­нок и де­мо­кра­тия ка­кая-ни­ка­кая, а в Ки­тае нет ни то­го ни дру­го­го. А мы сей­час на­хо­дим­ся на та­ком же тех­но­ло­ги­че­ском пе­ре­ва­ле, как пе­ред Вто­рой ми­ро­вой вой­ной, ко­гда нем­цы уже ве­ли раз­ра­бот­ки по со­зда­нию ядер­но­го ору­жия. То­гда на­шел­ся ум­ный че­ло­век, Вэн­ни­вар Буш, ко­то­рый был со­вет­ни­ком Ру­звель­та по на­у­ке и тех­но­ло­ги­ям, и ска­зал: для то­го что­бы сде­лать тех­но­ло­ги­че­ский ска­чок, ну­жен ска­чок на­ци­о­наль­но­го уров­ня. От это­го за­ви­сит на­ци­о­наль­ная без­опас­ность стра­ны. Его мож­но со­вер­шить толь­ко од­ним спо­со­бом — со­здав спе­ци­фи­че­скую связ­ку го­су­дар­ства, част­но­го биз­не­са и на­у­ки. Это ин­но­ва­ци­он­ный тре­уголь­ник Вэн­ни­ва­ра Бу­ша. Я не бу­ду сей­час го­во­рить, как дол­жен быть устро­ен этот тре­уголь­ник, но Буш по­ка­зал, что это мож­но.

— То есть вы счи­та­е­те, что ки­тай­цы по­бе­дят из-за си­сте­мы?

— Да. И мы это ви­дим. Ни­кто про­сто не от­да­ет се­бе от­чет, что, на­при­мер, самые про­дви­ну­тые мил­ли­ар­де­ры ти­па Дже­ка Ма — чле­ны пар­тии. А вы чи­та­ли кон­сти­ту­цию Ки­тая?

— Я — нет.

— А я чи­тал. И там на­пи­са­но, что ин­те­ре­сы пар­тии вы­ше, чем ва­ши лич­ные, ка­рьер­ные, про­фес­си­о­наль­ные, эти­че­ские и про­чие цен­ност­ные вы­бо­ры. И ес­ли вы это­му не сле­ду­е­те, то вы ста­но­ви­тесь вра­гом го­су­дар­ства. В «Гуг­ле», ес­ли у вас есть три чле­на пар­тии на пред­при­я­тии, вы обя­за­ны иметь ячей­ку. Ес­ли у вас есть ячей­ка, то вы обя­за­ны пи­сать от­че­ты. Ес­ли вы пи­ше­те от­че­ты и вам, чле­ну пар­тии, в ки­тай­ском от­де­ле­нии «Гуг­ла» го­во­рят, что вы долж­ны украсть па­тент и при­не­сти его по это­му ад­ре­су, то вы это сде­ла­е­те. Ина­че вы бу­де­те вра­гом го­су­дар­ства. В этом смыс­ле то, что сей­час тво­рит­ся, в Ки­тае на­зы­ва­ет­ся civil military fusion. Это да­же не ин­те­гра­ция, а сплав.

— А че­го они хо­тят? Без­опас­но­сти?

— AI ме­ня­ет глав­ную па­ра­диг­му ядер­но­го сдер­жи­ва­ния. В си­ту­а­ции, ко­гда у вас и у ме­ня хва­та­ет ору­жия, что­бы уни­что­жить друг дру­га де­сять ты­сяч раз, ста­но­вит­ся по­нят­но, что со­рев­но­вать­ся в даль­ней­шем со­вер­шен­ство­ва­нии это­го ору­жия бес­смыс­лен­но. Все си­сте­мы управ­ле­ния сей­час пе­ре­клю­ча­ют­ся по­не­множ­ку на то, что на­зы­ва­ет­ся AI про­тив AI, по­то­му что он быст­рее. Ес­ли, как Пу­тин го­во­рил, бу­дет у них две ми­ну­ты на под­лет­ное вре­мя, то за две ми­ну­ты очень мно­гое мож­но про­ана­ли­зи­ро­вать и по­нять, что это — на­па­де­ние, или от­вле­ка­ю­щий ма­невр, или ошиб­ка.

Бо­лее то­го, глав­ное, на что по­ла­га­лись со вре­мен Ка­риб­ско­го кри­зи­са, — это так на­зы­ва­е­мый пря­мой те­ле­фон, где очень быст­ро успе­ют пе­ре­го­во­рить двое. А с AI они успе­ют пе­ре­го­во­рить, до­пу­стим, шесть­де­сят мил­ли­о­нов раз. За­дать друг дру­гу два мил­ли­ар­да уточ­ня­ю­щих во­про­сов и по­лу­чить два мил­ли­ар­да уточ­ня­ю­щих от­ве­тов. Ко­ро­че, си­сте­ма при­ня­тия ре­ше­ния неот­вра­ти­мо пе­ре­хо­дит на то, что мы на­зы­ва­ем AI. Так же, как неот­вра­ти­мо че­рез пять­де­сят лет все ав­то­мо­би­ли, ес­ли бу­дут ав­то­мо­би­ли и бу­дет где ез­дить, бу­дут управ­лять­ся AI.

— А мо­раль?

— Есть пре­сло­ву­тая ди­лем­ма. На до­ро­гу вы­ско­чи­ли два ма­лень­ких ре­бен­ка, иг­ра­ю­щие в мя­чик. В ма­шине едет ста­рый, пью­щий ин­ве­сти­ци­он­ный бан­кир, боль­ной ра­ком. У AI есть ва­ри­ан­ты: ли­бо он уво­ра­чи­ва­ет­ся, по­па­да­ет в сте­ну и уби­ва­ет вла­дель­ца ав­то­мо­би­ля, ин­ве­сти­ци­он­но­го ста­ро­го бан­ки­ра, боль­но­го ра­ком, ли­бо он уби­ва­ет двух кро­шек, ко­то­рые слу­чай­но ока­за­лись на до­ро­ге.

— И как он бу­дет де­лать этот вы­бор? У него же нет мо­ра­ли.

— Уже из­вест­но как. Про­из­во­ди­те­ли AI за­ло­жат обе воз­мож­но­сти и про­да­дут ав­то­мо­биль ди­ле­ру, ска­зав: «Мы не бе­рем на се­бя от­вет­ствен­ность. Вы ма­ши­ну про­да­е­те, вы и долж­ны по­ста­вить на­строй­ку, как ав­то­мо­биль бу­дет ве­сти се­бя в этой си­ту­а­ции.

— То есть все-та­ки у че­ло­ве­ка оста­ет­ся важ­ная функ­ция.

— Ди­лер го­во­рит: «Ты что, иди­от? Ме­ня стра­хо­вые ком­па­нии за­му­ча­ют, что я убью вла­дель­ца ав­то­мо­би­ля, ко­то­рый за­стра­хо­вал ав­то­мо­биль у ме­ня. Я не возь­му на се­бя та­кую от­вет­ствен­ность». И про­даст ав­то­мо­биль вла­дель­цу, и ска­жет: «Вы его са­ми на­строй­те». По­сле это­го пью­щий ин­ве­сти­ци­он­ный бан­кир, боль­ной ра­ком, по­ста­вит: «Да­ви всех, цен­ность мо­ей жиз­ни наи­выс­шая». И так оно и бу­дет про­ис­хо­дить.

Есть ве­щи, ко­то­рые не име­ют кор­рект­но­го ре­ше­ния, но они все рав­но бу­дут сде­ла­ны. Так же и пе­ре­да­ча управ­ле­ния шта­бов ко­ман­до­ва­ния, оцен­ка си­ту­а­ции и при­ня­тие по­след­них ре­ше­ний уже сей­час по­ти­хонь­ку пе­ре­да­ют­ся на уро­вень AI, и в гря­ду­щие го­ды оно бу­дет пол­но­стью ту­да вы­ве­де­но. Это озна­ча­ет, что с точ­ки зре­ния док­три­ны вза­им­но­го уни-

Это зву­чит ан­ти­уто­пич­но, но все это толь­ко на пер­вый взгляд ка­са­ет­ся бу­ду­ще­го. Все это уже есть. По­ка — в ла­бо­ра­то­ри­ях, и я это точ­но знаю. И на са­мом де­ле для то­го, что­бы это бу­ду­щее ока­за­лось на­шей ре­аль­ной жиз­нью, надо все­го лишь чуть-чуть по­ни­зить це­ну

что­же­ния не ме­ня­ет­ся ни­че­го. Из­ме­не­ния про­изой­дут в об­ла­сти пси­хо­ло­гии. Ес­ли мы счи­та­ем, что наш искус­ствен­ный ин­тел­лект мощ­нее, мы уда­рим. В ре­зуль­та­те, ско­рее все­го, ко­нец ми­ра бу­дет столь же ужа­сен, как и без ис­кус­ствен­ных ин­тел­лек­тов.

— Ко­нец еще, тем не ме­нее, не на­сту­пил…

— По­ни­ма­е­те ка­кая шту­ка, из­ме­не­ние пси­хо­ло­гии и пе­ре­да­ча управ­ле­ния бу­дут про­ис­хо­дить не толь­ко на во­ен­ном уровне. В том, как се­год­ня ра­бо­та­ют ми­ро­вые фи­нан­сы, раз­би­ра­ют­ся во всем ми­ре несколь­ко со­тен че­ло­век. И про­ана­ли­зи­ро­вать, как по­ве­дут се­бя в ка­ком слу­чае фон­до­вые рын­ки, фи­нан­со­вые рын­ки, лю­ди уже са­ми не бе­рут­ся, все это де­ла­ет­ся на ком­пью­те­рах. Ес­ли вы прой­де­тесь по хо­ро­шим бро­кер­ским кон­то­рам, то об­на­ру­жи­те, что вся ана­ли­ти­ка фи­нан­со­вая уже ле­жит на AI.

— Это же очень пло­хо.

— Что зна­чит пло­хо? Дру­го­го ва­ри­ан­та нет. Это все рав­но идет, хо­тим мы это­го или нет. Про­сто ав­то­мо­биль са­мый про­стой при­мер. Он про­ще, чем фи­нан­со­вые рын­ки, про­ще, чем вой­на. И за­да­ча по­нят­на. Вот он, ста­рый ал­каш. Вот де­ти. И он по­да­вит де­тей. Почему? По­то­му что он сам так за­про­грам­ми­ру­ет, по­то­му что ни­кто дру­гой не возь­мет на се­бя эту от­вет­ствен­ность. А что­бы че­ло­век, ку­пив­ший ав­то­мо­биль, се­бе за­про­грам­ми­ро­вал «убей ме­ня, ес­ли что»… А ес­ли жен­щи­на там бу­дет? А ес­ли ста­руш­ка? «Убей ме­ня» — ни­кто это­го не сде­ла­ет. По­это­му я го­во­рю, это за­да­чи, ко­то­рые в прин­ци­пе не име­ют ре­ше­ния.

Од­но ре­ше­ние: не ис­поль­зо­вать искус­ствен­ный ин­тел­лект. Лю­ди во­ди­ли ав­то­мо­биль, пусть са­ми во­дят, пусть са­ми бьют­ся. На это вам от­ве­тят, что сей­час трид­цать ты­сяч че­ло­век по­ги­ба­ют в год, а с ис­кус­ствен­ным ин­тел­лек­том бу­дет по­ги­бать вчет­ве­ро мень­ше. Не важ­но, что он бу­дет да­вить там де­тей, за­то в це­лом же мень­ше? Мень­ше. Это зву­чит ан­ти­уто­пич­но, но все это толь­ко на пер­вый взгляд ка­са­ет­ся бу­ду­ще­го. Все это уже есть. По­ка это есть в ла­бо­ра­то­ри­ях, и я это точ­но знаю. Мы счи­та­ем, что, ах, в бу­ду­щем… Не в бу­ду­щем, это уже здесь. И на са­мом де­ле для то­го, что­бы это бу­ду­щее ока­за­лось на­шей ре­аль­ной жиз­нью, надо все­го лишь чуть-чуть по­ни­зить це­ну.

По­рог эво­лю­ции?

— А от­ку­да в этом ми­ре AI возь­мет­ся но­вое зна­ние? Я са­ма за­ни­ма­лась эко­но­ми­че­ским про­гно­зи­ро­ва­ни­ем. Обыч­но мы дей­ство­ва­ли че­рез кор­ре­ля­ции. Пе­ре­би­ра­ли боль­шое ко­ли­че­ство кор­ре­ля­ци­он­ных свя­зей, на­хо­ди­ли что-то неожи­дан­ное или ожи­дан­ное. У нас рож­да­лась ка­кая-то ги­по­те­за, и мы на­чи­на­ли с этой ги­по­те­зой ра­бо­тать и про­из­во­дить ка­кое-то но­вое зна­ние. Гру­бо го­во­ря, ка­кую об­ласть ни возь­ми, че­ло­век, дей­ствуя так, про­из­во­дил но­вые зна­ния. А ма­ши­на мо­жет про­из­во­дить но­вые зна­ния? Ведь ес­ли че­ло­век пе­ре­ста­ет участ­во­вать в этом про­цес­се и все про­ис­хо­дит на уровне об­ще­ния ис­кус­ствен­но­го ин­тел­лек­та, то от­ку­да возь­мет­ся по­иск но­во­го?

— Что та­кое зна­ние? Зна­ние — это некое по­ня­тие, ко­то­рое име­ет смысл, толь­ко ес­ли есть во­прос неких дей­ствий и при­ня­тия ре­ше­ний. Ес­ли вам не нуж­но при­ни­мать ре­ше­ния, про­из­во­дить дей­ствия, то все рав­но, есть у вас зна­ние или нет.

На­при­мер, ги­сто­ло­гия ра­ка. Вот кар­тин­ка под мик­ро­ско­пом. Се­год­ня у ис­кус­ствен­но­го ин­тел­лек­та зна­ний по ги­сто­ло­гии боль­ше, чем у лю­бо­го вра­ча, по­то­му что они опре­де­ля­ют­ся ба­наль­ным ко­ли­че­ством про­ана­ли­зи­ро­ван­ных фо­то­гра­фий. Че­ло­век не в со­сто­я­нии про­смот­реть боль­ше несколь­ких со­тен ты­сяч, а у AI мил­ли­ар­ды этих опы­тов, и он еще сам ге­не­рит эти опы­ты, сам же и ана­ли­зи­ру­ет. То есть у него ве­ро­ят­ность пра­виль­но­го ги­сто­ло­ги­че­ско­го ди­а­гно­за су­ще­ствен­но вы­ше, чем у че­ло­ве­ка. Мож­но ли при этом ска­зать, что он сге­не­рил зна­ние? Да. Бо­лее то­го, его дей­ствие, то есть вы­не­се­ние ди­а­гно­за, — это при­ня­тие ре­ше­ния. По­то­му что сле­ду­ю­щим при­ня­ти­ем ре­ше­ния бу­дет вы­бор схе­мы ле­че­ния. И опять же, он зна­ет боль­ше про эту те­му.

— Что в этом ми­ре бу­дет де­лать че­ло­век?

— У че­ло­ве­ка мас­са че­го.

— Че­го?

— Я се­год­ня несколь­ко раз упо­ми­нал сло­во «эмо­ции» и го­во­рил, что у нас есть эмо­ци­о­наль­ная сиг­наль­ная си­сте­ма, и это некий бо­лее глу­бин­ный уро­вень, ко­то­рый ле­жит и под ин­тел­лек­том, и под ра­зу­мом, под под­со­зна­ни­ем. Ведь на са­мом де­ле все де­ло в язы­ке — ес­ли бы не бы­ло язы­ка, не бы­ло бы и то­го раз­ви­тия, ко­то­рое мы про­шли. Но сей­час за­кра­ды­ва­ет­ся по­до­зре­ние: а мог­ла же эво­лю­ция обой­тись без язы­ка? Обо­шлась же она, на­при­мер, у дель­фи­нов. И это, кста­ти, от­дель­ная ис­то­рия, по­то­му что ин­тел­лект, ра­зум и со­зна­ние че­ло­ве­ка, жи­вот­но­го и ком­пью­те­ра — эти ве­щи нуж­но рас­смат­ри­вать вме­сте. Бо­лее то­го, вы­яс­ня­ет­ся, что мно­гие за­да­чи, вы­хо­дя­щие за рам­ки ин­тел­лек­та, за­да­чи по­ни­ма­ния друг дру­га — это не вы­чис­ли­тель­ные за­да­чи. По­то­му что Debater за­ме­ча­тель­но мо­жет вы­чис­ли­тель­ным об­ра­зом по­ни­мать, о чем го­во­рит че­ло­век, и да­же контр­ар­гу­мен­ты на­хо­дить, но эм­па­тия и по­ни­ма­ние на эмо­ци­о­наль­ном уровне не яв­ля­ют­ся вы­чис­ли­тель­ны­ми за­да­ча­ми. А дель­фин это де­ла­ет.

В прин­ци­пе, мо­жет, мы во­об­ще некий вы­вих эво­лю­ции. Вот за­го­во­ри­ли не во­вре­мя, по­лу­чи­лась та­кая вет­ка. А сей­час мы идем к то­му, что вет­ка эта ту­пи­ко­вая, ее нуж­но при­крыть, вер­нуть­ся ту­да и пой­ти бо­лее пра­виль­ным пу­тем, что для эво­лю­ции со­вер­шен­но на раз-два.

— Спа­си­бо. Я боль­ше не мо­гу за­да­вать во­про­сы.

— Не мо­же­те? Не надо.

По­ка в де­ба­тах меж­ду ма­ши­ной и че­ло­ве­ком вы­иг­ры­ва­ет че­ло­век. По­то­му что с по­мо­щью язы­ка те­ла пе­ре­да­ют­ся эмо­ции

Ювал Ной Ха­ра­ри по­ла­га­ет, что моз­ги че­ло­ве­ка мо­гут хакнуть

Newspapers in Russian

Newspapers from Russia

© PressReader. All rights reserved.