Když autonomní auta musí zabíjet

Automobily, které budou řízeny počítači, přinášejí zatím mnohem více vážných etických otázek než uspokojivých odpovědí

Zatímco v celé evoluční historii člověka byla příčinou náhlého, nepřirozeného a neočekávaného konce lidského života divoká příroda, ruka protivníka třímající vražedný nástroj, válka, teroristé či pracovní úraz, dnes tuto statistiku vedou autonehody. A stále platí, že příčinou autonehody je nejčastěji řidič.

Řidič, který jede příliš riskantně, který se nevěnuje řízení, jak by měl, který riskuje za ztížených dopravních podmínek a v nepříznivém počasí; řidič, který je unavený, nesoustředěný, nebo dokonce intoxikovaný svou oblíbenou a za volantem přísně zakázanou látkou. Zdá se, že řešení je poměrně jednoduché: nahraďme řidiče!

Koho si vybrat

K dokončení srovnávacích testů samořiditelných či autonomních automobilů v realistickém městském prostředí došlo roku 2007. Od té doby najezdily po silnicích a dálnicích desítky tisíc kilometrů a připletly se i do několika nehod. Odborníci pomocí sofistikovaných metod odhadli, jaké výhody by plně autonomní provoz na silnicích přinesl: efektivita dopravy by se výrazně zvýšila, současně by se snížilo množství zplodin, které by tyto automobily produkovaly. A počet nehod by se snížil zhruba o mimořádných devadesát procent. Pro představu: v roce 2015 zemřelo na českých silnicích 660 lidí, což znamená, že pokud by doprava byla „v rukou“sofistikovaných řídících systémů, 594 lidí by mohlo žít. V zemi s větším počtem obyvatel, jako jsou například Spojené státy americké, by počet zachráněných lidských životů dosáhl (na základě počtu obětí dopravních nehod v roce 2013) hodnoty 29,447, zhruba jeden a půl milionu za období padesáti let.

Vědci, inženýři, konstruktéři, programátoři si tedy již v podstatě poradili s řadou složitých technických problémů, jejich výtvory se prohání po silnicích a zdají se potvrzovat naděje do nich vkládané. V poslední době se však stále více poukazuje na to, že jeden problém na své řešení ještě čeká. A co víc, celá řada odborníků se domnívá, že tento problém možná žádné dob- ré, všeobecně přijatelné, konzistentní a nekontroverzní řešení nemá.

Programy řídící autonomní auta musejí umět reagovat na značné množství situací; a na celou řadu situací také skutečně reagovat dokážou. Jak si však poradí v případě hrozící nehody, kterou nelze odvrátit? Přičemž i při oné neschopnosti odvrácení karambolu budou mít k dispozici alternativy – a kterou z nich tedy zvolit? Jinými slovy: jaká pravidla, jaký algoritmus budou tyto automobily poslouchat v případě, kdy je již jasné, že vznikne nějaká újma, bude-li možné ovlivnit, jaká újma to bude? Představme si, že se automobil řítí na skupinku pěti chodců, software by však zvládl změnit trasu a namísto do pěti chodců by ho nechal narazit do chodce jediného. Smí to udělat?

Stojíme zde před etickým problémem distribuce nevyhnutelné újmy, který ne- lze vyřešit čistě technicky: softwaroví inženýři nepochybně dokážou vytvořit algoritmus, který přiměje auto změnit dráhu. Aby však takový program napsali a vyslali vůz s ním do ulic, musejí vědět, zda se auto „rozhoduje“správně, přesněji řečeno zda se rozhoduje podle algoritmu, který je eticky přijatelný. A to je právě ta svízel. Technické problémy řešit umíme, dokážeme stejně dobře vyřešit i problémy etické?

Svět nedaleké budoucnosti. Řízení automobilů převzaly počítače. Už není nutné vlastnit řidičský průkaz, auta se prohánějí se spícími či unavenými lidmi, kteří – když ještě byli řidiči – v takovém stavu za volant raději nesedali. Pasažéři autobusů či náklad dorážejí na místa určení, aniž by jejich dopravní prostředky musely cestou zastavovat na povinné pauzy řidičů.

Buď vy, anebo já

Představme si, že po konzultaci s etiky se softwaroví inženýři rozhodnou řídit obecným etickým pravidlem „minimalizuj újmu“. Takové pravidlo je na první pohled srozumitelné, je však příliš obecné a nejasné. Co to znamená? Během nehody může vzniknout majetková újma (auto se rozbije), újma na zdraví (někdo si zlomí ruku), nebo dokonce újma na životě. Inženýři ve snaze o konkretizaci obecného pravidla mohou určit určitý řád priority mezi jednotlivými typy újmy, třeba: nejméně důležitá je majetková újma, nejdůležitější je újma na životě. Jenže už zde budou narážet na těžké problémy. Má zranění vždy přednost před milionovým majetkem? A musíme dát životu přednost vždy a za každou cenu, i kdyby to znamenalo, že způsobíme závažná a bolestivá zranění s dalšími zdravotními následky většímu počtu lidí?

I když se zaměříme jen na jeden typ újmy, nebude situace o moc jednodušší, i když se to zpočátku může jevit jinak. Představme si, že zavedeme jednoduchou morální aritmetiku: jeden život je rovný jinému životu, dva životy mají přednost před jedním, tři před jedním a dvěma… V praxi by to znamenalo, že pokud software autonomního auta může ovlivnit distribuci újmy, která nutně nastane (nehoda je nevyhnutelná), bude se snažit tuto újmu minimalizovat. Bude-li kupříkladu muset rozhodnout, zda pokračovat v cestě a zabít pět lidí, nebo změnit směr a zabít jen jednoho, rozhodne se vždy změnit trasu. Jinými slovy, bude se řídit utilitaristickou etikou, jejíž maximou je právě minimalizace neosobně zvažované újmy.

Rozsáhlý výzkum, který v roce 2016 zveřejnil na stránkách časopisu Science francouzský kognitivní psycholog Jean-François Bonnefon s kolegy, ukazuje, že utilitaristická etika je v případě autonomních automobilů pro většinu z celkového množství 1928 respondentů více než přijatelná. To je velice důležité, neboť ve hře není pouze to, zda jsme našli správnou odpověď na etická dilemata, nýbrž také to, zda je tato odpověď pro většinu lidí přijatelná. Pokud by se ukázalo, že utilitarismus je správnou etickou teorií, a zároveň by platilo, že je z nějakého evolučního důvodu pro nás lidi přijatelný, měli bychom zásadní etický problém spojený s autonomními automobily v zásadě vyřešen. Zbývalo by potom jen dořešit „detaily“.

Stojíte na mostě, z něhož se vyklání otylý muž. Když ho shodíte dolů na trať, zemře. Ale zároveň zastaví řítící se tramvaj a vy zachráníte pět životů. Co uděláte?

Jenže jak už to s etikou bývá, není to tak jednoduché. Utilitarismus totiž nabízí řešení zabalené do líbivého obalu minimalizace újmy, pokud se však podrobněji podíváme na jeho obsah, velmi rychle můžeme ztratit původní jistotu, že jsme na stopě správnému řešení. Všimněme si jedné důležité části utilitaristického řešení: na újmu nahlížíme z neosobní perspektivy. Co to znamená? Jednoduše to, že musíme odhlédnout od toho, komu je újma působena, přesněji řečeno od toho, zda je působena nám, našim blízkým, nebo naprostým cizincům. Nezapomínejme na to, že auta si koupíme my, pro svoji potřebu, budeme v nich jezdit my a naše rodina či známí. A to není všechno. Nehody se nedějí pouze ostatním, neumírají pouze chodci či jiní řidiči, ale také my samotní.

Představme si, že by se zmíněná modelová situace změnila. Algoritmus řídící naše auto zvolí jinou distribuci újmy smrtí: ve hře je život pěti chodců a náš vlastní. Software buď narazí do chodců, anebo do betonové zdi. Buď zemře pět cizích lidí, nebo my. Pokud však zaujímáme neosobní perspektivu – a to bychom podle utilitarismu měli –, potom je z hlediska rozhodování automobilu zcela nepodstatné, kdo zemře. Rozhoduje pouze morální aritmetika pěti životů proti životu jednomu.

Psycholog Jean-François Bonnefon s kolegy ve své studii ukazují, že lidé mají i za těchto okolností tendenci uvažovat utilitaristicky, třebaže v nižší míře, než když ve hře nejsou jejich vlastní životy a životy jejich blízkých. Znamená to tedy, že nám evoluce během našeho vývoje vložila do mysli striktně utilitaristickou etiku? Odpověď je, domníváme se, spíše záporná. V případě autonomních aut řešíme situaci, kdy nejednáme my, ale auta, přesněji, nějakým způsobem jednali ti, kdo je naprogramovali. Je docela možné, že v takové situaci máme spíš tendenci zaměřit se na samotnou újmu a její minimalizaci, což může vést k rozhodnutím, která se jeví jako utilitaristická. V jiných situacích však můžeme volit jinak.

V laboratoři profesora Jaroslava Flegra na Přírodovědecké fakultě Univerzity Karlovy jsme provedli rozsáhlý výzkum (celkem 1362 respondentů), který ukazuje, že v jiném typu situace je naše ochota obětovat vlastní život výrazně nižší. Představme si, že se k výhybce řítí neovladatelná tramvaj, a pokud bude pokračovat ve své cestě, zabije pět nešťastníků, kteří pracují na trati a o tramvaji nemají ani tušení. A vy jste se ocitli ve velmi podivné situaci: trať má další dvě koleje, na jedné pracuje jeden člověk, na druhé stojíte vy a máte nohu zakleslou v kolejišti, takže nemůžete odejít. A další zvláštní shodou okolností (ty si v myšlenkových experimentech můžeme dovolit) máte na dosah zařízení ovládající výhybku. Nemusíte udělat nic – a zemře pět lidí. Můžete přehodit výhybku vlevo – a zemře jeden člověk na vedlejší koleji. Anebo výhybku přehodíte vpravo a zemřete vy. Co uděláte?

Většina respondentů by výhybku přehodila. Vlevo (zhruba 45 %, 41 % by neudělalo nic). Pouze zhruba 17,5 % by ji přehodilo vpravo a nechalo se tramvají srazit. Pokud by však respondenti uvažovali jako důslední utilitaristé, zřejmě by si hodili korunou a na základě hodu by přehodili výhybku vlevo, či vpravo.

Ještě stále s rukou na výhybce

Evoluce z nás zřejmě jednoznačné utilitaristy neučinila. Dokazují to i další výsledky experimentální psychologie. Ponechme si předchozí scénář s tím rozdílem, že stojíte vedle trati, existuje pouze jedna vedlejší kolej (na ní skutečně jeden člověk pracuje), a vy tedy máte jen dvě možnosti: neudělat nic (pět lidí zemře), přehodit výhybku (zemře pouze jeden člověk). Opět, co uděláte? Podle jedné velké studie většina lidí výhybku přehodí (je však zajímavé, že výsledky se poměrně značně liší v závislosti na státu: výhybku by podle Tännsjöa a Ahleniuse, autorů studie, přehodilo 52 % Číňanů, 63 % Rusů a 81 % Američanů). Opět to však nedokazuje, že existují nějaké utilitaristické morální intuice, které by bylo možné použít v případě řešení etických dilemat spojených s autonomními automobily.

Stačí totiž mírně pozměnit scénář. V tomto případě se tramvaj řítí po rovné trati směrem k mostu, za níž na trati pracuje pět nicnetušících dělníků. Stojíte na mostě, z něhož se vyklání velmi otylý muž. Kdybyste ho shodili na trať do cesty tramvaje, zemře, ale svým zavalitým tělem tramvaj zastaví a vy zachráníte pět životů. Opět stejná otázka: co uděláte? Pokud byste byli utilitaristé, měli byste oba scénáře vyhodnocovat podle stejného klíče, podle jednoduché morální aritmetiky srovnání počtu obětí a počtu přeživších. A měli byste odpovědět, že správným řešením tohoto morálního dilematu je shodit obézníhomuže z mostu. Přesto tak odpovídá jen malé množství lidí; podle již zmiňované studie považuje shození muže z mostu za správné jen menší procento respondentů (výsledky se opět liší, v Číně je to 22%, v Rusku 36% a v USA 39 % respondentů).

Zdá se tedy, že pokud jsme postaveni před různá morální dilemata v odlišných kontextech, rozhodujeme se nekonzistentně. Někdy se rozhodujeme jako utilitaristé, jindy nikoliv. Experimentálně získané odpovědi na složité etické otázky tedy návrhářům softwaru pro autonomní automobily příliš nepomohou. Možná bychom prostě měli přijmout princip minimalizace újmy a smířit se s tím, že v některých případech bude s jeho konkrétní aplikací většina lidí souhlasit, v některých však souhlasit nebude. Koneckon- ců, v kontextu autonomních aut prozatímní výsledky ukazují, že s ním většina souhlasit bude, tak proč si lámat hlavu s tím, že v jiných kontextech s ním souhlasit nebude? Lidé nejsou stroje, na rozdíl od aut, a nelze od nich očekávat, že se budou vždy chovat konzistentně.

Jenže zde se objevuje další svízelný problém, který softwarovým inženýrům ruší klidné spaní. Představme si, že se v prodeji objeví auta, kterým můžeme říkat správňáci. Správňácké auto se ke všem chová stejně, ať už to je chodec, jiný řidič, jeho majitel, či majitelova rodina. To také znamená, že pokud ten vůz bude muset někdy volit, bude volit férově a rozhodne se výhradně na základě počtu obětí. Většina řidičů bude souhlasit s tím, že takto naprogramované auto je z etického hlediska strojem naprogramovaným správně. Jenže… jenže s ním nebudou chtít jezdit a budou se velmi zdráhat posadit do něj někoho dalšího, zvlášť když to bude někdo z rodiny. Uznají, že zavedení autonomních vozidel do provozu výraznou měrou sníží počet obětí dopravních nehod, což je přesně to, co si jako utilitaristé budou přát, zároveň si však tato auta odmítnou kupovat. A tím vlastně přispějí k tomu, že se počet dopravních nehod nesníží; jinými slovy – nebudou jednat jako utilitaristé. Neboli: řidiči uznají princip minimalizace újmy, v případě autonomních aut budou dokonce respektovat princip, že případnou obětí se stanou oni sami či jejich blízcí, zároveň však zaujmou postoj, který v praxi minimalizaci újmy nepřipustí.

Jedním z řešení by možná mohl být zásah ze strany státu, který by skrze legislativní úpravu vyžadoval, aby všechny automobily, nákladní auta, motorky či autobusy byly řízeny počítačem utilitaristou. Ovšem je otázka, zda by takové řešení nezpůsobilo více problémů, než kolik by jich řešilo. Pokud lidé nechtějí jezdit správňáckými auty, může to být čistě emotivní reakce, částečně iracionální strach z toho, že nemají věci plně ve svých rukou a jejich bezpečí a život jsou řízeny neosobní logikou utilitaristické etiky. Jejich obavy však nemusí být pouze iracionální.

Když usedáme za volat, vydáváme se do jisté míry všanc náhodě. Technická závada, namrzlá vozovka, nezodpovědný jiný řidič, různé faktory a události se mohou seběhnout tak nešťastným způsobem, že havarujeme. S tím jsme všichni smířeni, třebaže, jak dokazují výsledky celé řady studií, máme velkou tendenci nebezpečí podceňovat. V případě správňáckých aut však do načrtnuté souhry náhod vstupuje další faktor: zda z nehody vyvázneme se zdravou kůží, bude záviset rovněž na tom, kolik lidí bude do možné nehody zapojeno a kde se budou nacházet.

Představme si, že na silnici jde skupinka pěti lidí a vaše auto musí volit; nepřekvapivě volí to, že změní dráhu jízdy a nabourá do stromu. Zemřete. Kdyby na silnici nebyla skupinka pěti lidí, nýbrž pouze jeden člověk, mohlo by auto pokračovat v cestě a vám by se nic nestalo. Na rizika spojená s cestováním autem jsme si zvykli. Ale zvykli bychom si i na to, že náš osud závisí na počtech lidí takovým zásadním způsobem? Smířili bychom se s tím, že autobus plný lidí by měl vždy přednost před naším autem s naší méně početnou rodinou? Nebo s tím, že čím méně by nás do auta usedalo, tím méně by byla jízda bezpečná?

A pro tanky byste byli?

Možná bychom tedy měli upustit od obecného morálního příkazu minimalizace újmy a snažit se autonomním automobilům softwarově vštípit poněkud jinou morálku. Hlavním problémem utilitarismu byl požadavek, aby distribuce újmy byla prováděna v neosobní perspektivě, bez ohledu na to, komu vozidlo patří, kdo v něm cestuje apod. Co kdybychom správňácká auta nahradili jinými, říkejme jim třeba tanky. Tank se řídí jinou logikou: jeho maximou je bezpečí posádky, třeba i na úkor morální aritmetiky, srovnávající počet možných obětí. Jak jsme již zmínili, lidé by tanky upřednostňovali, jednoduše proto, že tanky by jim to vracely tím, že by v případě rozhodování krátce před nehodou dávaly přednost jim. Podle některých zpráv prý o podobném řešení uvažovala německá automobilka Mercedes.

Tanky by se řídily jiným etickým systémem – podobným tomu, jímž se řídíme imy, když si myslíme, že rodiče mají primárně povinnost vůči svým dětem, a pokud se dostanou do situace, kdy mohou zachránit jen jeden lidský život, je správnou volbou zachránit život svého potomka. Tato etika není neosobní, neboť přihlíží i k tomu, jaké vztahy mezi námi lidmi existují, jaké závazky jsme přijali, jaké role hrajeme ve společnosti. Na rozdíl od správňáků by tanky dávaly přednost svým majitelům a jejich blízkým, a měly by tak mnohem větší šanci, že si je lidé budou kupovat a nebudou se bát v nich jezdit.

Prodej tanků by sice vyřešil některé problémy, nevyřešil by však zdaleka všechny. Málokdo by si totiž myslel, že smějí dát přednost svým pasažérům vždy a za všech okolností. Zřejmě by bylo třeba nastavit určité hranice, za nimiž by se tanky chovaly jako správňáci. Je pochopitelné, že tank upřednostní svou posádku, je-li ve hře stejný počet životů či je-li počet obětí tanku o něco málo větší, než je počet pasažérů. Ale o kolik? O jednoho? O dva? O deset? Budou se tanky jinak chovat k velkým skupinkám lidí než k malým? Ale odkdy je taková skupinka dostatečně velká, aby tank změnil svou strategii? Budou se autobusy prakticky vždy chovat jako tanky?

Nastavení hranic je v tomto případě problém, který se vzpírá systémovému řešení. Kdo a jak určí, který poměr pasažérů vůči ostatním příslušníkům provozu bude onou hranicí, za níž se tanky začnou chovat správňácky? Budou to automobilky, kdo se bude předhánět v nastavení poměru příznivého pro majitele auta? A můžeme automobilkám skutečně věřit, že poměr nastavily tak, jak uvádějí (vždyť v čerstvé paměti je přece Dieselgate)? Automobilky se budou nacházet v nezáviděníhodné situaci. Na jedné straně každá bude chtít prodávat co nejvíce svých aut, na straně druhé nebudou chtít, aby jejich auta figurovala v nehodách, v nichž usmrtí více lidí „jen“proto, aby uchránila nepočetnou posádku.

Možná bychom měli upustit od obecného morálního příkazu minimalizace újmy a snažit se autonomním automobilům softwarově vštípit poněkud jinou morálku

Inženýr a filozof

Naše etické postoje jsou nekonzistentní, a proto budeme nekonzistentními soudci. Na jedné straně budeme preferovat auta, která budou více tanky než jiná, na straně druhé budeme negativně posuzovat zprávy o tancích, které usmrtily velké množství lidí. Nebudou nám tudíž automobilky prodávat vozy, jež budou více správňácká, než papírově přiznávají? A jak bychom to vlastně mohli zjistit?

Softwaroví inženýři se ve snaze vštípit morálku svým produktům nemohou než obrátit na etiky, kteří se věnují problémům správnosti či nesprávnosti lidského jednání a voleb, včetně tvorby algoritmů, které strojům diktují, jak se mají chovat. A etici jim mohou nabídnout určitá řešení, žádné však nebude dokonalé a žádné neslibuje, že si získá všeobecnou přízeň celé lidské populace. Konečná volba však spočívá na bedrech těchto inženýrů, protože zatímco etici si mohou dovolit nabízet různá řešení, oni si nakonec jedno zvolit musí, mají-li jejich výtvory v nejbližší budoucnosti brázdit naše silnice.

David Černý působí v Ústavu státu a práva AV ČR. Robin Kopecký působí na katedře filozofie a dějin přírodních věd Přírodovědecké fakulty Univerzity Karlovy.

Do výzkumu se v roli dobrovolníků může prostřednictvím stránky Pokusníkrálíci.cz zapojit každý – zajímavosti, průběžné výsledky a soutěže o knihy jsou dostupné také na Facebooku www.facebook.com/pokusnikralici.