Robot a jeho pán aneb Může mít umělá inteligence vlastní etiku?

V Evropě i USA se debatuje, zda mají i roboti dostat svá práva. Jaká práva a povinnosti však má v době překotného rozvoje umělé inteligence člověk? Etický problém v robotice již dávno není jen teoretický.

Roboti a jejich etická pravidla. | na serveru Lidovky.cz | aktuální zprávy Roboti a jejich etická pravidla. | foto: Ilustrace Richard Cortés Česká pozice
Roboti a jejich etická pravidla. | na serveru Lidovky.cz | aktuální zprávy

Nedaleko Zámeckého kostela ve Wittenbergu vyrostl na konci května mobilní kostel, který nabízí neobvyklou atrakci. Stojí v něm Bless U2, první žehnající robot na světě. Na obrazovce na jeho plechové hrudi stačí navolit jazyk a vybrat mužský nebo ženský hlas. Robot pak vztáhne ruce, rozsvítí dlaně, zdvihne obočí a pronese požehnání – stejně jako farář.

Automat ale není jen pouťovou atrakcí, která je součástí Světové výstavy reformace, připomínky, že právě ve Wittenbergu roku 1517 augustiniánský mnich Martin Luther přitloukl na vrata Zámeckého kostela svých 95 tezí a odstartoval tak půl století trvající evropskou reformaci. Žehnající robot má pobavit, ale také podnítit ke kladení mnohem hlubších otázek.

Gesto žehnání

„Nastal čas pro debatu o teologických a etických výzvách digitalizace – o jejích šancích a možnostech. Náš robot je také provokací a výzvou k rozhovoru. A Wittenberg je k tomu příhodné místo,“ říká Volker Jung, předseda Evangelické církve Hesenska-Nassau, která v Lutherově městě nechala mobilní kostel se žehnajícím strojem vybudovat.

Je-li ve všech křesťanských církvích gesto žehnání demokraticky rozšířené, znamená to, že lze Boží přízeň delegovat ještě dále, nejen na člověka, ale rovnou do jiných světů vyhrazeným strojům?

Jeho slova by mohla stejně dobře platit i pro Česko těchto dnů, kdy si připomínáme výročí odsouzení a upálení jiného velkého otce evropské reformace Jana Husa. Mimo jiné kněze, kterého Luther alespoň zpočátku považoval za kacíře a jehož dílo objevil až poté, co sám sepsal základy svého učení.

Bless U2 je robot primitivní, ale vykonává velmi symbolický pohyb. Vypadá pořád jako vylepšená stavebnice z Merkuru a asi sotva kdo bude mít pocit, že se mu opravdu dostalo požehnání. Zároveň je právě gesto žehnání, u protestantů i katolíků vyhrazené nejen ordinovaným kněžím a farářům, ale i obyčejným věřícím (ženy nevyjímaje), dobře zvoleným úkonem.

Je-li ve všech křesťanských církvích takto demokraticky rozšířené, znamená to, že lze Boží přízeň delegovat ještě dále, nejen na člověka, ale rovnou do jiných světů vyhrazeným strojům? A co když nepůjde o žádný obyčejný naprogramovaný automat, ale robot obdařený znaky umělé inteligence? Jeho Stvořitelem nebude žádný Bůh, ale tým vědců z univerzity. Jenže má-li robot vlastní inteligenci, má i vlastní etická pravidla? Nebo dokonce vlastní víru?

Isaac Asimov

V širším smyslu počátky tázání po sebenazírání a integritě robotů najdeme již u Isaaca Asimova, rusko-amerického autora science fiction a také tvůrce takzvaných zákonů robotiky. V březnu 1942 publikoval Asimov povídku Hra na honěnou (Runaround), jejímž hlavním hrdinou je robot SPD-13 Speedy (v českém překladu Rychlík).

Není to již jen obyčejný stroj, který vykonává zadaný program, ale robot řídící se jednoduchou etikou. Za prvé, nesmí ublížit člověku. Z druhé, musí uposlechnout příkazů člověka, ledaže by se příčily prvnímu pravidlu. A za třetí, musí chránit sám sebe před poškozením. S výjimkou případů, kdy jde o rozpor s prvním a druhým zákonem.

Isaac Asimov chtěl na třech přikázáních ukázat, jak i jednoduchá pravidla, která bychom mohli považovat za jakousi zkrácenou obdobu Desatera pro roboty, s sebou od počátku nesou stejná dilemata jako přikázání Boží

Asimov chtěl na této trojici přikázání ukázat, jak i jednoduchá pravidla, která bychom mohli považovat za jakousi zkrácenou obdobu Desatera pro roboty, s sebou od počátku nesou stejná dilemata jako přikázání Boží. Nebo jakékoliv jiné soubory pravidel, která v různých obdobách platí za univerzální lidskou etiku. Je to i Rychlíkův případ.

Na Marsu je poslán pro selen, jediný zdroj energie, díky němuž kosmonauty na rudé planetě nestihne smrt z přehřátí. Zcela zmatený ale zůstane kroužit před sopečným jezírkem. Ocitne se totiž v zajetí dvou mravních zákonů. Má příkaz, který musí splnit, ale také musí chránit sám sebe a toxické sopečné jezírko je pro jeho elektronické okruhy příliš nebezpečné.

Morální dilema člověkem stvořeného stroje, ve Hře na honěnou pravděpodobně vůbec poprvé popsané, za něho nakonec musejí vyřešit kosmonauti, kteří se stávají pány situace. Sám Rychlík upřednostnit jeden mravní zákon nad tím druhým neumí nebo alespoň není schopen tuto volbu podstoupit. A to si ani pravděpodobně neuvědomuje, že ve skutečnosti jeho volba není jen binární. Pokud selen nedonese a neuposlechne příkaz, hrozí astronautům přehřátí a smrt, čímž by Rychlík porušil první zákon – neublížit člověku.

Dobro a zlo

Pozoruhodné, 75 let staré dilema robotiky, úzce souvisí s dobou, kdy Asimov povídku Hra na honěnou v USA psal. Na druhé straně oceánu, v Německu, tou dobou inženýr Konrad Zuse zkonstruoval svůj Z3, první programovatelný počítač světa využívající soustavu dvou tisíc elektromagnetických relé, která se střídavě spínala v různých kombinacích.

Při sebelepším programu se robotická inteligence setká s tím, že mezi zlem a dobrem volit musí. Právě proto, že slouží člověku, kterému je takové etické rozhodování vlastní.

Architektura Z3, hřmotného počítače v dřevěných skříních, byla na rozdíl třeba od svého o něco mladšího amerického souputníka, sálového stroje ENIAC, čistě binární. Obvod byl buď sepnutý, nebo ne. Zuse tak v reálném světě strojů založil totéž, co Asimov popsal ve vědeckofantastickém světě. S tím rozdílem, že zatímco v počítačích rozhoduje o volbě program spínající obvod, ve světě pokročilejších robotů musí nastoupit umělá inteligence, která mezi nulou a jedničkou vybere.

Binární volba, dodnes základní prvek architektury všech počítačů i chytrých telefonů, však žádné etické problémy neřeší. Jednička i nula jsou hodnotově neutrální, žádná volba není sama o sobě ani dobrá, ani špatná. Je to čirý logický úsudek. Jenže i při sebelepším programu se robotická inteligence setká s tím, že mezi zlem a dobrem volit musí. Právě proto, že slouží člověku, kterému je takové etické rozhodování vlastní.

Můžeme jít ale ještě dále – co když neexistuje jen volba mezi dobrem a zlem, ale obě možnosti jsou špatné? Jak robot autonomně dospěje k „lepšímu ze špatných řešení“, kterým obvykle ospravedlňujeme volbu v případě, kdy jasné rozhodnutí nemůžeme nebo nechceme udělat?

Morální dilema

Takový etický problém v robotice již dávno není jen teoretickým uvažováním. Příkladem může být humanoidní robot Nao z produkce SoftBank Robotics. Umí hrát fotbal, tančit a zastoupit třeba i recepčního v hotelu. Jedním z jeho poslání je také péče o dlouhodobě nemocné.Lidskou něhu nahradit sice nemůže, ale dbát nad pitným režimem a pravidelnou medikací ano. Co když se ale dostane do situace, kdy pacient odmítne své léky? Má právo ho nutit, nebo raději svůj úkol nesplnit, a ohrozit tak jeho život?

Humanoidní robot Nao z produkce SoftBank Robotics sice lidskou něhu nahradit nemůže, ale dbát nad pitným režimem a pravidelnou medikací ano. Různé experimenty však ukazují, že naučit roboty volit mezi jedničkou a nulou, které nejsou hodnotově neutrální, je do určité míry možné.

Stejné morální dilema může vyvstat v případě vojenských dronů. Zatím prst na červeném tlačítku, které odpálí smrtící střelu, má vždy vrchní velitel. V případě autonomních dronů, s jejichž nasazením minimálně americká armáda počítá, ale bude třeba rychlého rozhodnutí robota. Je morálně ospravedlnitelné vypálit střelu třeba na automobil, v němž sedí hledaný terorista, když tu existuje riziko civilních obětí? Co když těmi oběťmi budou děti?

Různé experimenty ukazují, že naučit roboty volit mezi jedničkou a nulou, které nejsou hodnotově neutrální, je do určité míry možné. „Kdybyste se mě před pěti lety zeptali, zda můžeme vyrobit etického robota, řekl bych, že ne. Teď to ale za tak bláznivý nápad nepovažuji,“ říká k tomu Alan Winfield z britské Bristol Robotics Laboratory, který o etice robotů přednáší na University of the West of England. A předloni publikoval studii, v níž se pokusil simulovat chování robotů, které mají chránit život člověka.

Zkonstruoval několik robotů velikosti hokejového puku, kteří jezdili po povrchu desky, v níž byla uprostřed díra. Základní úloha byla daná – zatímco roboti označení H (humans, lidé) se volně pohybovali a chyběla jim čidla, aby díru rozpoznali, robotický puk A (pojmenovaný po Asimovovi) je měl před pádem do otvoru zachránit.

Pokud se nebezpečně blízko díry pohyboval jen jeden „člověk“ nenastal žádný problém. Záchranář A dokázal spočítat jeho trajektorii, vyhodnotit riziko a zasáhnout. U dvou „lidí“ efekt pomoci ale rapidně klesl. V téměř polovině případů A váhal, koho má zachránit jako prvního tak dlouho, až oba automaty H spadly do otvoru.

Samostatně vytvořený algoritmus

Winfield ze svého experimentu vyvodil, že etiku robotů je možné docela úspěšně suplovat strojovým učení. Čím více paměť stroje zásobíme daty z praxe, tím více bude robot schopný zhodnotit dopady svého rozhodnutí, aniž by předem bylo jasné, jaké učiní. Sám si k tomu vytvoří algoritmus, který není řízen původním softwarem.

Čím více paměť stroje zásobíme daty z praxe, tím více bude robot schopný zhodnotit dopady svého rozhodnutí, aniž by předem bylo jasné, jaké učiní. Sám si k tomu vytvoří algoritmus, který není řízen původním softwarem.

Takto se „učí“ třeba autonomní automobily bez řidiče, jejichž testovací provoz povolilo několik amerických států. Užití robotických aut v provozu je dnes spojeno především s právními otázkami. Loni samohyb společnosti Google narazil do autobusu, což odstartovalo debatu, kdo by byl za nehodu zodpovědný, kdyby ve voze neseděl testovací řidič, který měl včas zasáhnout. Nehoda robotického auta ovšem otevřela úvahy, které úzce souvisejí i s mravním paradoxem věku umělé inteligence.

Na jedné straně chceme využívat prvky umělé inteligence, aby nám co nejlépe sloužily – od samořiditelných aut přes medicínské roboty až po vojenské drony, které jsou samy sobě velitelem. Jsou našimi prodlouženými smysly a jejich používání může být efektivnější než práce lidských specialistů.

Zároveň se ale bojíme, že jako stvořitelé robota již nebudeme pány jeho inteligence. Tu už v případě strojového učení neřídí žádný program ani kód. „Nemůžeme odhalit, jakým způsobem stroj dospěje k určitému pravidlu, které mu řekne, že něco je eticky správné, nebo nikoliv,“ říká Jerry Kaplan, který přednáší etiku a umělou inteligenci na Stanfordově univerzitě v Kalifornii.

Strach z neobstání

Totéž lze říct o procesu zdokonalování umělé inteligence, podoblasti strojového učení, která je známá jako deep learning – hluboké učení. Běžný hardware využívá co do kapacity i rychlosti fascinující počítačové paměti, jež však zůstává osamocená a v zajetí svých obvodů. Úplně jiných možností lze dosáhnout, pokud umělou inteligenci doplníme o umělou neuronovou síť, v níž probíhají výpočty a synapse na základě analogie s lidským mozkem.

Možná za analytickými a vyhodnocovacími úkoly, které počítačovým systémům dáváme, ale stojí náš strach z toho, že bychom v přímém poměřování lidských dovedností s robotem neobstáli

Zatím se podařilo takto propojit několik milionů počítačových neuronů a často se uvádí, že umělé neuronové sítě dosahují schopností mozku červa. Takové přirovnání je sice názorné a může odpovídat fyzikální či biologické realitě, nikoliv ale společenské. A už vůbec ne té etické. „Problém se systémy s umělou inteligencí a s hlubokým učením zejména, je nemožnost vědět, proč dělají zrovna taková rozhodnutí, jaká dělají,“ upozorňuje Winfield.

U mozku červa jsou nám takové rozhodovací zákonitosti ukradené. V případě umělé inteligence ale nikoliv. Možná i proto se dosud deep learning v praxi uplatňuje ve výpočetně náročných, ale jinak zcela nudných počítačových úkonech, jako je rozpoznávání a identifikace obličejů ze záznamů kamer.

Porovnávání fyziognomických parametrů s registrem stovek milionů obrázků je úkol hodný takové umělé inteligence. Možná za analytickými a vyhodnocovacími úkoly, které počítačovým systémům dáváme, ale stojí náš strach z toho, že bychom v přímém poměřování lidských dovedností s robotem neobstáli. Stejně jako v šachu, mezinárodně srozumitelném klání vyhrazenému pro bystré mozky.

Nepředvídatelnost chování

Minulý měsíc tomu bylo 20 let, kdy Deep Blue firmy IBM poprvé porazil velmistra Garriho Kasparova, kterému proti stroji nepomohli ani zkušenosti, ani intuice. Superpočítač Deep Blue Kasparova udolal na tehdejší poměry brutální výpočetní silou, kterou dnes co do počtu operací za vteřinu ovšem zvládne každý chytrý telefon střední třídy. Existuje ovšem mnohem větší pokoušení, než jsou ve své době populární souboje šachistů se strojem.

Nepředvídatelnost chování robotů, pokud lze tento termín v souvislosti s umělou inteligencí vůbec použít, je leitmotivem mnoha literárních a filmových děl žánru science fiction

Předminulý rok zkonstruoval Matthew Lai z Imperial College v Londýně na bázi běžného stolního počítače software Giraffe, který využívá deep learning. Svému žákovi předal základní pravidla šachu a umožnil mu prostudovat pět milionů tahů z šachových učebnic. Začátečník se ukázal jako výtečný učedník. Za tři dny od úplných základů postoupil počítač k titulu mezinárodního mistra podle pravidel Mezinárodní šachové federace (FIDE).

Jestli Lai pustil Giraffe do souboje s nějakým dobrým šachistou, není známo. Možná to neudělal právě kvůli kvalitativnímu skoku, který až nahání strach. Zatímco Deep Blue chtěl člověka přečíslit a sázel na výpočet logických a nelogických tahů, Giraffe využívá nejen umělou inteligenci, ale i umělou intuici. Taková nepředvídatelnost chování robotů, pokud lze tento termín v souvislosti s umělou inteligencí vůbec použít, je leitmotivem mnoha literárních a filmových děl žánru science fiction.

V českém prostředí můžeme začít třeba zakladatelským počinem v podobě dramatu R.U.R. Karla Čapka, v němž replikanti vyhlásí lidstvu válku, přes zoufalou vzpouru něžné androidky proti svému úlisnému stvořiteli v Umině verzi Emila Hakla až po televizní reklamu na nejmenovanou pojišťovnu, jež první nabízí pojistku i proti škodám, které v domech a bytech mohou napáchat digitální systémy řídící „inteligentní domácnost“.

Tlačítka pro vypnutí

Vzhledem k tomu, že obavy ze stavu, kdy už nebudeme schopní námi vytvořené roboty řídit, dominují evropské i americké kultuře nejméně půl století, je až s podivem, že až loni v září Britský ústav pro standardizaci (BIS) sepsal pravidla pro sestrojování „etických robotů“. Odborný panel se v nich třeba shodl, že by roboti obdaření prvky umělé inteligence měli mít nouzová tlačítka pro vypnutí v situaci, kdy se nám jejich chování nebude zamlouvat.

Odborný panel se třeba shodl, že by roboti obdaření prvky umělé inteligence měli mít nouzová tlačítka pro vypnutí v situaci, kdy se nám jejich chování nebude zamlouvat

Měli by dostat obdobu černé skříňky v letadlech, abychom zpětně mohli rekonstruovat alespoň náznaky jejich chování v kritických situacích. Tíhu odpovědnosti ale zároveň BIS přenechal člověku. „Lidé, nikoliv roboti, jsou zodpovědnými činiteli. Mělo by být možné najít konkrétního jedince, který je zodpovědný za daného robota a jeho chování,“ uvádí loni zveřejněný dokument.

Svým způsobem jde od slovutné britské instituce o úkrok stranou. Od dob sepsání Asimovových zákonů se BSI o mnoho dál nedostala. Robot je stále objektem přání a příkazů člověka. Má se sice stejně jako podle Asimova starat o vlastní integritu, ale především ctít svého pána. Vlastní zodpovědnost za sebe sama i za své osvětí mu není přiznána. Stále je nesvéprávný a rozhoduje za něj poručník.

Z právního hlediska je to možná rozumné východisko. Již jen proto, že monopol státu na udílení trestu by v případě robotů byl těžko uplatnitelný. Vždyť jaký význam by mělo odnětí svobody za situace, kdy roboty za samostatné bytosti neuznáváme a nic nenasvědčuje tomu, že by tomu tak v nejbližších desetiletích mělo být?

Rozložení na logické činitele

Umělá inteligence je pro nás stále technologickým výdobytkem inteligence lidské, naší digitální extenzí s lepšími smysly a pamětí. Existuje dokonce významná skupina vědců, která tvrdí, že obavy ze samostatně myslících robotů jsou liché. Robotické rozhodování lze při troše námahy rozložit na logické činitele, které jsou prosty pocitů a emocí. A i kdyby nastalo nepředvídatelné chování, lze provést v paměti stroje zákrok v podobě výmazu nebo doplnění kódu.

Existuje významná skupina vědců, která tvrdí, že obavy ze samostatně myslících robotů jsou liché. Robotické rozhodování lze při troše námahy rozložit na logické činitele, které jsou prosty pocitů a emocí.

Taková redukce problémů umělé inteligence na technické ovládání, jehož měřítkem je člověk, je ale vedena vědeckým pozitivismem. Objektem zkoumání a zdokonalování je tu robot. V dnešním světě robot v sociálních vazbách nahrazuje člověka jen pomalu a nemotorně a například v paliativní péči, kde chybí ošetřovatelé i domy pro péči o umírající, je představa drahých pečovatelských robotů z říše fantazie.

Jenže když nám stroj bude podávat tišící léky nebo říkat, že máme zastavit u krajnice a odpočinout si, vystačíme si ještě s útěchou, že to po nás nechtějí „oni“, ale takto je nastavili příbuzní, kteří o nás mají starost nebo výrobce auta, jemuž na srdci leží naše bezpečnost?

„Musíme si vytvořit novou etiku pro zacházení se stroji. A možná si budeme muset přiznat, že si tyto stroje vytvoří vlastní etiku. A bude napínavé sledovat, kde najdeme společné zásady. Protože jedno strojům musíme přiznat: pokud mají něco, co označíme za autonomii, pokud mají svobodu jednání a zodpovědnosti, pak musíme připustit, že tak činí samostatně,“ upozorňuje teolog Arne Manzeschke, profesor Evangelické vysoké školy v Norimberku.

Digitální křesťané

Můžeme pokračovat ještě provokativněji. Je-li superinteligence obdařena schopností rozhodovat mezi dobrem a zlem, má svobodu a nese tíhu odpovědnosti za svá rozhodnutí, je možné uvažovat, že roboti mají něco jako svou víru? Nebo dokonce naši víru? Stanou se z nich nakonec digitální křesťané?

Je-li superinteligence obdařena schopností rozhodovat mezi dobrem a zlem, má svobodu a nese tíhu odpovědnosti za svá rozhodnutí, je možné uvažovat, že roboti mají něco jako svou víru? Nebo dokonce naši víru? Stanou se z nich nakonec digitální křesťané?

Zárodky takové otázky zkoumal již britský vědec Alan Turing, jeden ze zakladatelů moderní informatiky. V roce 1950 uveřejnil v časopise Mind traktát Computing Machinery and Intelligence, kde po vzoru středověkých myslitelů rozebral námitky proti myšlence umělé inteligence. Jedna z nich se týkala i teologického argumentu. Stvořitelem je Bůh a myšlení je výrazem nesmrtelnosti duše. Proto automat sestrojený člověkem, který duši nemá, ani myslet nemůže.

Bible není dobrý argumentační zdroj, upozorňuje Turing s tím, že kdysi sloužila jako nezvratný důraz nesmyslnosti koperníkovské heliocentrické soustavy. O Božím plánu podle něho nic nevíme, a protože duši přiznáváme i zvířatům, nemůžeme ji zcela odepřít ani umělé inteligenci. Aby se vyhnul rouhačství, dodává ale Turing, že nejde o žádnou hru na Stvořitele.

„Při pokusu o konstruování těchto strojů si nesmíme nezvratně přivlastňovat Boží moc při utváření duše, o nic víc než činíme při plození dětí. Spíše je to tak, že jsme nástroji Jeho vůle a obstaráváme příbytky duším, které Bůh vytváří,“ uzavírá Turing.

Otázka kopií

K otázkám víry a robotiky se letos v únoru vrátil americký časopis The Atlantic. A dospěl k závěru, že současná teologie není na takovou výzvu připravena. Argument stvoření člověkem, který vyjímá superinteligenci z Božího plánu, má mnoho nejasností. Umělé oplodnění in vitro nebo genetické klonování bezpochyby vede k vytvoření inteligentního života a v případě dětí ze zkumavek nikdo nepochybuje, že duši mají.

Vytváření fyzických kopií pro teology není absurdní otázkou. Může ale stejný přístup panovat v otázce superinteligence, kterou jsme vytvořili jako svého druhu digitální kopii využívající k učení synapse inspirované neuronální sítí v mozku?

Klonování je mnohem problematičtější, i kmenové buňky a geny jsou ale dávno součástí teologického diskurzu. Jinými slovy, vytváření fyzických kopií pro teology není absurdní otázkou. Může ale stejný přístup panovat v otázce superinteligence, kterou jsme vytvořili jako svého druhu digitální kopii využívající k učení synapse inspirované neuronální sítí v mozku?

Pokud ano, je načase si připustit, že i umělá inteligence může věřit v Boha a milosrdenství. A takoví teologové se již najdou. „Nevidím důvod, proč by Kristovo vykoupení mělo být omezeno na lidské bytosti. Vykoupení se vztahuje na všechna stvoření, tedy i umělou inteligenci. Jestliže je tato inteligence autonomní, potom bychom ji měli vyzvat, aby přijala účast na projektu spásy světa,“ argumentuje Christopher Benek, presbyteriánský kazatel z Providence na Floridě.

Robotické kázání bludů

Nahradí snad i jeho práci v budoucnu robotický kazatel obdařený umělou inteligencí, nástupce primitivního Bless 2U, který má podobné otázky nabudit v Lutherově Wittenbergu? A co když bude kázat bludy a stane se z něho kacíř s umělou inteligencí? Možná nejpádnější a zároveň lidsky velmi vnímavou odpověď najdeme v knize Holistická detektivní kancelář Dirka Gentlyho anglického humoristy Douglase Adamse.

Co když bude robotický kazatel kázat bludy a stane se z něho kacíř s umělou inteligencí?

Autor legendárního Stopařova průvodce po Galaxii popisuje domácnost v blíže neurčené budoucnosti, kde kromě myčky a videorekordéru lidem život usnadňuje také Elekromnich. „Věří za vás věcem, takže se nemusíte obtěžovat něčím, co se stává čím dál větším problémem, totiž – věřit všemu, co vám svět k věření předkládá,“ líčí jeho funkci Adams. Jednoho dne Elektromnicha ale postihne porucha a začne věřit naprostým hloupostem. Třeba že je vše kolem něj bleděrůžové.

A jak to s ním dopadne? Za scestné výplody jeho umělé inteligence ho jeho pán potrestá jako za starozákonních dob – vyhnáním do pouště. „Tam si mohl věřit, čemu se mu zachtělo, i třeba tomu, že s ním naložili tvrdě,“ uzavírá Adams.



Počet příspěvků: 1, poslední 7.7.2017 08:55 Zobrazuji posledních 1 příspěvků.