Tu je informácia, ktorá vám raz môže zachrániť život: ak by vás prenasledovalo vojenské bezpilotné lietadlo (tzv. dron), pomôže, ak vaše únikové vozidlo pokryjete reflexným materiálom, sklom, či inými väčšími odrazovým plochami. To aspoň tvrdí jeden z 22 tipov na prežitie bezpilotných útokov zo samizdatového dokumentu al-Káidy.
Hoci takáto situácia je pre nás, našťastie, nepravdepodobná, diaľkovo ovládané a dokonca úplne autonómne systémy sú čoraz aktuálnejšou témou nielen v extrémnom prostredí vojnových zón, ale aj v našom každodennom živote.
.tu sme teraz
Útokom dronov americkej armády podľahlo doteraz podľa odhadov 2 000 – 5 000 obetí. Ide teda o veľmi aktuálnu tému, hoci vojnové nasadenie dronov má už dlhšiu históriu. Až v posledných rokoch sa však stali z týchto mĺkvych pozorovateľov aktívni účastníci bojov, keď k pôvodne výzvedným zariadeniam pribudli protipechotné rakety a iné zbraňové systémy.
Drony už v súčasnosti majú vysoký stupeň autonómnosti. Dokážu automaticky vzlietnuť a pristáť, rozpoznajú ľudské postavy a vedia sledovať ich pohyb. Avšak finálne rozhodnutie, to o útoku, a teda často o živote a smrti, má ešte stále v rukách ľudský operátor, hoci je vzdialený tisíce kilometrov od bojiska. Zatiaľ sme tu teda stavaní k problému „diaľkovej etiky“, ale ten nás ďalej zavedie až k otázkam „strojovej etiky“, teda problému morálneho rozhodovania plne autonómnych systémov.
.etika na diaľku
Prináša nasadenie robotických systémov naozaj nové morálne dilemy? Od úsvitu civilizácie (a teda úsvitu organizovaného násilia) sa predsa útočníci snažili získať fyzický odstup od obete. Sú naše otázky teda len extrapoláciou trendu, ktorý sa začal, keď sme vtesnali medzi útočníka a jeho obeť prvé metre pomocou lukov, neskôr desiatky či stovky metrov „vďaka“ strelným zbraniam a kilometre pri raketových strelách?
Kritici diaľkovo ovládaných systémov varujú, že fyzický odstup od frontu prináša aj odstup psychologický a morálny. Pilot rozhodujúci o útoku sleduje situáciu cez obrazovku a často ovláda dron aj pomocou štandardného gamepadu, známeho z herných konzol. Tieto okolnosti môžu potenciálne zatieniť závažnosť, či dokonca reálnosť celej situácie a nabádať na ľahkovážne rozhodnutia.
Avšak aj táto minca má druhú stranu. Typická dronova operácia sa začína dlhodobým sledovaním obete. Kým nastane vhodná situácia a padne rozhodnutie o útoku, pilot často „strávil“ s obeťou niekoľko hodín. Toto je diametrálne odlišné oproti pilotom bombardérov alebo pri zrážkach pechoty, kde vojak často vôbec nevie, či alebo koho zasiahol. Drony po zásahu často musia zotrvať na pozícii a ďalej zbierať informácie, nútiac tak svojich operátorov sledovať tragické následky útoku. Prvé prípady psychických tráum medzi pilotmi sú už známe. Ich symptómy sú podobné ako pri posttraumatickom syndróme priamych účastníkov bojov, hoci tu ide pravdepodobne o odlišný psychologický mechanizmus.
Otázka nedostatku osobnej zodpovednosti tak nie je zatiaľ jednoznačná a len dlhodobejšie štúdie by nám pomohli pochopiť tento rozmer konfliktov na diaľku.
.automatizovaná vojna
Musíme však podotknúť, že finálne odvolanie sa na ľudskú inštanciu o otázke útoku je skôr formálnym krokom, vyžadovaným medzinárodným vojnovým právom.
Prakticky plná automatizácia operácií vrátane ich terminálnej fázy je už teraz často na dosah našich technologických možností (alebo tak bude už v blízkej budúcnosti). Popri dronoch ďalším príkladom autonómnych zariadení sú strelné veže, strážiace hranice Južnej Kórey a v Izraeli. Tie sa zatiaľ tiež odvolávajú na ľudského operátora, ale už v súčasnosti disponujú aj plne automatickým módom. Je celkom možné, že historický moment, keď robotický Kain zavraždil prvého človeka, už nastal.
Je ale posun k automatizovanému rozhodovaniu neodvratný? Nemôžeme nechať rozhodnutie vždy v rukách človeka? Zástancovia plnej autonómnosti majú naporúdzi hneď niekoľko argumentov. Ako svedčí dokument al-Káidy, jedným z najúčinnejších protiopatrení, je rušiť komunikačné signály dronov a odrezať ich tak od operátorov. Autonómny systém by, samozrejme, dokázal dokončiť operáciu aj v týchto prípadoch.
Častým argumentom proti dronom je, že pre nízke rozlíšenie piloti často nevedia, či cieľ je naozaj ozbrojený a predstavuje nebezpečie. Kamerové systémy a detektory sa preto neustále zdokonaľujú a poskytujú snímky oveľa väčších území, s oveľa vyšším rozlíšením a hneď v niekoľkých optických pásmach. Operátori onedlho nebudú schopní dostatočne rýchlo vyhodnotiť túto záplavu dát. Prvá možnosť je, že operátori budú odkázaní len na zlomok informácií, ktoré im automaticky predfiltrovala umelá inteligencia stroja (a teda sama rozhodla, čo je dôležité a čo nie). Druhá možnosť je, že ľudský element bude vylúčený z rozhodnutia o útoku úplne. Zdá sa teda, že zlepšovanie senzorov a nárast dát v každom prípade vedú k nárastu podielu umelej inteligencie stroja na finálnom rozhodnutí.
Posledný bod za autonómnosť znie určite paradoxne: ľudskí operátori môžu podľahnúť panike, únave alebo jednoducho pochybiť. Žiaľ, príkladov tragických omylov je veľa a nemusíme ani siahať hlboko do minulosti. Nech je politické pozadie zostreleného malajzijského lietadla akékoľvek, ľudské zlyhanie hralo určite kľúčovú úlohu. Autonómne systémy, tak znie teda argument, by boli schopné konzistentne vyhodnotiť viac informácií, zvýšiť tak efektívnosť operácií a znížiť počet civilných obetí.
Prenechať takto závažné rozhodnutie na autonómny systém má však hlboké následky, nútiace nás od základov prehodnotiť najzákladnejšie morálne a právne hodnoty.
Kto potiahol spúšť, nesie zodpovednosť. Ale kto potiahol spúšť pri autonómnom zabití?
.abstrakcia morálky
Určite vnímame pocit hlbokého znepokojenia pri premýšľaní o týchto otázkach. Okrem emočného náboja tejto otázky je veľmi zneisťujúce, ako veľmi sa abstrahuje koncept zodpovednosti. Náš rozum ešte ako-tak dokáže obsiahnuť kauzálnu súvislosť medzi pilotom dronu a jeho obeťou, hoci toto spojenie vedie naprieč tisícami kilometrov.
Pri plne autonómnom systéme je však táto súvislosť ešte abstraktnejšia. Budeme vyžadovať zodpovednosť od výrobcu dronu či jeho zbraňových systémov? Alebo skôr prisúdiť zodpovednosť tvorcovi softvérovej časti, inteligencii, ktorá urobila finálne rozhodnutie?
Je fascinujúce (a znepokojujúce) premýšľať o zodpovednosti v tomto kontexte. Práca programátorského tímu, voľba algoritmov a ich parametrov nadobúdajú morálny rozmer a v krajnom prípade znamenajú rozhodnutie o živote a smrti.
.kam ďalej
Koniec ozbrojených konfliktov zostáva naďalej nedosiahnuteľným ideálom. Asi 70 národov vyvíja vlastné drony a mnohé z nich plánujú aj plne autonómne bojové systémy.
Mnohí veteráni vďačia za svoje životy pyrotechnickým robotom, alebo (ako ich nazývajú) „strážnym anjelom“, dronom sprevádzajúcim kolóny a strážiacim tábory. Bolo by až orwellovské argumentovať, že vojna s ľuďmi na frontoch je humánnejšia.
Výroba dronov je jednoduchšia ako výroba nukleárnych zbraní, a tak je možné, či chceme, alebo nie, že skutočne viac národov (alebo skupín) bude disponovať touto technológiou. Môžeme špekulovať o rovnovážnom stave, keď na oboch stranách frontu bude stáť čoraz viac robotických zbraní (a robotických protiopatrení), tak počet ľudských obetí bude menší. Táto „útecha“ však znie tiež akosi znepokojivo.
Na bojiskách sa problém nekončí, len začína. Hoci sme sa v tomto článku sústredili na bojové systémy, otázka „strojovej etiky“ bude hlboko zasahovať do našich každodenných životov. Má sa Google-auto vyhnúť, aby nezrazilo chodca, ale ohroziť tak skupinku ľudí na električkovom nástupišti? Ak programátorská činnosť má morálny rozmer, aký to má dopad na algoritmy, ktoré už teraz silne ovplyvňujú naše životy, keď rozhodujú o našom zdravotnom poistení či bankovom kredite?
Sprievodca na prežitie dronových útokov dodáva, že reflexné plochy na aute metaforicky nútia pilota dronu pozrieť sa na seba samého. Pripomínajú, že nech využívame akokoľvek sofistikované systémy, vždy sú to ľudia, čo rozhodujú o bytí či nebytí iných ľudských bytostí. Nitky zodpovednosti za našu budúcnosť, nech sú akékoľvek abstraktné, ležia v konečnom dôsledku v našich rukách. Môžeme od našich výtvorov očakávať, že budú humánnejšie než sme my sami?
Hoci takáto situácia je pre nás, našťastie, nepravdepodobná, diaľkovo ovládané a dokonca úplne autonómne systémy sú čoraz aktuálnejšou témou nielen v extrémnom prostredí vojnových zón, ale aj v našom každodennom živote.
.tu sme teraz
Útokom dronov americkej armády podľahlo doteraz podľa odhadov 2 000 – 5 000 obetí. Ide teda o veľmi aktuálnu tému, hoci vojnové nasadenie dronov má už dlhšiu históriu. Až v posledných rokoch sa však stali z týchto mĺkvych pozorovateľov aktívni účastníci bojov, keď k pôvodne výzvedným zariadeniam pribudli protipechotné rakety a iné zbraňové systémy.
Drony už v súčasnosti majú vysoký stupeň autonómnosti. Dokážu automaticky vzlietnuť a pristáť, rozpoznajú ľudské postavy a vedia sledovať ich pohyb. Avšak finálne rozhodnutie, to o útoku, a teda často o živote a smrti, má ešte stále v rukách ľudský operátor, hoci je vzdialený tisíce kilometrov od bojiska. Zatiaľ sme tu teda stavaní k problému „diaľkovej etiky“, ale ten nás ďalej zavedie až k otázkam „strojovej etiky“, teda problému morálneho rozhodovania plne autonómnych systémov.
.etika na diaľku
Prináša nasadenie robotických systémov naozaj nové morálne dilemy? Od úsvitu civilizácie (a teda úsvitu organizovaného násilia) sa predsa útočníci snažili získať fyzický odstup od obete. Sú naše otázky teda len extrapoláciou trendu, ktorý sa začal, keď sme vtesnali medzi útočníka a jeho obeť prvé metre pomocou lukov, neskôr desiatky či stovky metrov „vďaka“ strelným zbraniam a kilometre pri raketových strelách?
Kritici diaľkovo ovládaných systémov varujú, že fyzický odstup od frontu prináša aj odstup psychologický a morálny. Pilot rozhodujúci o útoku sleduje situáciu cez obrazovku a často ovláda dron aj pomocou štandardného gamepadu, známeho z herných konzol. Tieto okolnosti môžu potenciálne zatieniť závažnosť, či dokonca reálnosť celej situácie a nabádať na ľahkovážne rozhodnutia.
Avšak aj táto minca má druhú stranu. Typická dronova operácia sa začína dlhodobým sledovaním obete. Kým nastane vhodná situácia a padne rozhodnutie o útoku, pilot často „strávil“ s obeťou niekoľko hodín. Toto je diametrálne odlišné oproti pilotom bombardérov alebo pri zrážkach pechoty, kde vojak často vôbec nevie, či alebo koho zasiahol. Drony po zásahu často musia zotrvať na pozícii a ďalej zbierať informácie, nútiac tak svojich operátorov sledovať tragické následky útoku. Prvé prípady psychických tráum medzi pilotmi sú už známe. Ich symptómy sú podobné ako pri posttraumatickom syndróme priamych účastníkov bojov, hoci tu ide pravdepodobne o odlišný psychologický mechanizmus.
Otázka nedostatku osobnej zodpovednosti tak nie je zatiaľ jednoznačná a len dlhodobejšie štúdie by nám pomohli pochopiť tento rozmer konfliktov na diaľku.
.automatizovaná vojna
Musíme však podotknúť, že finálne odvolanie sa na ľudskú inštanciu o otázke útoku je skôr formálnym krokom, vyžadovaným medzinárodným vojnovým právom.
Prakticky plná automatizácia operácií vrátane ich terminálnej fázy je už teraz často na dosah našich technologických možností (alebo tak bude už v blízkej budúcnosti). Popri dronoch ďalším príkladom autonómnych zariadení sú strelné veže, strážiace hranice Južnej Kórey a v Izraeli. Tie sa zatiaľ tiež odvolávajú na ľudského operátora, ale už v súčasnosti disponujú aj plne automatickým módom. Je celkom možné, že historický moment, keď robotický Kain zavraždil prvého človeka, už nastal.
Je ale posun k automatizovanému rozhodovaniu neodvratný? Nemôžeme nechať rozhodnutie vždy v rukách človeka? Zástancovia plnej autonómnosti majú naporúdzi hneď niekoľko argumentov. Ako svedčí dokument al-Káidy, jedným z najúčinnejších protiopatrení, je rušiť komunikačné signály dronov a odrezať ich tak od operátorov. Autonómny systém by, samozrejme, dokázal dokončiť operáciu aj v týchto prípadoch.
Častým argumentom proti dronom je, že pre nízke rozlíšenie piloti často nevedia, či cieľ je naozaj ozbrojený a predstavuje nebezpečie. Kamerové systémy a detektory sa preto neustále zdokonaľujú a poskytujú snímky oveľa väčších území, s oveľa vyšším rozlíšením a hneď v niekoľkých optických pásmach. Operátori onedlho nebudú schopní dostatočne rýchlo vyhodnotiť túto záplavu dát. Prvá možnosť je, že operátori budú odkázaní len na zlomok informácií, ktoré im automaticky predfiltrovala umelá inteligencia stroja (a teda sama rozhodla, čo je dôležité a čo nie). Druhá možnosť je, že ľudský element bude vylúčený z rozhodnutia o útoku úplne. Zdá sa teda, že zlepšovanie senzorov a nárast dát v každom prípade vedú k nárastu podielu umelej inteligencie stroja na finálnom rozhodnutí.
Posledný bod za autonómnosť znie určite paradoxne: ľudskí operátori môžu podľahnúť panike, únave alebo jednoducho pochybiť. Žiaľ, príkladov tragických omylov je veľa a nemusíme ani siahať hlboko do minulosti. Nech je politické pozadie zostreleného malajzijského lietadla akékoľvek, ľudské zlyhanie hralo určite kľúčovú úlohu. Autonómne systémy, tak znie teda argument, by boli schopné konzistentne vyhodnotiť viac informácií, zvýšiť tak efektívnosť operácií a znížiť počet civilných obetí.
Prenechať takto závažné rozhodnutie na autonómny systém má však hlboké následky, nútiace nás od základov prehodnotiť najzákladnejšie morálne a právne hodnoty.
Kto potiahol spúšť, nesie zodpovednosť. Ale kto potiahol spúšť pri autonómnom zabití?
.abstrakcia morálky
Určite vnímame pocit hlbokého znepokojenia pri premýšľaní o týchto otázkach. Okrem emočného náboja tejto otázky je veľmi zneisťujúce, ako veľmi sa abstrahuje koncept zodpovednosti. Náš rozum ešte ako-tak dokáže obsiahnuť kauzálnu súvislosť medzi pilotom dronu a jeho obeťou, hoci toto spojenie vedie naprieč tisícami kilometrov.
Pri plne autonómnom systéme je však táto súvislosť ešte abstraktnejšia. Budeme vyžadovať zodpovednosť od výrobcu dronu či jeho zbraňových systémov? Alebo skôr prisúdiť zodpovednosť tvorcovi softvérovej časti, inteligencii, ktorá urobila finálne rozhodnutie?
Je fascinujúce (a znepokojujúce) premýšľať o zodpovednosti v tomto kontexte. Práca programátorského tímu, voľba algoritmov a ich parametrov nadobúdajú morálny rozmer a v krajnom prípade znamenajú rozhodnutie o živote a smrti.
.kam ďalej
Koniec ozbrojených konfliktov zostáva naďalej nedosiahnuteľným ideálom. Asi 70 národov vyvíja vlastné drony a mnohé z nich plánujú aj plne autonómne bojové systémy.
Mnohí veteráni vďačia za svoje životy pyrotechnickým robotom, alebo (ako ich nazývajú) „strážnym anjelom“, dronom sprevádzajúcim kolóny a strážiacim tábory. Bolo by až orwellovské argumentovať, že vojna s ľuďmi na frontoch je humánnejšia.
Výroba dronov je jednoduchšia ako výroba nukleárnych zbraní, a tak je možné, či chceme, alebo nie, že skutočne viac národov (alebo skupín) bude disponovať touto technológiou. Môžeme špekulovať o rovnovážnom stave, keď na oboch stranách frontu bude stáť čoraz viac robotických zbraní (a robotických protiopatrení), tak počet ľudských obetí bude menší. Táto „útecha“ však znie tiež akosi znepokojivo.
Na bojiskách sa problém nekončí, len začína. Hoci sme sa v tomto článku sústredili na bojové systémy, otázka „strojovej etiky“ bude hlboko zasahovať do našich každodenných životov. Má sa Google-auto vyhnúť, aby nezrazilo chodca, ale ohroziť tak skupinku ľudí na električkovom nástupišti? Ak programátorská činnosť má morálny rozmer, aký to má dopad na algoritmy, ktoré už teraz silne ovplyvňujú naše životy, keď rozhodujú o našom zdravotnom poistení či bankovom kredite?
Sprievodca na prežitie dronových útokov dodáva, že reflexné plochy na aute metaforicky nútia pilota dronu pozrieť sa na seba samého. Pripomínajú, že nech využívame akokoľvek sofistikované systémy, vždy sú to ľudia, čo rozhodujú o bytí či nebytí iných ľudských bytostí. Nitky zodpovednosti za našu budúcnosť, nech sú akékoľvek abstraktné, ležia v konečnom dôsledku v našich rukách. Môžeme od našich výtvorov očakávať, že budú humánnejšie než sme my sami?
Ak ste našli chybu, napíšte na web@tyzden.sk.