Baćka sfatahrafavaŭ hienitalii syna pa prośbie doktara. Heta skončyłasia dla jaho kašmaram
Google maje aŭtamatyzavany instrumient dla vyjaŭleńnia niezakonnych vyjavaŭ. Ale sistema moža pamylacca i nastupstvy mohuć razburyć vaša žyćcio, piša The New York Times.
Mark zaŭvažyŭ, što ź jaho małym niešta nie tak. Pienis jaho syna vyhladaŭ apuchłym i baleŭ. Mark uziaŭ smartfon na Android i zrabiŭ fatahrafii, kab zadakumientavać prablemu i prasačyć za jaje raźvićciom.
Heta byŭ viečar piatnicy ŭ lutym 2021 hoda. Jaho žonka patelefanavała miedsiastry, kab pryznačyć terminovuju kansultacyju z doktaram na nastupnuju ranicu pa videasuviazi, bo była subota i pandemija kavidu. Miedsiastra paprasiła dasłać fatahrafii, kab lekar moh prahladzieć ich zahadzia.
Žonka Marka ŭziała telefon muža i adpraviła na svoj iPhone niekalki zdymkaŭ pachvinnaj vobłaści ich syna bujnym płanam, kab zahruzić ich u sistemu paviedamleńniaŭ miedycynskaj ustanovy. Na adnym sa zdymkaŭ była bačnaja ruka Marka, kab lepš razhledzieć prypuchłaść.
Z dapamohaj zdymkaŭ lekar pastaviŭ dyjahnaz i pryznačyŭ antybijotyki, jakija chutka vylečyli syna. Ale hety epizod stvaryŭ Marku novuju prablemu, jakaja budzie kaštavać jamu kantaktaŭ za dziesiać hod, a taksama elektronnych listoŭ i fatahrafij, a palicyja pačnie suprać jaho rasśledavańnie. Mark trapiŭ u ałharytmičnuju sietku, pryznačanuju dla łoŭli ludziej, jakija abmieńvajucca dziciačym porna.
Technałahičnyja kampanii rehularna źbirajuć vielmi šmat danych i na ich cisnuć, kab jany vystupali ŭ roli dazornych, vyvučajučy toje, što prachodzić praź ich sierviery, kab vyjavić i praduchilić złačynstvy. Abaroncy dziaciej kažuć, što supracoŭnictva kampanijaŭ nieabchodna dla baraćby ź niastrymnym raspaŭsiudžvańniem u internecie dziciačaha porna. Ale heta moža paciahnuć za saboj praniknieńnie ŭ pryvatnyja archivy.
Džon Kałas, technołah z Electronic Frontier Foundation, arhanizacyi pa abaronie hramadzianskich svabod, nazvaŭ hetyja vypadki pieršymi zvanočkami. «Takich vypadkaŭ mohuć być dziasiatki, sotni, tysiačy», — skazaŭ jon.
Uličvajučy taksičny charaktar abvinavačvańniaŭ, Kałas ličyć, što bolšaść ludziej, jakich niespraviadliva adznačyli, nie stanuć publična kazać pra toje, što zdaryłasia.
«Ja viedaŭ, što hetyja kampanii sočać za tym, što adbyvajecca, i pryvatnaść — heta nie toje, na što možna spadziavacca, — razhublena kaža Mark. — Ale ja nie zrabiŭ ničoha drennaha».
Palicyja pahadziłasia. Google — nie.
Surjoznaje parušeńnie
Paśla stvareńnia ŭlikovaha zapisu Gmail u siaredzinie minułaha dziesiacihodździa, Mark, jakomu ŭžo za 40, staŭ davoli mocna pakładacca na Google. Jon sinchranizavaŭ sustrečy sa svajoj žonkaj u Google Kalandar. Kamiera jaho smartfona stvarała reziervovyja kopii jaho fatahrafijaŭ i videa ŭ vobłaku Google. U jaho navat byŭ taryfny płan Google Fi, jaki jon vykarystoŭvaŭ dla zvankoŭ i internetu.
Praz dva dni paśla taho, jak jon zrabiŭ fatahrafii svajho syna, telefon Marka vydaŭ paviedamleńnie: jaho akaŭnt byŭ adklučany z-za «škodnasnaha kantentu», jaki «źjaŭlajecca surjoznym parušeńniem palityki Google i moža być niezakonnym». Spasyłka «daviedacca bolš» viała da śpisu mahčymych pryčynaŭ, siarod jakich byŭ «seksualny hvałt i ekspłuatacyja dziaciej».
Mark spačatku razhubiŭsia, ale potym uspomniŭ pra svajho syna. «Boža, Google, napeŭna, dumaje, što heta było dziciačaje porna», — padumaŭ jon.
Niečakany pavarot: Mark pracavaŭ inžynieram-prahramistam u bujnoj technałahičnaj kampanii, jakaja zajmałasia aŭtamatyzavanym vydaleńniem videakantentu, adznačanaha karystalnikami jak «prablemny». Jon viedaŭ, što ŭ takich sistemach časta jość čałaviek, jaki sočyć za tym, kab kampjutar nie ździejśniŭ pamyłku, i jon mierkavaŭ, što jaho sprava budzie razhledžanaja, jak tolki jana patrapić da hetaha čałavieka.
Jon zapoŭniŭ formu z prośbaj pierahledzieć rašeńnie Google, patłumačyŭšy, što jaho syn chvareŭ. U toj ža čas jon vyjaviŭ efiekt damino, vyklikany admovaj Google. Jon nie tolki straciŭ elektronnuju poštu, kantaktnuju infarmacyju siabroŭ i byłych kaleh, a taksama fota i zapisy pra pieršyja miesiacy žyćcia syna, jaho akaŭnt Google Fi zakryŭsia, što aznačała, što jamu daviałosia zavieści novy numar telefona ŭ inšaha apieratara suviazi. Biez dostupu da staroha numara telefona i adrasu elektronnaj pošty jon nie moh atrymać kody biaśpieki, nieabchodnyja dla ŭvachodu ŭ inšyja akaŭnty, što pazbaviła jaho mahčymaści karystacca bolšaj častkaj ličbavych siervisaŭ.
«Čym bolš jajek u adnym košyku, tym bolš imaviernaść taho, što košyk razabjecca», — kaža jon.
U zajavie Google skazana: «seksualny hvałt nad dziećmi ahidny, i my imkniemsia praduchilić raspaŭsiudžvańnie takich materyjałaŭ na našych płatformach».
Praź niekalki dzion paśla taho, jak Mark padaŭ apielacyju, Google adkazaŭ, što nie budzie adnaŭlać akaŭnt, biez dadatkovych tłumačeńniaŭ.
Mark nie viedaŭ pra heta, ale hrupa pravierki Google taksama adznačyła vyjavy, jakija jon zrabiŭ, a departamient palicyi San-Francyska ŭžo pačaŭ rasśledavańnie suprać da jaho.
Jak Google adznačaje vyjavy
Na nastupny dzień paśla taho, jak pačalisia prablemy Marka, toj ža scenar razyhraŭsia ŭ Techasie. U małoha z Chjustana była infiekcyja ŭ «intymnym miescy», napisaŭ jaho baćka ŭ paviedamleńni ŭ internecie. Pa prośbie piedyjatra Kasija zrabiŭ niekalki fota, jakija aŭtamatyčna zachavalisia ŭ Google Photos. Paśla jon dasłaŭ ich žoncy praz Google Messages.
Kasija kuplaŭ dom i musiŭ padpisać nieźličonuju kolkaść ličbavych dakumientaŭ, ale jaho ŭlikovy zapis Gmail byŭ adklučany. Jon paprasiŭ svajho ipatečnaha brokiera źmianić adras elektronnaj pošty, što vyklikała ŭ brokiera padazreńni, ale ahient pa nieruchomaści Kasia paručyŭsia za jaho i tamu jon zdoleŭ usio padpisać.
«Heta byŭ hałaŭny bol», — kaža Kasija.
Vyjavy dziaciej, jakija padviarhajucca ekspłuatacyi abo seksualnamu hvałtu, adznačajucca technałahičnymi hihantami miljony razoŭ štohod. U 2021 hodzie tolki Google zarehistravaŭ bolš za 600 tysiačaŭ paviedamleńniaŭ pra materyjały, jakija źmiaščajuć seksualny hvałt nad dziećmi, i ŭ vyniku adklučyŭ akaŭnty bolš za 270 tysiačaŭ karystalnikaŭ. Dośvied Marka i Kasija byŭ kroplaj u mory.
Pieršym instrumientam technałahičnaj industryi, zdolnym surjozna paškodzić raspaŭsiudu dziciačaj parnahrafijaj, stała PhotoDNA — baza danych viadomych vyjavaŭ dziciačaha porna i inšaha niezakonnaha kantentu, pieratvoranaja va ŭnikalnyja ličbavyja kody, abo chešy. Ź jaje dapamohaj možna chutka adsačyć vialikuju kolkaść vyjavaŭ, kab vyjavić supadzieńnie navat kali fatahrafija była źmienienaja. Paśla taho jak Microsoft vypuściła PhotoDNA ŭ 2009 hodzie, Facebook i inšyja technałahičnyja kampanii vykarystoŭvali jaje dla vyjaŭleńnia karystalnikaŭ, jakija raspaŭsiudžvajuć niezakonnyja i škodnasnyja vyjavy.
Bolš značny praryŭ adbyŭsia amal praź dziesiać hadoŭ, u 2018 hodzie, kali kampanija Google raspracavała štučny intelekt, zdolny raspaznavać novyja vyjavy ź dziciačym porna. Heta značyła, što možna znajści nie tolki viadomyja vyjavy dziaciej, jakija padvierhlisia hvałtu, ale i malunki nieviadomych achviaraŭ, jakija patencyjna mohuć być vyratavanyja ŭładami. Google daŭ svaju technałohiju inšym kampanijam, u tym liku Facebook.
Kali fatahrafii Marka i Kasia aŭtamatyčna zahruzilisia ź ich telefonaŭ na sierviery Google, hetaja technałohija paznačyła ich. Džon Kałas z EFF nazyvaje skanavańnie umiašańniem u pryvatnaje žyćcio, zajaviŭšy, što siamiejny fotaalbom na asabistaj pryładzie pavinien być «pryvatnaj śfieraj» (pres-sakratar Google zajaviła, što kampanija skanuje fatahrafii tolki tady, kali karystalnik pradprymaje «pazityŭnaje dziejańnie», u tym liku, kali telefon karystalnika robić reziervovuju kopiju fatahrafij u vobłaka kampanii).
«Heta mienavita toj kašmar, pra jaki my ŭsie turbujemsia, — kaža Kałas. — Jany mohuć adskanavać moj siamiejny albom i tady ŭ mianie buduć prablemy».
Maderatar kantentu ŭ Google pavinien byŭ prahledzieć fatahrafii paśla taho, jak jany byli adznačanyja štučnym intelektam, kab pierakanacca, što jany adpaviadajuć Fiederalnamu vyznačeńniu materyjałaŭ pra seksualny hvałt nad dziećmi. Kali Google vyjaŭlaje padobnaje, jon błakuje ŭlikovy zapis karystalnika, šukaje inšyja materyjały, jakija źmiaščajuć seksualnuju ekspłuatacyju, i, jak taho patrabuje Fiederalny zakon, paviedamlaje pra heta ŭ CyberTipline Nacyjanalnaha centra dapamohi źnikłym i ekspłuatavanym dzieciam.
Hetaja niekamiercyjnaja arhanizacyja stała centram zboru infarmacyi pra materyjały, źviazanyja z hvałtam. U minułym hodzie jana atrymała 29.3 miljona paviedamleńniaŭ, abo kala 80 tysiačaŭ paviedamleńniaŭ štodzień. Fełan Maknałci, jakaja kiruje CyberTipline, kaža, što bolšaść ź ich — heta staryja vyjavy, jakija zastajucca ŭ pastajannym zvarocie ŭ internecie. Tamu jaje štat z 40 analitykaŭ zasiarodžany na patencyjnych novych achviarach, kab jany mahli vyznačyć pryjarytetnaść hetych spravaŭ dla pravaachoŭnych orhanaŭ.
«Jak praviła, kali supracoŭniki arhanizacyi razhladajuć paviedamleńni ŭ CyberTipline i kali ŭ im utrymlivajucca materyjały z ekspłuatacyjaj, jakija nie byli zaŭvažanyja raniej, jany pierachodziać da aktyŭnych dziejańniaŭ, — kaža Maknałci. — Heta moža być dzicia, jakoje jašče nie identyfikavali, jano moža znachodzicca ŭ niebiaśpiecy».
Spadarynia Maknałci skazała, što dobraja zdolnaść Google vyjavić hetyja vyjavy, kab jaje arhanizacyja mahła paviedamić pra ich palicyi dla dalejšaha rasśledavańnia, źjaŭlajecca «prykładam taho, što sistema pracuje tak, jak jana pavinna pracavać».
Supracoŭniki CyberTipline dadajuć novyja vyjavy ŭ chešavanuju bazu danych, jakaja pieradajecca technałahičnym kampanijam dla skanavańnia. Kali žonka Marka daviedałasia pra heta, jana vydaliła sa svajho iPhone fatahrafii, zroblenyja Markam dla ich syna, bajučysia, što Apple moža adznačyć jaje akaŭnt. U minułym hodzie kampanija Apple abviaściła pra płany pa skanavańni iCloud Photos na pradmiet viadomych vyjavaŭ dziciačaha porna, ale razhortvańnie hetaj sistemy było adkładzienaje na niavyznačany termin paśla supracivu hrupaŭ pa abaronie pryvatnaha žyćcia.
U 2021 hodzie CyberTipline paviedamiła, što jana papiaredziła ŭłady pra «bolš za 4260 novych patencyjnych achviaraŭ siarod dziaciej». Siarod ich byli i syny Marka i Kasia.
«Jany nievinavatyja»
Śledčy nie zmoh źviazacca z Markam, bo jaho numar telefona Google Fi bolš nie pracavaŭ.
U śniežni 2021 hoda Mark atrymaŭ pa pošcie kanviert ad Departamienta palicyi San-Francyska. U im byŭ list ź infarmacyjaj pra toje, što ŭ dačynieńni da jaho raspačataje rasśledavańnie, a taksama kopii orderaŭ na prahlad akaŭnta Google i jaho internet-pravajdara. Śledčy zapytaŭ usie danyja z akaŭnta Marka ŭ Google: historuju pošuku ŭ internecie, historyju miescaznachodžańnia, paviedamleńni i ŭsie dakumienty, fatahrafii i videa, jakija jon zachoŭvaŭ tam.
Pošuk, źviazany z «videa pra ekspłuatacyju dziaciej», byŭ zrobleny ŭ lutym, na praciahu tydnia paśla taho, jak Mark zrabiŭ fatahrafii svajho syna.
Mark patelefanavaŭ śledčamu Nikałasu Chiłardu, jaki skazaŭ, što sprava zakrytaja. Chiłard sprabavaŭ źviazacca z Markam, ale jaho numar telefona i adras elektronnaj pošty nie pracavali.
«Ja vyrašyŭ, što incydent nie ŭtrymlivaje prykmietaŭ złačynstva i što złačynstva nie było», — napisaŭ Chiłard u svajoj spravazdačy. Palicyja mieła dostup da ŭsioj infarmacyi Google pra Marka i vyrašyła, što heta nie źjaŭlajecca žorstkim abychodžańniem abo ekspłuatacyjaj dzicionka.
Mark spytaŭ, ci moža Chiłard paviedamić Google, što jon nievinavaty, kab jon moh viarnuć svoj akaŭnt.
«Vy musicie havaryć z Google, — skazaŭ Chiłard, pa słovach Marka. — Ja ničoha nie mahu zrabić».
Mark znoŭ źviarnuŭsia ŭ Google, padaŭšy palicejski pratakoł, ale biezvynikova. I dva miesiacy tamu jon atrymaŭ apaviaščeńnie pra toje, što jahony akaŭnt vydalajecca nazaŭždy, Mark pahavaryŭ z advakatam pra toje, jak padać u sud na Google i kolki heta moža kaštavać.
«Ja vyrašyŭ, što heta nie varta siami tysiačaŭ dalaraŭ», — skazaŭ jon.
Kiejt Kłonik, prafiesar prava va ŭniviersitecie Sent-Džons, jaki pisaŭ pra maderacyju anłajn-kantentu, kaža, što byvaje składana «ŭličyć niabačnyja na fatahrafii rečy, naprykład, pavodziny ludziej, jakija dzielacca vyjavaj, abo namiery taho, chto jaje zrabiŭ». Iłžyvyja spracoŭvańni, kali ludzi pamyłkova adznačajucca, niepaźbiežnyja, uličvajučy miljardy adskanavanych malunkaŭ.
Choć bolšaść ludziej, imavierna, paličyli b hety kampramis apraŭdanym, uličvajučy karyść ad vyjaŭleńnia dziaciej, jakija padvierhlisia hvałtu, Kłonik kaža, što kampanijam nieabchodny «nadziejny praces» dla apraŭdańnia i adnaŭleńnia akaŭntaŭ niavinnych ludziej, jakija byli pamyłkova adznačanyja.
«Heta było b prablematyčna, kali b havorka išła tolki pra maderacyju kantentu i cenzuru, — skazała Kłonik. — Ale heta ŭdvaja niebiaśpiečna, bo pryvodzić da taho, što pra niekaha paviedamlajuć u pravaachoŭnyja orhany».
Pavodle jaje słoŭ, mahło być i horš: baćka moža stracić prava apieki nad dziciem.
Kasia taksama znachodziŭsia pad śledstvam. Uvosień 2021 hoda jamu patelefanavaŭ detektyŭ z palicejskaha ŭpraŭleńnia Chjustana i paprasiŭ jaho pryjści ŭ pastarunak.
Paśla taho jak Kasia pakazaŭ detektyvu svaje razmovy ź piedyjatram, ź jaho adrazu źniali abvinavačańni. Ale jon taksama nie zmoh viarnuć akaŭnt Google, niahledziačy na toje, što źjaŭlajecca płatnym karystalnikam veb-pasłuh Google. Zaraz dla elektronnaj pošty jon vykarystoŭvaje Hotmail, praz što niekatoryja navat śmiajucca nad im, i časta robić reziervovyja kopii svaich danych.
Nie zrazumiejecie, navat kali pabačycie
Mark byŭ rasčaravany admovaj Google adnavić akaŭnt paśla taho, jak jon patłumačyŭ, što adbyłosia.
Nie ŭsie fatahrafii aholenych dziaciej źjaŭlajucca parnahrafičnymi, ekspłuatatarskimi abo abraźlivymi. Karysa Birn Chiesik, prafiesar prava z Univiersiteta Paŭnočnaj Karaliny, jakaja piša pra złačynstvy, źviazanych ź dziciačaj parnahrafijaj, kaža, što jurydyčnaje vyznačeńnie taho, što źjaŭlajecca seksualna abraźlivymi malunkami, moža być składanym.
Ale spadarynia Chiesik skazała, što zhodnaja z palicyjaj u tym, što miedycynskija vyjavy nie padpadajuć pad hetaje vyznačeńnie. «Tut niama hvałtu nad dziciem, — skazała jana. — Jany zroblenyja nie dla seksualnych metaŭ».
U mašynnym navučańni kampjutarnaja prahrama trenirujecca, atrymlivajučy «pravilnuju» i «niapravilnuju» infarmacyju, pakul nie zdoleje adroźnivać adno ad druhoha. Dla taho, kab nie adznačać fatahrafii niemaŭlataŭ u vannaj abo dziaciej, jakija pracujuć biez adzieńnia praź śpioku, štučny intelekt Google dla raspaznańnia hvałtu byŭ navučany jak na malunkach patencyjna niezakonnych materyjałaŭ, znojdzienych Google u akaŭntach karystalnikaŭ u minułym, tak i na malunkach, nie źviazanych s seksualnym hvatłam.
Ja bačyŭ fatahrafii, jakija Mark zrabiŭ sa svaim synam. Rašeńnie adznačyć ich było zrazumiełym: heta fatahrafii hienitalij dziciaci. Ale važny kantekst: jany byli zroblenyja baćkam, jaki turbujecca pra chvoraje dzicio.
«My pryznajem, što ŭ stahodździe telemiedycyny i asabliva kavidu baćkam davodzicca rabić fatahrafii svaich dziaciej, kab atrymać dyjahnaz», — skazała Kłer Lili, kiraŭnik adździeła biaśpieki dziaciej Google. Pavodle jaje słoŭ, kampanija kansultujecca ź piedyjatrami, kab jaje śpiecyjalisty razumieli mahčymyja zachvorvańni, jakija mohuć prajavicca na fotazdymkach, zroblenych pa miedycynskich pakazańniach.
Doktar Siuzanna Chejn, staršynia savieta pa žorstkim abychodžańni ź dziećmi i biesprytulnaści pry Amierykanskaj akademii piedyjatryi, paraiła baćkam nie fatahrafavać hienitalii svaich dziaciej, navat pa ŭkazańni lekara.
«Apošniaje, čaho vy chočacie — heta kab dzicia adčuvała siabie kamfortna, kali niechta fatahrafuje jaho hienitalii, — skazała Chani. — Kali heta absalutna nieabchodna, nie zahružajcie zdymki ŭ vobłaka i nieadkładna vydalajcie ich».
Pavodle jaje słoŭ, bolšaść lekaraŭ, vierahodna, nie viedali pra ryzyki, źviazanych z prośbaj da baćkoŭ zrabić takija fatahrafii.
«Ja apładyruju Google za toje, što jany robiać, — skazała Chejn pra namahańni kampanii pa baraćbie sa złoŭžyvańniami. — U nas sapraŭdy jość žudasnaja prablema. Na žal, jana zakranaje i baćkoŭ, jakija sprabujuć zrabić usio pravilna dla svaich dziaciej».
U pačatku hetaha hoda pradstaŭnik słužby padtrymki skazaŭ Kasija, što adpraŭka fatahrafij jaho žoncy z dapamohaj Google Hangouts parušaje ŭmovy absłuhoŭvańnia ŭ prahramie. «Nie vykarystoŭvajcie Hangouts dla ekspłuatacyi dziaciej, — abviaščajuć ŭmovy. — Google prytrymlivajecca palityki nieciarpimaści da takoha źmiestu».
Što tyčycca Marka, Lili z Google zajaviła, što ekśpierty nie vyjavili sypu abo pačyrvanieńniaŭ na fota, jakija jon zrabiŭ, i što pry nastupnaj praviercy jaho akaŭnta było vyjaŭlena videa, źniataje šaściu miesiacami raniej, jakoje Google taksama paličyŭ sprečnym: maleńkaje dzicia lažyć u łožku z raspranutaj žančynaj.
Mark nie pamiataje hetaha videa i bolš nie maje dostupu da jaho, ale jon skazaŭ, što heta padobna na pryvatny momant, jaki jon natchniona zachavaŭ by, nie padazrajučy, što jaho kali-niebudź pahladzić abo acenić niechta inšy.
«Ja mahu sabie heta ŭjavić. My pračnulisia adnojčy ranicaj. Byŭ cudoŭny dzień z majoj žonkaj i synam, i ja chacieŭ zachavać hety momant, — skazaŭ Mark. — Kali b my spali ŭ pižamach, hetaha možna było b paźbiehnuć».
Pradstaŭnica Google zajaviła, što kampanija zastajecca pry svaim mierkavańni, navat niahledziačy na toje, što pravaachoŭnyja orhany apraŭdali hetych dvuch mužčyn.
Vinavaty pa zmoŭčańni
Chiesik, prafiesar prava, skazała, što supracoŭnictva technałahičnych kampanij z pravaachoŭnymi orhanami ŭ baraćbie z seksualnym hvałtam nad dziećmi «nievierahodna važna», ale, na jaje dumku, jano pavinna dapuskać vypraŭleńnie.
«Z punktu hledžańnia Google, praściej prosta admović hetym ludziam u vykarystańni svaich pasłuh», — vykazała zdahadku jana. U advarotnym vypadku kampanii daviałosia b vyrašać bolš składanyja pytańni ab tym, «jak pravilna pavodzić siabie ź dziećmi i što darečy fatahrafavać ci nie».
U Marka ŭsio jašče jość nadzieja, što jon zmoža viarnuć svaju infarmacyju. Palicyja San-Francyska zachavała źmieściva jaho akaŭnta Google na fłešcy. Ciapier Mark sprabuje atrymać kopiju. Pradstaŭnik palicyi skazaŭ, što Departamient imkniecca dapamahčy jamu.
Kamientary