Una foto ha quasi distrutto un padre ed è molto “doloroso” per le aziende tecnologiche fare del male in nome della buona volontà

Mentre chiacchierava al lavoro, Mark è stato improvvisamente avvicinato dalla polizia.

Mark è stato sospettato di essere un molestatore sessuale che prende di mira i bambini perché è stato scoperto che il suo telefono conteneva una foto degli organi sessuali di un bambino. E la polizia ha scoperto che questa foto proveniva in realtà dal figlio di Mark…

L’immagine perversa di un pedofilo sta probabilmente iniziando a formarsi nella tua mente.

Non avere fretta di arrabbiarti, le cose sono cambiate rapidamente. Si è scoperto che questa foto è stata scattata dopo che il figlio di Mark si è ammalato, per informare il medico della condizione, e Mark non ha mai rilasciato questa foto pubblicamente.

Quindi, come ha fatto la polizia a sapere che era il sistema di intelligenza artificiale di Google a rilevare le foto sul telefono Android di Mark, a identificarlo come un sospetto criminale, a denunciarlo alla polizia e a disabilitato il suo account Google.

Negli Stati Uniti, la popolarità del secchio della famiglia di Google è più o meno equivalente a WeChat, il che significa che l’operazione di Google uccide direttamente Mark dall’online all’offline.

Ciò che è ancora più spaventoso è che, come Mark, ci sono molte più persone che sono state rilevate dalla piattaforma come anomalie e segnalate tra l’altro.

Le foto della consultazione online del bambino lo portano ad essere identificato come un criminale

Il figlio di Mark ha sviluppato un’infiammazione all’inguine mentre imparava a camminare. A causa della grave epidemia, la maggior parte delle persone era in quarantena a casa in quel momento. Mark poteva solo scegliere la consulenza online e fornire immagini dell’inguine del bambino, cercando di aiutare il medico a fare una diagnosi migliore. Il medico ha anche prescritto la malattia in base a quanto descritto condizioni e le foto mostrate prescrizione.

Ma c’è un problema con queste foto: le foto nel telefono Android vengono automaticamente sincronizzate con il cloud e il sistema Google riconosce queste foto come CSAM (Child Sexual Abuse Material).

Dopo essere stato identificato, l’utilizzo di Internet di Mark è stato dimezzato perché bloccato. Gmail, la casella di posta dell’account che gli utenti utilizzano per accedere ad altre piattaforme; Google Fi, l’operatore virtuale mobile dell’utente, che può essere utilizzato per effettuare chiamate e navigare in Internet; Google Foto, a cui non è più possibile accedere, contiene le foto del tuo membri della famiglia… Sigillato. Poiché Google pensa che tu sia sospettato di crimini sessuali su minori, ha bloccato il tuo account e ha chiamato la polizia “per te” – dopo che la piattaforma è stata bandita, è stata presentata una denuncia al National Center for Missing and Exploited Children (NCMEC), che ha attivato la polizia indagine.

Dieci mesi dopo, il padre è stato informato dal dipartimento di polizia di San Francisco, che ha condotto un’indagine completa su di lui sulla base di un reportage fotografico fornito da Google.

Al fine di indagare meglio sui potenziali autori di reati sessuali su minori, la polizia ha anche emesso un mandato di perquisizione a Google per tutte le informazioni sull’account di Mark, i video, le foto, i dati sulla posizione, i rapporti di ricerca su Internet e altro ancora. Per Mark, questo è davvero un disastro, e se le indagini della polizia fossero più fanatiche, temo che anche il lavoro non andrà a buon fine.

Fortunatamente, dopo un’attenta indagine, la polizia ha confermato che il padre non aveva alcun reato sessuale contro i bambini.

Il padre è innocente, ma Google è rigido. Anche fornire una denuncia di innocenza provata dalla polizia non gli ha permesso di appellarsi con successo a Google per riavere il suo account. Le informazioni sulla foto che una volta ha lasciato sul suo account sono state completamente bloccate e non possono più essere viste. Tutto quello che posso vedere sono i promemoria di Google —

Il tuo account è stato disattivato perché contiene contenuti dannosi che violano gravemente le norme di Google e potrebbero essere illegali.

È inutile richiedere lo sblocco, puoi solo cambiare il tuo indirizzo email, cambiare il tuo numero di telefono e ricominciare da zero nel mondo digitale. Il New York Times ha riferito di due utenti ordinari che hanno entrambi fotografato gli organi sessuali dei bambini durante le consultazioni online dei loro figli e sono stati condannati a conti illegali, ma fino ad oggi non sono stati in grado di recuperare i loro account.

Non sono nemmeno eccezionali. Nel 2021, Google ha segnalato 621.583 casi al CyberTipLine dell’NCMEC (il Child Sexual Abuse Reporting Project). NCMEC ha notificato alle forze dell’ordine locali 4.260 potenziali vittime, chiedendo alla polizia di assistere nelle indagini e di salvare i bambini se vengono ulteriormente danneggiati.

Sembra una bella storia di tecnologia per fermare e prevenire il crimine in tempo, ma quando questo elenco include minori che chiedono solo una consulenza come i figli di Mark, è una triste storia di “prendine mille e prendine uno per errore”.

Di tutte le aree di indagine tecnica, l’unica eccezione sono i crimini sessuali su minori

È solo che anche se c’è un errore, Google ovviamente non intende cambiarlo. Non solo non sblocca gli account utente innocenti certificati dalla polizia, ma non intende nemmeno fermare questo meccanismo di censura imperfetto.

La portavoce di Google Christa Muldoon ha dichiarato: “Rispettiamo la legge statunitense per definire cos’è un CSAM e utilizziamo una combinazione di tecnologia di abbinamento hash e intelligenza artificiale per identificarlo e rimuoverlo dalla nostra piattaforma. Il nostro team di esperti di sicurezza dei bambini lo esaminerà. Il contenuto è contrassegnato per la precisione e i pediatri vengono consultati per garantire che possiamo identificare le situazioni in cui gli utenti possono richiedere un consiglio medico”.

Il problema è che il team di revisione di Google non ha un background medico e non consulta necessariamente un pediatra specializzato durante la revisione di ogni caso. Pertanto, si può affermare che l’errore di valutazione è inevitabile in questo processo. L’unica cosa che può ridurre l’influenza di tale errore di valutazione è il giudizio delle istituzioni professionali e il controllo secondario delle forze dell’ordine.

Ma per coloro che sono stati giudicati male, questo è davvero un disastro. A causa di questo errore di valutazione, il tuo account importante è stato bloccato; a causa di questo errore di valutazione, sei stato indagato dalla polizia; a causa di questi errori di valutazione, le persone intorno a te potrebbero anche indossare occhiali colorati quando ti vedono.

Jon Callas, direttore dei programmi tecnologici presso la Electronic Frontier Foundation EFF, ha dichiarato ai media che l’approccio di Google è stato invadente. “È l’incubo che tutti temiamo: scansioneranno i nostri album di famiglia e saremo nei guai”.

Ma questo non è solo un problema per Google, poiché quasi tutti i giganti della tecnologia sono stati insolitamente aggressivi quando si tratta di contenuti CSAM. Come Facebook e Google, Amazon ha un meccanismo di intelligenza artificiale + revisione umana.Si è riscontrato che gli utenti sospetti eliminano o disabilitano URL, immagini e funzioni di chat a seconda dei casi e vietano severamente gli account. Nel 2021, Amazon ha anche inviato 33.848 segnalazioni CSAM all’NCMEC . Per quanto riguarda la privacy, sembra essere ignorata in questa storia del crimine di lotta alla tecnologia.

Tra le storie a difesa della privacy degli utenti, il rifiuto di Apple di “sblocco assistito” è il più impressionante.

A quel tempo, c’è stato un grave attacco terroristico sparato a un istituto di assistenza sociale negli Stati Uniti e l’assassino è stato ucciso durante la fuga. Durante le indagini, la polizia ha scoperto che l’assassino ha comunicato con il gruppo estremista “Stato islamico” in Medio Oriente attraverso comunicazioni crittografate sul telefono cellulare, ma poiché il telefono cellulare aveva una password, il tribunale ha potuto solo chiedere al produttore di iPhone Apple di aiutare il governo a sbloccarlo. Ma Apple ha annunciato pubblicamente il suo rifiuto di rispettare l’ordine, citando la protezione della privacy degli utenti: “Se il governo utilizza l’All Writs Act per rendere più facile lo sblocco dell’iPhone, ha la possibilità di hackerare il dispositivo di chiunque e ottenere i suoi dati, e la volontà del governo Questa invasione della privacy può essere estesa.

Ma anche Apple, che ha giustamente rifiutato di sbloccare gli iPhone degli utenti, non è stata scossa nel campo dei crimini sessuali su minori. Come Google, Apple ha pensato di utilizzare un nuovo strumento per scansionare le foto di iCloud di un utente, che corrispondesse al database di immagini esistente di NCMEC e, se fossero state trovate immagini simili sufficienti, sarebbe stato consegnato a un operatore per la revisione, il che sarebbe quindi avvisare NCMEC.

All’epoca Apple stava anche pianificando di introdurre una nuova funzione iMessage progettata per “avvisare i bambini e i loro genitori quando [i bambini] ricevono o inviano foto sessualmente esplicite”. I minori di 13 anni che ricevono o inviano immagini avviseranno i genitori e anche tutti gli utenti minori riceveranno un avviso quando stanno per ricevere o inviare sospette immagini pornografiche.

Questa tendenza al cambiamento è stata interrotta poco dopo, perché l’opposizione era troppo forte. L’EFF ritiene che il nuovo cambiamento potrebbe “aprire una porta sul retro alla tua vita privata… meno, non migliore, privacy per tutti gli utenti di iCloud Photos”. , Scansiona qualsiasi cosa domani.”

Apple alla fine ha accantonato la parte di scansione delle immagini, ma ha mantenuto la funzione opzionale di includere gli account dei bambini nel piano di condivisione familiare. I genitori possono attivare selettivamente la funzione di analisi delle immagini per le immagini nude per i loro figli e, se viene rilevata un’immagine nuda, sarà sfocata.

Anche Apple vuole aggiungere il riconoscimento CSAM ai propri prodotti, in gran parte perché è una linea rossa: che si tratti di utenti ordinari, forze dell’ordine o piattaforme, hanno una tolleranza estremamente bassa per questa materia.

Ciò significa anche che quando è davvero necessaria la cooperazione tecnica delle società tecnologiche, scegliere di collaborare prima con i casi di reati sessuali su minori otterrà un maggiore sostegno pubblico.

Un aggiornamento dell’Online Safety Act del Regno Unito intende imporre che i fornitori di servizi da utente a utente si impegnino a segnalare qualsiasi contenuto condiviso di sfruttamento e abuso sessuale di minori alla National Crime Agency. L’emendamento legislativo chiarisce che le aziende dovrebbero sviluppare software in grado di ispezionare le informazioni, comprese le chiamate crittografate end-to-end, per rilevare in modo proattivo materiale su minori molestatori sessuali e segnalarlo alle autorità, o incorrere in sanzioni.

È solo che la storia di Google ci dice che anche se questa funzione funziona senza intoppi, c’è il rischio di “uccisione per errore” e ogni ferita sbagliata causerà danni a utenti innocenti. La tecnologia potrebbe non essere in grado di risolvere tutti i problemi, l’intelligenza artificiale e gli algoritmi che conosciamo sono ancora troppo “semplici” di fronte a difficili problemi sociali ed è difficile affidarsi a un’unica tecnologia per rilevare reati potenziali o esistenti .

L’intervento della tecnologia può anche portare nuovi problemi all’ambiente originariamente difficile, ma non è necessariamente un buon risultato se l’intenzione originale è buona. Dopotutto, a volte la strada per l’inferno è lastricata di buone intenzioni.

L’immagine del titolo proviene da “Internet Purgatory: Expose Room N”

 

Non troppo interessante, non troppo ottimista.
casella di posta 4

#Benvenuto a prestare attenzione all’account WeChat ufficiale di Aifaner: Aifaner (WeChat: ifanr), contenuti più eccitanti ti verranno forniti il ​​prima possibile.

Love Faner | Link originale · Visualizza commenti · Sina Weibo