Dai telefoni cellulari, dai PC alle automobili, l’IA che non fa trapelare segreti è l’IA di cui i tempi hanno bisogno

Qualsiasi prodotto tecnologico ha una superficie di attacco e i modelli di grandi dimensioni sono inevitabili. I prodotti modello e i metodi di attacco sono sempre il flusso e riflusso di "Tao" e "Demone".

Ad esempio, l’anno scorso un articolo ha proposto un nuovo metodo di attacco che rubava con successo i campi inviati da altri utenti a modelli di grandi dimensioni. Questa vulnerabilità sfrutta la condivisione della cache KV, una tecnologia ampiamente utilizzata nel settore LLM (Large Language Model) e utilizzata da due framework di inferenza tradizionali, SGLang e vLLM.

I problemi di sicurezza di LLM non possono essere sottovalutati. La fuga di dati può essere "fatale" sia per gli utenti che per le imprese. APPSO ha menzionato in un articolo precedente che sempre più persone considerano Doubao, DeepSeek e ChatGPT come loro confidenti, si confidano con loro e rivelano inavvertitamente le loro informazioni personali private. Una volta che LLM rileva una fuga di notizie, i malintenzionati possono identificare utenti specifici e le loro identità corrispondenti in base ai dati, che possono essere utilizzati per scopi illegali.

Per rispondere alle preoccupazioni sulla privacy degli utenti iPhone che utilizzano prodotti AI e mantenere la coerenza della politica sulla privacy dei dati dell'azienda, Apple ha annunciato nella seconda metà del 24 un sistema chiamato Apple PCC (Private Cloud Compute):

Nello scenario Apple Intelligence, quando la potenza di calcolo lato client è insufficiente, i dati dell’utente vengono crittografati con una chiave privata e caricati nel cloud. Il modello di grandi dimensioni implementato nel modulo di elaborazione privata del server (simile al compartimento sicuro nel chip dell'iPhone) esegue l'inferenza crittografata e viene decrittografata solo brevemente quando il processo di inferenza e i risultati vengono restituiti al lato client. Tutti i dati sull'intero collegamento vengono trasferiti in testo cifrato e viene adottato un modello di elaborazione stateless per garantire che i dati vengano archiviati zero-time e vengano distrutti dopo l'uso.

La tecnologia è molto buona, ma sfortunatamente a causa dell'attuale delicata situazione dell'intelligenza Apple in Cina, gli utenti iOS non possono utilizzarla.

Nel mondo dei prodotti tecnologici al di fuori di iOS, anche un'altra azienda sta affrontando la sfida del cloud computing privato:

Si prevede che la piattaforma Jeddak PCC (Private Cloud Computing) sviluppata da Volcano Engine verrà utilizzata in più campi come telefoni Android, computer PC, veicoli a nuova energia, ecc., per proteggere la privacy di miliardi di utenti che utilizzano LLM. Le aziende non devono preoccuparsi della fuga di dati aumentando al contempo l'integrazione di LLM con i propri scenari.

Applicando le funzionalità della piattaforma Jeddak PCC ai rispettivi prodotti hardware e agli stack tecnologici LLM, i produttori di hardware possono estendere il proprio impegno nella protezione della privacy dei dati personali degli utenti dal dispositivo al cloud.

LLM nella nuova era deve essere grande e sicuro

Recentemente, Volcano Engine ha annunciato un caso di cooperazione per l'inferenza sicura/il calcolo privato dell'intelligenza artificiale nel cloud privato basato su Jeddak PCC. I partner includono marchi di apparecchiature come Lenovo e Nubia. Ciò rende anche Jeddak PCC la prima soluzione di cloud computing privato in Cina destinata al mercato dei personal computer e degli smartphone.

Il contesto non è difficile da comprendere: nella vita quotidiana, un gran numero di utenti e imprese interagiscono con LLM su dispositivi tradizionali come PC e smartphone. Gli utenti Lenovo eseguono lavori basati su testo come la generazione, la rifinitura, il riepilogo e il pensiero approfondito sui PC, mentre gli utenti Nubia utilizzano prodotti come modelli di beanbag multimodali e Button Space Agent (agenti intelligenti) sui loro telefoni cellulari.

Non tutte le attività dell'IA possono essere completate localmente. Per alcune attività che richiedono una riflessione approfondita, la creazione di una knowledge base e le capacità degli agenti, le dimensioni del modello locale sono troppo piccole o la potenza di calcolo è insufficiente, quindi è necessario il cloud LLM.

Il problema è che le interazioni degli utenti con LLM e Agent possono coinvolgere dati riservati o informazioni sulla privacy personale. Ciò incontra il dilemma della migrazione dei dati sensibili nel cloud. Il modello cloud è grande, ma il fornitore di servizi non può garantire la sicurezza. Quando gli utenti si trovano in un ambiente di lavoro altamente sensibile e ad alta densità, non possono caricare facilmente i dati su LLM.

I produttori di PC e telefoni cellulari devono ricostruire l’architettura dei prodotti e dei servizi di intelligenza artificiale per soddisfare le esigenze del privacy computing. Sperano di costruire una piattaforma di cloud computing privato end-to-end che sia a processo completo e possa autocertificare la propria innocenza per risolvere i problemi di sicurezza e privacy dei dati LLM nell'ambito del computing collaborativo end-cloud.

Esistono poche soluzioni più adatte a questo problema del Jeddak PCC. Basta guardare il seguente caso tipico:

Supponiamo che un ricercatore aziendale scriva un articolo e intenda sottoporlo a una rivista importante, ma abbia bisogno di utilizzare uno strumento LLM per rifinire e ottimizzare l'articolo. Deve utilizzare uno strumento LLM fornito da una società esterna e richiede che i dati siano completamente crittografati: questa è una tipica attività RAG (Retrieval Enhanced Generation).

1. Chiave: l'utente ospita una chiave (BYOK – Bring Your Own Key), che PCC utilizza per la crittografia/decrittografia durante l'intero processo dell'attività LLM. La chiave è archiviata sul dispositivo dell'utente + in un modulo enclave sicuro (TEE Trusted Execution Environment) nel cloud.
2. Creazione di una base di conoscenza: quando gli utenti caricano documenti, PCC fornisce funzionalità di comunicazione crittografata con fiducia reciproca all'end-cloud per trasmettere in modo sicuro i documenti utente dai dispositivi end-side a compartimenti sicuri; il servizio della knowledge base decodifica e suddivide i documenti per generare vettori e frammenti di testo in chiaro; il servizio di crittografia li trasforma in vettori di testo cifrato e sezioni di testo cifrato e li memorizza nel database vettoriale (VikingDB): la creazione della base di conoscenza a stato denso è completata.
3. Recupero e richiamo della base di conoscenza: l'utente inserisce un prompt in LLM; la parola immediata viene trasmessa al compartimento sicuro attraverso una comunicazione crittografata di fiducia reciproca all'estremità del cloud e un vettore di testo in chiaro viene generato e crittografato nel compartimento sicuro; il vettore del testo cifrato viene utilizzato per effettuare ricerche nel database e viene richiamata la sezione del testo cifrato; dopo aver decrittografato la sezione nel compartimento sicuro, vengono eseguiti il ​​riclassificazione e altri processi.
4. Fase di inferenza: i risultati della ricerca di testo in chiaro generati dallo splicing + le parole richieste dell'utente vengono forniti al modello di grandi dimensioni (anche nel compartimento sicuro) per l'inferenza, e i risultati dell'inferenza di testo in chiaro vengono generati – l'inferenza è completata.
5. Fase di ritorno: PCC crittografa i risultati generati, genera risultati di testo cifrato e li ritrasmette al dispositivo dell'utente; il servizio di decrittazione del TEE end-side decodifica i risultati e presenta i risultati in testo normale all'utente.

Questo è esattamente ciò che Lenovo sta facendo con il Jeddak PCC. Il 7 maggio, Lenovo ha rilasciato ufficialmente un prodotto super intelligente per utenti individuali e aziendali e la soluzione di cloud computing privato di Volcano Engine è diventata la pietra angolare di questa soluzione Agent.

Nel lavoro di tipo RAG, Jeddak PCC vettorializza vari documenti utente, estende le funzionalità di sicurezza della crittografia a livello di chip hardware al cloud e implementa la crittografia dell'intero processo attraverso metodi informatici privati ​​come l'elaborazione riservata e la crittografia , consentendo agli utenti di creare basi di conoscenza private/a livello aziendale senza preoccuparsi di fughe di dati.

Numerosi dispositivi PC rilasciati da Lenovo durante lo stesso periodo, inclusi SKU per il mercato consumer e commerciale, supportano tutti la tecnologia Jeddak PCC.

Puoi vedere dall'intero processo:

• Tutti i processi che coinvolgono il trasferimento dei dati sono protetti dalla crittografia utilizzando chiavi granulari per utente;
• Il cloud memorizza solo vettori di testo cifrato e non memorizza testo e vettori di testo in chiaro;
• Solo l'inferenza LLM utilizza testo in chiaro e il processo di inferenza viene eseguito in un compartimento sicuro;
• Gli operatori LLM e i fornitori di servizi di cloud computing non hanno accesso alle chiavi utente durante tutto il processo e non possono vedere il testo in chiaro, garantendo la massima riservatezza.

Sorge quindi la domanda: il metodo di crittografia completo ha qualche impatto sull’efficienza dell’inferenza e sull’esperienza lato utente?

Non vi è praticamente alcun impatto apprezzabile. APPSO ha appreso da Volcano Engine che, sebbene il processo di crittografia sia complicato, gli utenti non se ne accorgeranno dal punto di vista temporale e la velocità è solo il 5% più lenta o inferiore rispetto al metodo del testo in chiaro.

Dai risultati dell'inferenza, a causa dell'uso di metodi di crittografia ad alte prestazioni, è difficile che le informazioni vadano perse nel processo di crittografia e decrittografia. Il lavoro di inferenza di LLM viene eseguito in un compartimento sicuro senza il rischio di fuga di dati. Il risultato dell'inferenza finale è infinitamente vicino al lossless e LLM mantiene comunque la modalità di funzionamento dell'output in streaming, consentendo agli utenti di vedere i token generati continuamente.

Con un'architettura aperta e un'ampia attività, Jeddak PCC è pronto per il "1° anno di Agent"

La privacy/informatica confidenziale è stata menzionata per la prima volta davanti al pubblico nel 2013. A partire dall'iPhone 5s di quell'anno, Apple ha iniziato a integrare un piccolo modulo separato di privacy computing nel processore della serie A, chiamato enclave sicura, che viene utilizzato per la verifica biometrica, i pagamenti e altre operazioni. Le applicazioni, i processori e persino l'intero sistema operativo non possono vedere il testo in chiaro corrispondente a questi dati privati.

I tempi cambiano e gli aggiornamenti tecnologici. Ora tutti stanno cercando di mettersi al passo con la tendenza dell’intelligenza artificiale e di godere della comodità e dell’esperienza innovativa offerta da tecnologie come LLM e Agent. Tuttavia, il privacy computing non ha tenuto il passo con la diffusione dell’intelligenza artificiale per molto tempo, fino all’avvento del Jeddak PCC.

Il concetto di cloud computing privato è un’estensione del privacy computing nell’era del cloud e dell’intelligenza artificiale. Jeddak PCC sta effettivamente utilizzando la stessa tecnologia per estendere il concetto allo scenario del cloud computing AI, collocando i dati privati ​​archiviati dal lato utente in un'area più ampia per l'archiviazione, l'hosting e l'elaborazione sicuri.

Proprio come Secure Enclave di Apple mette gli utenti in contatto con il private computing per la prima volta, Jeddak PCC mette per la prima volta la potenza del cloud computing privato nelle mani di sviluppatori aziendali, produttori di dispositivi e dei loro utenti finali. E dal punto di vista dell'apertura dell'architettura, dei tipi di business supportati, dell'integrazione di software e hardware, Jeddak PCC ha anche mostrato evidenti vantaggi rispetto ad Apple PCC.

Secondo quanto inteso da APPSO, Jeddak PCC adotta un'architettura aperta, supporta CPU, GPU e calcolo eterogeneo, supporta NVIDIA Hopper, Intel TDX, AMD SEV e altre piattaforme informatiche riservate per soddisfare il cloud pubblico/privato dei clienti e altre esigenze di implementazione multiple o integrate.

Ciò crea una chiara differenza tra l'architettura chiusa di Jeddak PCC e Apple PCC e il completo affidamento sull'implementazione esclusiva di software e hardware. Dopotutto, Apple PCC è stato lanciato solo per implementare le sue applicazioni interne native (Apple Intelligence), mentre Jeddak PCC è il risultato delle capacità di cloud computing privato sviluppate autonomamente da Volcano Engine e reso popolare nell'intero settore tecnologico.

Apple sostiene che uno dei motivi per cui il suo sistema PCC adotta un'architettura chiusa è garantire un circuito chiuso di sicurezza. Ma in realtà, con il progresso della tecnologia e dei concetti, l'industria della sicurezza è ormai generalmente convinta che i sistemi chiusi non possano rallentare il ciclo “vulnerabilità-intrusione-patch”; il software di sicurezza è sviluppato secondo un'architettura aperta e un modello collaborativo, che può garantire che tutte le parti interessate possano scoprire tempestivamente le vulnerabilità e migliorare la sicurezza.

Questo è il motivo per cui l’architettura aperta della soluzione Jeddak PCC può essere accettata più facilmente dal settore e può accelerare notevolmente il miglioramento del livello di sicurezza generale del settore.

• Volcano Engine ha accumulato un gran numero di talenti nel database, nella crittografia e in altri campi. Questi campi sono altamente correlati al cloud computing privato. Forti riserve di talenti, capacità di ricerca sulla sicurezza e politiche di sicurezza dei fornitori di servizi cloud in prima linea possono garantire che i pericoli nascosti vengano scoperti in modo tempestivo.
• Il team del progetto Jeddak ha attualmente un totale di 130 brevetti di sicurezza, con 62 nuovi brevetti nel 2024, che coinvolgono crittografia, privacy computing, sicurezza dei sistemi e altri importanti, coprendo direzioni tecniche come AI, sicurezza LLM e ambienti di esecuzione affidabili.
• Oltre al lavoro di Volcano Engine, l’architettura aperta significa anche che le capacità e i miglioramenti della sicurezza di Jeddak PCC si basano anche sulla costruzione congiunta con produttori e clienti finali.

In termini di tipologie di business AI supportate, Apple PCC ha attualmente solo due scopi: 1) servire l’esperienza utente dei prodotti Apple Intelligence; 2) La formazione back-end di Apple, nonché le attività dei dipendenti interni all'azienda. Le funzionalità specifiche attualmente coinvolgono solo il livello di inferenza e non esiste supporto per altri tipi di attività LLM tradizionali.

Jeddak PCC supporta già il ragionamento basato sull'intelligenza artificiale e il RAG sicuro, entrambi dimostrati nei casi della sezione precedente. Dietro a tutto ciò c'è in realtà il fatto che il team di privacy computing di Volcano Engine ha esternalizzato i suoi anni di esperienza nell'informatica confidenziale e nella crittografia omomorfica ai clienti dei servizi cloud per aiutarli a raggiungere meglio l'espansione delle applicazioni, la riduzione dei costi e il miglioramento dell'efficienza con la premessa della conformità della sicurezza LLM.

Per quanto riguarda il supporto di Jeddak PCC per Agent, si tratta di un progetto commerciale su cui Volcano Engine sta intensificando la ricerca, lo sviluppo e i test.

L’industria generalmente ritiene che il 2025 sia “l’anno degli agenti”. Dall'intrattenimento e dal tempo libero ai compiti professionali, stanno emergendo in un flusso infinito vari tipi di agenti con varie capacità; Bytedance, la società dietro Volcano Engine, ha inoltre delineato in modo approfondito il mercato degli agenti attraverso prodotti come Doubao e Button Space. Ovviamente, Agent è diventata la categoria di prodotti AI con le possibilità di scena più ricche e la maggiore vitalità.

Volcano Engine lancerà presto una versione affidabile di Agent basata su Jeddak PCC – OS Agent a giugno, consentendo agli utenti di completare operazioni complesse come ordinare cibo da asporto e prenotare biglietti aerei attraverso istruzioni in linguaggio naturale, e l'intero processo di attività implementa la logica di cloud computing privato di Jeddak PCC. Con il continuo progresso della tecnologia Agent e la crescente attività di mercato, Jeddak PCC si è anche preparato per la completa esplosione dell'Agent.

Sicurezza AI percepibile dall'utente

Sia che tocchi lo schermo o digiti qualcosa, ogni interazione che un utente ha con un'app lascia una traccia. Nell'attuale struttura dei diritti degli utenti dei servizi Internet, un fatto imbarazzante è che gli utenti non "possiedono" realmente i propri dati.

Nell’era dell’intelligenza artificiale, questa logica continua. A giudicare solo dall'attuale forma del prodotto LLM, anche i diritti di controllo sulla privacy degli utenti sono estremamente limitati e le politiche sulla privacy dei fornitori di servizi non hanno tenuto il passo. Gli utenti spesso inviano dati più privati ​​e riservati ai prodotti LLM senza rendersene conto.

Volcano Engine ritiene che, in questo contesto, gli sviluppatori LLM e le piattaforme di cloud computing debbano compiere maggiori sforzi per aiutare i cittadini a migliorare la loro consapevolezza sulla privacy e sulla sicurezza dei dati nell'era dell'intelligenza artificiale.

In una nuova era in cui l’intelligenza artificiale è completamente decollata e il LLM è integrato nella parte anteriore, centrale e posteriore di ogni prodotto, la tecnologia del cloud computing privato sta diventando sempre più importante per gli utenti. Allo stesso tempo, i vantaggi di questa tecnologia dovrebbero essere percepiti anche dagli utenti e dare loro un visibile senso di guadagno.

Immaginate che in un futuro non troppo lontano ci sarà un nuovo modulo "AI" nelle impostazioni di sistema-funzione privacy del cellulare:

Ad esempio, puoi vedere che hai interagito con l'intelligenza artificiale 100 volte oggi, di cui 80 sono state eseguite localmente e 20 sono state inviate al cloud per l'esecuzione.

Non solo, ma puoi anche vedere dettagli specifici su ciascuna interazione, come l'ora, il contenuto del prompt inserito e se è stato elaborato localmente o nel cloud. Questi dettagli richiedono l'impronta digitale, il volto o almeno una password per visualizzarli, perché sono protetti dall'enclave sicura del chip del telefono: l'enclave locale è protetta anche dal sistema Jeddak PCC.

Andando oltre, potresti anche essere in grado di vedere il numero di interazioni sul cloud, come i dati sono crittografati nel cloud e se sono stati cancellati dopo l'uso: essere in grado di "provare la propria innocenza" è uno dei requisiti fondamentali per una solida piattaforma PCC.

Un buon design idrata le cose silenziosamente. Ma per quanto riguarda la questione centrale della privacy e della sicurezza dei dati, forse è vero che gli utenti possono effettivamente percepire che l’esperienza è fluida e sicura allo stesso tempo.

Nella prima metà del 2025, tutti i principali produttori Android nazionali aggiungeranno funzioni LLM e relative agli agenti e le innovazioni emergono una dopo l'altra. Ma allo stesso tempo, nell’era dell’intelligenza artificiale, è ulteriormente aumentato anche il rischio di perdita della privacy dei dati personali. Anche la domanda di tecnologia di cloud computing privato aumenta di giorno in giorno.

Volcano Engine spera che il lancio di Jeddak PCC possa soddisfare le esigenze di questi produttori di apparecchiature e sviluppatori LLM e diventare una pietra miliare nel miglioramento della protezione della privacy e nella sensibilizzazione alla sicurezza per tutte le persone nell'era dell'intelligenza artificiale.

# Benvenuti a seguire l'account pubblico WeChat ufficiale di Aifaner: Aifaner (ID WeChat: ifanr). Contenuti più interessanti ti verranno forniti il ​​prima possibile.

Ai Faner | Link originale · Visualizza commenti · Sina Weibo