Rilasciati i gesti aerei di Apple Watch ! Ecco la storia dietro | Esclusivo

Apple ha lanciato ufficialmente watchOS 10.1 ieri sera, portando Double Tap sui due nuovi Apple Watch: puoi controllare lo schermo dall'alto con un tocco delle dita: tagliare brani, rispondere alle chiamate e rispondere ai messaggi WeChat. Due settimane fa ho fatto una telefonata all'estero con il product manager di Apple Watch e ho parlato della storia dietro questo gesto potente.

Hard Philosophy è la rubrica di Ai Faner sulla progettazione hardware, nella quale speriamo di eliminare il rivestimento esterno di tecnologia e parametri ed esplorare le origini del design e delle discipline umanistiche.

"Toccatevi due volte con due dita", la nuova funzione del nuovo Apple Watch di quest'anno non è un'ispirazione improvvisa del product manager, ma deriva da ciò in cui ogni utente può identificarsi: "quei momenti in cui puoi solo fare clic sul pulsante dell'orologio col naso."

In un'intervista esclusiva con iFan'er, l'ingegnere del software watchOS David Clark ha affermato senza mezzi termini che ci sono sempre alcune interazioni insoddisfacenti con Apple Watch:

La telefonata arriva mentre porti a spasso il tuo cane. Stai correndo verso la prossima riunione, con il Mac in mano, quando all'improvviso ricevi un messaggio da un collega. Il timer dell'orologio suona mentre cucini, ma l'altra mano è ricoperta di uova sbattute e non vuoi toccarla.

Eric Charles, product manager di Apple Watch, ha affermato che questi momenti di esitazione in realtà costano agli utenti più tempo per pensare a come operare. Il team desiderava fornire un modo affidabile e intuitivo per garantire che tutto funzioni senza intoppi senza la necessità di operazioni aggiuntive quando conta.

Presta attenzione all'interazione gestuale di Apple Watch, perché tutti sperimentano "disabilità situazionali"

Il prototipo di "Due dita che si toccano" risale al 2015, meno di un anno dopo l'uscita di Apple Watch.

In un documento di brevetto intitolato "Input di movimento e gesto da un dispositivo indossabile", Apple tenta di esplorare la possibilità di utilizzare il rilevamento dei tendini e il movimento scheletrico come comandi di input.

Sei anni dopo, queste esplorazioni interattive hanno preso il comando dando vita al tocco assistivo (AssistiveTouch) in watchOS 8. Gli utenti possono controllare l'orologio in aria attraverso quattro gesti: pizzicare, pizzicare due volte, chiudere un pugno e chiudere un pugno due volte.

Nell'ambito delle funzionalità di accessibilità, i problemi che il controllo gestuale doveva risolvere all'epoca erano:

Come dovrebbe un utente controllare Apple Watch se ha solo una mano?

Uno dei principi di progettazione di Apple è quello di considerare il punto di vista di tutti: credere che le persone con disabilità non dovrebbero essere trattate in modo diverso in base alla loro corporatura e che le persone con disabilità dovrebbero avere pari diritti nell'uso dei prodotti.

Ma nel documento ufficiale di design dell’interazione, la definizione di “disabilità” di Apple è insolita :

Tutti possono sperimentare una disabilità. Oltre alle disabilità che la maggior parte delle persone sperimenta quando invecchia, ci sono anche disabilità temporanee – come la perdita dell’udito a breve termine dovuta a infezioni – e disabilità situazionali – come l’incapacità di sentire su un treno rumoroso. ognuno in momenti diversi.

Il telefono può essere controllato con una mano, ma l'Apple Watch è stato progettato fin dall'inizio per essere fissato al polso dell'utente: quando si tocca lo schermo, entrambe le mani sono effettivamente occupate.

In un certo senso, ogni utente di Apple Watch ha solo una mano e sperimenta "disabilità situazionali".

Per risolvere questo problema, ci sono solo due opzioni: controllo vocale e gestuale. Il controllo gestuale basato sui movimenti fisici è ovviamente più naturale, non si basa sui pulsanti e sui controlli dell'interfaccia ed è particolarmente adatto per dispositivi con schermo stretto come l'Apple Watch.

In effetti, l’Apple Watch di prima generazione supportava il “sollevare il polso per riattivare”, che stabiliva il paradigma di base dell’interazione gestuale.

Apple ha studiato una varietà di movimenti delle mani, comprese alcune operazioni gestuali complesse.

"Toccatevi due volte con due dita" si distingue infine dalle varie soluzioni gestuali perché soddisfaceva due criteri:

  • Semplice e intuitivo
  • scopo chiaro

Il primo non richiede alcuna soglia di apprendimento e lo scopo richiede chiaramente che l'azione rappresenti l'intenzione dell'utente e non sia il risultato di un tocco accidentale.

Per lo stesso motivo, "Toccatevi due volte con due dita" può essere attivato solo quando lo schermo è acceso. Eric spiega che se l'utente non riesce a vedere lo schermo, potrebbe non sapere quale sia stata la risposta.

Un piccolo bug nel sensore del battito cardiaco ha dato inaspettatamente origine al "toccatevi con due dita"

"Toccarsi due volte con due dita" sembra semplice, basta unire due dita, ma il principio di funzionamento è piuttosto complicato.

"Toccatevi a vicenda con due dita" si basa su un algoritmo creato dall'apprendimento automatico e i suoi dati provengono da tre sensori: accelerometro, giroscopio e sensore ottico della frequenza cardiaca. Il sensore rileverà le caratteristiche di piccoli movimenti e cambiamenti nel flusso sanguigno quando la mano e il dito vengono toccati due volte, ottenendo così con precisione la vera intenzione di input dell'utente.

Il sensore ottico della frequenza cardiaca è una parte indispensabile. Sebbene non sia progettato per il controllo dei gesti, il team ha scoperto in anni di ricerca che i movimenti quotidiani del polso dell'utente modificano il contatto tra il polso e il sensore della frequenza cardiaca, anche il più piccolo spazio. Tutto avrà un impatto sui dati ottenuti dal sensore di frequenza cardiaca.

Il suo arsenico, tesoro mio. Questa scoperta inaspettata ha permesso al team di rivelare la connessione tra le operazioni gestuali e i sensori della frequenza cardiaca. Senza queste lacune, il gesto "tocca due dita l'una sull'altra due volte" potrebbe non essere possibile.

Come ha detto David:

Lo stesso sensore, gli stessi dati, possiamo raggiungere scopi completamente diversi.

A differenza del controllo gestuale della funzione ausiliaria, che viene eseguita sulla CPU, "Due dita per toccare due volte" richiama il motore di rete neurale quad-core del chip S9, che migliora la precisione del rilevamento dell'algoritmo del 15%.

Questo può spiegare perché il vecchio Apple Watch non supporta il "doppio tocco con due dita" e anche i gesti tattili ausiliari sono molto meno affidabili.

Il team ha incontrato molte sfide durante il processo di sviluppo. Ad esempio, come puoi garantire che ogni utente abbia un'esperienza coerente quando si trova ad affrontare sottili differenze nella tipologia del corpo, nella lunghezza degli arti e persino nei gesti? Come superare le interferenze causate dai segnali wireless Bluetooth e LTE?

David ha affermato che il team ha raccolto una grande quantità di dati all'interno dell'azienda per addestrare il modello di apprendimento automatico. Il modello rimuoverà il rumore non necessario e garantirà l'affidabilità del rilevamento dei gesti in vari scenari, in particolare nelle scene non stazionarie. , può rilevare con precisione gesti.

Ciò che puoi fare con "Due dita che si toccano" dipende dall'Azione Primaria

Dopo aver risolto il problema dell'algoritmo, Apple deve ancora progettare un meccanismo a livello di software per determinare cosa possono fare "due dita che si toccano".

Nella mia esperienza con Apple Watch Series 9/Ultra, ho menzionato che l'oggetto dell'operazione "toccarsi due volte con due dita" non ha una direzione predeterminata. A differenza del pizzicamento per ingrandire, che si traduce sempre in un effetto zoom. E facendo doppio clic con due dita si otterranno risultati diversi in diverse app.

Secondo la teoria dell'elaborazione delle informazioni nell'interazione uomo-computer, durante il processo di interazione con l'interfaccia, ci sarà un'elaborazione continua e bidirezionale delle informazioni tra l'utente e la macchina. Il feedback stabilito aiuterà a migliorare la soddisfazione dell'operazione e abbassare la soglia di utilizzo e viceversa, incidendo sull’efficienza e sull’esperienza.

La soluzione di Apple consiste nell'impostare azioni primarie logiche per diverse app in diversi scenari. Ad esempio, quando arriva una chiamata, l'azione più logica è rispondere e fare nuovamente clic equivale a riagganciare. Per le notifiche WeChat, il modo più logico dovrebbe essere quello di rispondere, quindi toccando con due dita è possibile attivare direttamente la funzione di conversione da voce a testo, quindi toccare nuovamente con due dita per completare l'invio.

Il nostro principio è che non devi pensare troppo, agisci solo quando è necessario.

Dopo un mese di utilizzo, ho scoperto che, rispetto ai gesti all'interno dell'app, il feedback istantaneo dei gesti per le notifiche è più pratico, soprattutto in scenari applicativi ad alta frequenza come telefonate e WeChat. Il primo è solo la ciliegina sulla torta, mentre il secondo è un aiuto tempestivo.

Ciò lascia anche agli sviluppatori maggiore spazio per l'immaginazione. Quando ho chiesto agli sviluppatori come utilizzare Double Tap per migliorare l'esperienza del software, David mi ha detto la risposta che avevo in mente: rispondere alle notifiche.

Gli sviluppatori possono sfruttare le API di notifica esistenti per collocare le operazioni più importanti nel posto giusto. In questo modo, quando arriva una notifica, l'utente potrà cliccare direttamente con due dita per completare l'operazione.

Il problema risolto "toccandosi l'un l'altro con due dita" è esattamente l'intenzione originale dello sviluppo di Apple Watch

La rivista Wired documenta la storia poco conosciuta dello sviluppo dell'Apple Watch da parte di Apple. Dopo aver esitato sulla definizione del prodotto, il team ha finalmente capito il motivo dell'esistenza dell'Apple Watch: gli smartphone ti rovinano la vita.

Kevin Lynch, responsabile tecnico del software Apple Watch, ha affermato che le persone portano con sé il proprio telefono e guardano spesso lo schermo. Le persone si fanno beffe di coloro che si siedono a tavola con il telefono, solo per frugare nelle tasche ogni volta che il telefono squilla o vibra.

Alla fine il team ha deciso di costruire un dispositivo che non vorresti né potresti utilizzare per ore e ore, uno che filtra la maggior parte delle informazioni e fornisce solo quelle più importanti.

Se creare prodotti che creano dipendenza dagli utenti è la logica di base delle aziende commerciali, allora Apple Watch potrebbe essere il primo dispositivo Apple anti-attenzione.

Sul sito web dello sviluppatore, Apple sottolinea che il fulcro dell'esperienza Apple Watch risiede in Moment. In una precedente intervista, Kevin Lynch aveva addirittura fissato un limite di tempo per questo Momento: ridotto dagli ultimi 10 secondi a 2 secondi.

La nascita di "Due dita l'una verso l'altra" è un passo avanti per Apple Watch per eliminare le interferenze. In molti scenari, non ho più bisogno di usare l'altra mano per controllare l'orologio, né devo sempre tirare fuori il telefono per ricevere notifiche intensive di messaggi.

Forse Apple Watch non sarà in grado di liberarci completamente delle mani, né sarà l'arma definitiva contro il sovraccarico di informazioni, ma fornisce una nuova prospettiva in un modo che fa la differenza: quando il torrente di informazioni arriva con ansia, oltre a girare orecchie da mercante, sappiamo anche come andare d'accordo con le macchine in modo calmo.

Dall'essere uno spettatore e un registratore della tecnologia, a diventare un praticante di come la tecnologia influenza gli stili di vita.

# Benvenuti a seguire l'account pubblico WeChat ufficiale di aifaner: aifaner (ID WeChat: ifanr). Contenuti più interessanti ti verranno forniti il ​​prima possibile.

Ai Faner | Link originale · Visualizza commenti · Sina Weibo