Nowym funkcjom nadano nazwy Camera Switches i Project Activate. Obie wykorzystują przednią kamerę wbudowaną w telefon i technologię uczenia maszynowego, która potrafi wykrywać i interpretować mimikę twarzy oraz ruch gałek ocznych.

Rozwiązanie Camera Switches wykorzystuje kamerę w taki sposób, że przejmuje ona rolę klawiatury, myszy oraz ekranu dotykowego. Dzieje się to za sprawą oprogramowania Android Accessibility, dzięki któremu użytkownik jest w stanie zarządzać smartfonem za pomocą ruchów oczu i gestów twarzy.

Zobacz również:

• Nowe drukarki MFP Sharp - tanie i wydajne drukowanie dla MŚP
• Składane smartfony będą droższe, a zarazem tańsze
• Ta technika rozwiązuje problem ograniczonej wielkości okien kontekstowych obsługujących modele językowe LLM

Są to np. takie gesty, jak skierowanie wzroku w lewo lub uniesienie brwi. Użytkownik może dostosować czułość tych funkcji do swoich osobistych możliwości dotyczących wykonywania takich gestów, a interfejs aplikacji jest dostępny w 80 językach.

Project Activate to nowa aplikacja, która pozwala użytkownikom przypisywać wykonywanym gestom twarzy (takim jak uśmiechanie się czy spojrzenie w górę) określone zadania. Można wtedy np. po wykonaniu pewnego gestu wysłać konkretną wiadomość tekstową, wykonać połączenie telefoniczne czy odtworzyć plik audio, tak iż smartfon wypowie np. frazę „Dzień dobry, mówi Kowalski”.

Google rozszerzył również możliwości aplikacji Lookout, która wspomaga osoby niedowidzące. Aplikacja może teraz odczytywać tekst napisany odręcznie (mogą to być więc pisane długopisem listy czy notatki) w kilku nowych językach.