Digitala spaningar vecka 24 2024 – del 4

Spaningar inom tech och sociala medier från veckan som har gått.

Övriga delar i veckans sammanställning

• Del 1: Sociala medier, Strömmade medier, Ekonomi och finans
• Del 2: AI – artificiell intelligens
• Del 3: AI – artificiell intelligens, Mobilt, Övrigt

Dags för WWDC, Apples årliga utvecklarkonferens med fokus på mjukvara och tjänter. Och jag börjar det direkt med det som alltid måste sägas: Apples utvecklarchef Craig Federighi är kungen av cringe.

Och frågan är: hur många gånger kommer Apple INTE säga AI?

Sammanfattning av eventet

Okej. Jag skrev att folk kommer att bli besvikna. Och många kommer bli det. Men det är en bra mycket större uppdatering än vad jag har väntat mig. Mest därför att Apple gör det som Apple är bäst på: tar vad andra har tagit fram och gör det enkelt, smidigt och djupt integrerat i systemet.

Så inga revolutionerande nyheter. Bara det som Apple sammanfattar som ”AI for the rest of us”. Vilket de faktiskt ser ut att ha en poäng med. Inte minst kring rejäla uppdateringarna för Siri. Och ja, ChatGPT byggs (typ) in. Vilket innebär att GPT-4o gratis går att använda den här vägen. Men möjlighet för betalande användare att använda ”premiumfunktioner”. Blir väldigt intressant att se vad det innebär. Ska också fungera för bildskapande.

Men även smarta funktioner som inte är AI-AI. Som möjligheten att enkelt spegla in iPhonen i Macen och där styra iPhonen. Den funktionen inser jag att jag har saknat.

Däremot fick vi redan nu svar på frågan: kommer Apple Intelligence (som Apples AI-plattform förstås heter – because AI – att komma till alla iPhone 15-modeller? Nej. Bara till Pro. Om Apple inte ändrar sig över sommaren.) För övriga enheter är det Macar med M1 och iPads som kan köra iPad OS 18.

Och ja. Vi kommer kunna skapa anpassade emojis. Hurra!

Apple sa alltså AI. Men egentligen bara precis i slutet. Dessförinnan en handfull ”artificial intelligence”. Och Apple hann dessutom dödförklara alla prompt engineers.

(Ooooch som väntat backar Apple-aktien rätt ordentligt. Visst, uppgifter om svag iPhone-försäljning tidigare idag, men reträtten tog mer fart under dragningen. Apple levde kort sagt inte heller denna gång upp till förväntningen att bota cancer på Mars.)

Nyheterna som presenterades

Vision OS 1.2

Först ut – lite oväntat – Apples vardagsrumscyklop Vision Pro. Ja, eller Vision OS, operativsystemet som driver hårdvaran.

• AVP får fler gester
• Apples virtuella skrivbord blir större och får högre upplösning
• Vision Pro får stöd för tågresor
• Volumetric API  och Enterprise API, samt Tabletop Kit för att skapa saker som kan integrera med platta ytor (vi lär får höra mer vad de faktiskt innehåller, det kommer oavsett nya verktyg för utvecklare)
• Spatial video och Immersive video blir vassare (plus nya verktyg via partners)
• AVP kommer till 8 nya länder, bland annat Frankrike och Tyskland. Däremot fortfarande inte till Sverige.

iOS 18

• Operativet får fler möjligheter att anpassa hemskärmen. iOS får en ny ”sidodocka” för appar på hemskärmen
• Apple rider på svartvit-trenden, fast välja vilken färg som helst på apparna
• Kontrollcentret får ännu fler funktioner, så att man kan ha en massa externa inställningsappar bland operativets. Det går även att designa layouten på kontrollcentret. Apple lägger alltså till widgets i kontrollcentret. Kommer även ett nytt API för utvecklare.
• Det blir möjligt att byta ut ikonerna på låsskärmen (alltså ficklampan och kameran)
• Det blir möjligt att låsa enskilda appar, plus lägga till för sök, notiser och annat.
• Du kan också gömma appar i en låst app
• Möjlighet att styra hur appar får tillgång till kontaktboken och fler möjligheter att styra vad externa prylar får tillgång till när de paras.

Messages

• Messages får fler reaktioner – ja, eller du kan välja bland alla emojis även här
• Schemalägg meddelanden
• Formatering i meddelanden (fetstil, understruket etc.)
• Fler möjligheter att leka med texteffekter, så att du kan få alla ord att hoppa runt
• Meddelanden via satellit för iPhone 14 och framåt, skicka meddelanden och sms via satellit istället för vanliga mobilmaster

Mail

• Apple gör en Google och skapar ”flikar” som automatiskt sorterar mejl
• Automatisk kategorisering av mejl (kommer senare i år)

Apple Wallet

• Tap to cash, betala genom att hålla telefoner nära varandra
• Apple lägger till info om evenemang man har biljetter till, som info om arenan

Gaming

• Game mode kommer till iOS: fokuserar all prestanda för spel

Foton

• ”Största uppdateringen någonsin”
• Bättre möjligheter att filtrera på olika slags bilder
• Collections: kolla på bilder under vissa samlade teman (som tillfällen eller dagar)
• ”My favourite people” för att snabbare hitta de viktiga människorna i livet – eller åtminstone dem man fotar ofta
• Möjlighet att sortera collections och anpassa vilka man vill se

Audio & home

Airpods

• Enklare att interagera med SIri utan att använda händer: nicka för att ”säga” ja och skaka huvudet för att säga nej (vilket inte kommer se konstigt ut)
• Voice isolation till Airpods Pro, filterar bort bakgrundsljud
• Nytt API för personalized spatial audio

TV OS

• Insight: info om innehållet du tittar på, komplett med info om musiken som spelas
• Enhanced audio: göra det enklare att höra dialog
• Stöd för 21:9-projektorer
• Nya skärmsläckare! Värsta killerappen!

Watch OS 11

• Training load: uppskattning om hur träning påverkar din kropp, baserat på din personliga data
• Nu summeringshubb, så att man kan anpassa det som visas
• Vitals: ny app som ska uppfattning om hälsan en specifikt dag. Så en mer fokuserad och mer personaliserad Hälso-app, med mer fokus på insikter
• Fler anpassningsmöjligheter för gravida
• Automatiskt starta widgets när de behövs – som att varna en stund innan det börjar regna
• Apple Watch får Live events och check in-funktion (inklusive under träningspass)
• Watch OS kan automatiskt skapa anpassade urtavlor baserat på favoritbilder

iPad OS 18

• Samma möjligheter som iOS att anpassa hemskärm och kontrollcentret
• Ny flytande meny, som går att anpassa
• Shareplay gör det möljigt att rita och kontrollera varandras skärmar (a.k.a. föräldrasupporten)

Miniräknare

• IPAD FÅR EN EGEN MINIRÄKNARE! DET TOG BARA 14 ÅR!
• Pencil får stöd för matteproblem  (a.k.a. en funktion jag aldrig någonsin kommer att använda), okej den kan summera bara man skriver siffror i höjd och drar streck under – det är Excel-skills på min nivå
• (Okej, jag kommer fortfarande inte använda den, men mattefunktionen Math Notes som kombinerar iPad och Pencil ser rätt cool ut)

Notes

• Smart script: ännu bättre stöd för handskrivna anteckningar (fast man verkar fortfarande behöva skriva hyfsat läsligt, så kört för mig)
• Pennan gör det också möljigt att flytta text
• Nu blev jag lite sugen på en iPad med en Pencil.

MacOS Sequoia

• (Har jag sagt att Craig Federighi är kungen av cringe?)
• Flera funktioner från iOS och iPad OS kommer även till macen.
• Med tanke på namnet: vill Apple ha mer investerarpengar?

Continuity

• Ny funktion: iPhone mirroring. Du kan plocka upp din iPhone trådlöst som ett flytande fönster på Macen och styra iPhonen. Det ser ut att vara en riktigt smart funktion. Och inser att jag har saknat den. Inte minst med tanke på att du kan använda Macens tangentbort.
• iPhone-notiser kan visas i Macen, när man interagerar med notisen så hoppar Macen in i den virtuella iPhonen
• iPhonen är låst medan du använder speglingen, så du kan använda den tillsammans med standby. Komplett med dra och släpp mellan Macen och iPhonen.
• Okej. Den här är riktigt smart.

Videosamtal

• Nytt presentatörsläge, funkar för Facetime och Zoom, komplett med möjlighet att välja anpassade bilder

Lösenordshanterare

• Ryktet stämde. Apple släpper en egen 1Password eller Last Pass. Nyckelhanterarren i ett bättre UI, alltså. Och HELLO säger EU om den. Och konkurrenterna.

Safari

• Safari är den snabbaste och säkarste webbläsaren. Helt objektivt. Enligt Apple.
• Japp, ”machine learning” får vi. Men ingen ”AI” än. Men Safari får stöd för sammanfattningar av sajter, inklusive i Safaris egen läsarfunktion.
• Viewer: Bättre stöd för att visa videos på sajter

(Och… det var allt vi fick om Safari… Vi kan anta att Apple kommer samla ihop saker i ett ”AI”-pass. Som inte kommer heta AI-pass.

Gaming

• Macen ska bli ännu bättre för spel, inklusive nytt utvecklarkit
• Enklare att porta över Mac-spel till iOS och iPad OS

 

Apple Intelligence

KORS I TAKET! Tim Cook sa ”Artificial Intelligence”!

• Powerful, Intuitive, integrated, Personal, Private. Där har vi Apples nyckelord för AI-satsningen. PIIPP?
• Som väntat: AI på Appleiska blir ”Apple Intelligence”. Så nu vet ni vad AI betyder. ”Intelligence that understands you”. Funktionerna sammanfattas i fyra områden: Languages,

Language

• Prioritera notiser
• Nya skrivverktyg i alla appar, som kan skriva om, rättstava etc. Kommer även till tredjepartsappar

Images

• Skapa bilder baserat på kontakter (ni vet den där funktionen som vi alla använder i LinkedIn). Inbyggt i Pages, Keynote

Action

• Bättre röststyrning: be operativet plocka upp en fil eller spela en podcast som någon delade med dig.

Personal context

• AI – Apple Intelligence alltså – kan plocka ihop kontakt, karta och kalender t ex och svara på frågan om ett möte krockar

Integritet

• ”Privacy at the core”. Förstås.
• Processer hanteras ”Aware of your personal data, without collecting your personal data”. Inte alls ritat mot Google och Meta. Gissa att Apple kommer droppa den meningen ofat.
• Apple Intelligence kommer att skyffla runt den personliga datan till AI-processer på enheten.
• Private Cloud Compute: Apple vill ”skala upp” iPhonens säkerhet till molnet. Särskilda Apple Silicon-servrar som ska garantera säkerheten.
• Apple Intelligence avgör om uppgift kan hanteras på enheten eller skickas till PCC. Apple INtelligence kommer vägra prata med AI-servrar som inte har autentiserats för extern granskning av säkerheten.

Siri

• Siri-bollen försvinner och blir istället en ram runt mobilen (jag gillade gamla ikonen bättre – BRING IT BACK! Okej, jag överlever)
• Siri blir smartare, inklusive kan äntligen hålla koll på kontext i konversationen. Tog bara 13 år.
• Går att skriva till eller prata med Siri.
• Överlag blir Siri mer som att prata med ChatGPT.
• Siri får stöd för att se och förstå det som händer på skärmen, alltså det som kommer till Microsoft Copilot. Siri kan använda appar
• Okej. Om Siri kan göra allt det här så är det en galet stor uppgradering. Till sist. (Exempel: hitta körkortet, plocka ut info ur bilden och klistra in i fält)
• App intents: kommer inte bara fungera för Apple-appar. Apple Intelligence kan även användas i externa appar, via API.
• Apple Intelligence/Siri kommer åt din personliga data och kan använda den kontextuellt med övrig info. Kan hitta saker man har skrivit i konversationer och inte bara kalenderhändelser. Med integrationer i tredjepartsappar så skulle det exmepelvis kunna omfatta även Metas appar.

AI för skrivverktyg

• Exempel: Apple Intelligence kan sammanfatta, komma med förslag i annan tonalitet, sammanfatta, smarta svar etc. Kort sagt, det vi har vant oss vid på andra ställen.
• Sammanfattning av olästa mejl. Priority messages, kan sammanfatta de viktigaste mejlen åt dig, eller de viktigaste meddelanden och notiserna.
• Reduce interruptions: Apple Intelligence kan själv avgöra vilka notiser som ska släppas fram.

AI för bildskapande

• Genmoji: klart Apple har hittat på ännu en ny term. Beskriv vad du vill ha för emoji och låt AI:n skapa den. JA!!! ÄNTLIGEN!
• Image playground: ”No need to engineer the perfect prompt”. Apple har alltså redan lämnat prompandet bakom sig. Man ska helt enkelt låta AI:n själv skapa bilder på enkla kommandon. Classic Apple: det kommer inte finnas särskilt mycket anpassningsmöjligheter, men bli enkelt för normalanvändarna.
• Kommer finnas i appar som Freeform, Pages och Keynote, men Image Playground får också en egen app och ett eget API.
• Apple snor Googles cirkel-funktion. Du kan ringa in det du vill ha ändrat i en bild.
• Nytt bildförbättringsverktyg.
• Beskriv vad du vill ha och få en ”memory”-video och låt Apples AI skapa en samling bilder med musik. Med musik från Apple Music. Om man så vill: Apple börjar vilja konkurrera med CapCut.
• Notes kan spela in och transkribera video, plus skapar en sammanfattning. Kommer även till telefonappen, så du kan spela in och transkribera samtal.

ChatGPT-integration

• Siri kan använda ChatGPT med GPT-4o för att bättre svara på frågor. Så Siri skickar kort sagt en prompt till ChatGPT. ChatGPT kopplas ihop med Apples skrivverktyg.
• Siri kan också använda ChatGPT:s bildskapande.
• Går att använda GPT-4o utan att betala – med fler funktioner för de som betalar.
• Fler AI-modeller kommer att läggas till ”senare i år”.
• Images Playground kan integreras i externa appar via SDK. Apples skrivverktyg kan automatiskt lägga till i externa appar.
• Siri och App intents kommer att bygga ut ordentligt och låta utvecklare använda Apple-funktioner och omvänt.

Ha. ”This is AI for the rest of us”.