Idag kan artificiell intelligens generera bilder, skriva texter eller analysera fotografier. Apple men nu har den visat teknik som går ett steg längre. Experter från Cupertino-företaget har presenterat en modell som kan skapa ett tredimensionellt objekt från ett enda foto och samtidigt realistiskt simulera hur ljus verkar på dess yta. Resultatet är inte bara en enkel 3D-modell, utan ett objekt där reflektioner, ljusstyrka och andra ljuseffekter naturligt förändras när betraktningsvinkeln ändras.
Du kan vara intresserad av
Studien har titeln LiTo: Tokenisering av ytljusfält och löser ett problem som utvecklare har haft problem med länge. Många nuvarande metoder kan rekonstruera formen på ett objekt, men de har svårt att fånga hur ljus beter sig på dess yta. Om du någonsin har sett äldre 3D-rekonstruktioner skapade från fotografier kanske du har märkt att objekten ser lite onaturliga ut. Blanka material ser ofta platta ut och deras utseende förändras knappt när du ändrar betraktningsvinkeln. Det är precis vad den nya modellen syftar till att göra. AppLu försöker svara.
Tekniken är baserad på det som kallas latent utrymme, vilket är ett maskininlärningssätt för att lagra information i matematisk form. Istället för att lagra varje detalj i en bild separat, omvandlar modellen data till en numerisk representation som fångar dess egenskaper och samband. Dessa representationer finns sedan i ett flerdimensionellt utrymme där deras likhet eller avstånd enkelt kan beräknas. Detta gör att modellerna kan arbeta med informationen mer effektivt och generera nya resultat.
När det gäller LiTo används denna princip för att modellen ska kunna beskriva ett objekts form och hur ljuset träffar det samtidigt. Systemet skapar en kompakt matematisk representation som innehåller information om objektets geometri och dess utseende vid olika betraktningsvinklar. När objektet behöver visas igen omvandlar den andra delen av modellen denna representation tillbaka till en 3D-modell och beräknar hur det ska se ut under olika ljusförhållanden.
Det är också intressant hur Apple tränade modellen. I det här fallet använde forskarna tusentals digitala objekt som renderades från många olika vinklar och under olika ljusförhållanden. Modellen fick dock inte all denna information på en gång. Istället arbetade den endast med slumpmässigt utvalda dataprover, från vilka den gradvis lärde sig att rekonstruera hela objektet och dess visuella egenskaper. Tack vare detta lärde den sig att fånga inte bara själva geometrin, utan också de subtila förändringar i utseende som sker när synriktningen eller ljuset ändras.
När systemet var tillräckligt tränat lades ytterligare en modell till som kunde uppskatta motsvarande latenta representation från ett enda foto. Utifrån detta skapar systemets huvuddel sedan ett komplett 3D-objekt, inklusive realistiska ljuseffekter. Med andra ord behöver modellen inte flera bilder från olika sidor, som är fallet med traditionella rekonstruktionsmetoder. Den behöver bara en enda bild.
Vid första anblicken kan detta verka som ett rent akademiskt experiment, men liknande tekniker har mycket praktiska användningsområden. De kan vara användbara till exempel för att skapa 3D-modeller för förstärkt verklighet, i spel eller för att digitalisera produkter för nätbutiker. Allt du behöver göra är att ta en bild av objektet så skapar systemet automatiskt en tredimensionell bild av det, som användaren kan rotera och se från olika vinklar.
Liknande forskning är Applu ganska vanligt och fungerar ofta som grund för framtida teknologier i dess produkter. Tänk bara på de fotografiska algoritmerna i iPhonech eller på tekniker associerade med LiDAR-skanningOch om Apple verkligen är på väg in i världen av spatial databehandling och förstärkt verklighet, är det mycket logiskt att utveckla sådana modeller. Möjligheten att skapa ett realistiskt 3D-objekt från ett enda foto skulle kunna vara en av de tekniker som kommer att fungera i bakgrunden på våra enheter i framtiden utan att vi inser hur komplex beräkningen bakom den är.
Men de här funktionerna borde ha funnits i den första versionen, som den här apple visade hur efter han låg igen, till exempel när de bytte lightning bakom USB-C