Ябълкови очила

Говори се, че Apple има таен екип от стотици служители, работещи по проекти за виртуална и разширена реалност.

• да
• Не

Тайният проект за разширена и виртуална реалност на Apple

Съдържание

1. Тайният проект за разширена и виртуална реалност на Apple
• Слушалки за смесена реалност
• AR интелигентни очила
• iOS 14 AR течове
• AR в Xcode
• Партньорство с Valve?
• Други слухове
2. Разширена реалност срещу виртуална реалност
3. Екипът на VR/AR на Apple
• Наема
• Придобивания
4. AR / VR патенти
5. Дата на стартиране
6. Бъдещи планове за AR/VR
7. Хронология на Apple Glasses

Apple проучва технологиите за виртуална реалност и разширена реалност повече от 10 години въз основа на патентни заявки, но с нарастването на популярността на виртуалната и разширената реалност с пускането на ARKit, участието на Apple става все по-сериозно и се очаква да доведе до AR/ VR продукт през 2022 г.

Говори се, че Apple има тайно изследователско звено със стотици служители, които работят върху AR и VR и проучват начините, по които новите технологии могат да бъдат използвани в бъдещите продукти на Apple. Наемането на VR/AR се увеличи през последните няколко години и Apple придоби множество AR/VR компании, тъй като продължава работата си в AR/VR пространството.

Говори се, че Apple работи поне върху това две AR проекти, които включват комплект слушалки с разширена реалност, които ще бъдат пуснати точно около 2022 г., последвани от по-елегантен чифт очила за разширена реалност, които ще бъдат пуснати на по-късна дата. Много слухове обаче са фокусирани единствено върху очилата, което води до известно объркване относно плановете на Apple, но изглежда, че AR/VR Headset ще бъде първият пуснат продукт.

Анализаторът на Apple Минг-Чи Куо вярва, че слушалките за „смесена реалност“ на Apple ще излезе в края на 2022 или началото на 2023 г., като Apple Glasses ще последват през 2025 г., въпреки че други източници казват, че очилата ще дойдат през 2023 г. Слушалките са AR/VR, известен още като смесена реалност, докато очилата на Apple са разширена реалност.

Слушалки за смесена реалност

Информацията и Блумбърг и двамата казаха, че Apple работи върху интелигентни очила И AR/VR слушалки (известни още като смесена реалност), като слушалките излизат първи, следвани от очилата. Говори се, че слушалките са подобни на слушалките за виртуална реалност Oculus Quest на Facebook, но с по-елегантен дизайн, който използва тъкани и леки материали, за да гарантира, че слушалката е удобна.

Казва се, че се отличава два 8K дисплея с висока разделителна способност и камери за откриване на очите, които ще позволят на потребителите да „четат малки букви“ и „да виждат други хора, стоящи пред и зад виртуални обекти“. Слушалките ще могат да картографират повърхности, ръбове и размери на помещения с „по-голяма точност от съществуващите устройства на пазара“. Той ще има по-усъвършенстван дисплей и чип, който е дори по-бърз от процесора M1 в Mac от 2020 г.

Информацията през февруари каза, че ще бъде оборудван с повече от дузина камери за проследяване на движенията на ръцете в допълнение към камери за виждане на външния свят, а дизайнът блокира периферното зрение, за да предотврати изтичането на светлина в зрителното поле на потребителя. В дисплея може да има и обърната навън козирка, която позволява на потребителя да показва графики на другите.

Елек твърди, че VR слушалката ще включва микро OLED дисплей с висока разделителна способност с до 3000 пиксела на инч. По-рано се говори за микро OLED дисплей за интелигентните очила, но не и за VR слушалките.

Анализаторът на Apple Минг-Чи Куо каза, че предстоящите слушалки за смесена реалност на Apple ще включва 15 модула оптични камери общо. Осем от 15-те модула на камерата ще се използват за изживяване с разширена реалност, шест модула ще бъдат използвани за „иновативна биометрика“, а един модул на камерата ще се използва за откриване на околната среда.

Куо също вярва че слушалките на Apple ще бъдат оборудвани с усъвършенствана система за проследяване на очите, използвана за осигуряване на интуитивно визуално изживяване, което взаимодейства безпроблемно с външната среда, заедно с по-интуитивна работа, която може да се контролира с движения на очите и намалена изчислителна тежест под формата на намалена резолюция, където потребителят не гледа.

От гледна точка на дизайна слушалките са описани като имащи „елегантен, извит козирка, прикрепен към лицето чрез мрежест материал и сменяеми ленти за глава“. Твърди се, че една лента за глава включва пространствена аудио технология като AirPods Pro за изживяване като съраунд звук, докато друга осигурява допълнителен живот на батерията, докато сте в движение. Apple работи върху множество методи за контрол, включително „устройство, подобно на напръстник, което да се носи на пръста на човек“. Слушалките също ще могат да реагират на движенията на очите и жестовете на ръцете на потребителя, докато един прототип на слушалките също включва физически циферблат от страната на козирката. Apple също тества входа на Siri.

Apple иска създайте App Store за слушалките, с фокус върху игри, поточно видео съдържание и видеоконференции. Описано е от Блумбърг като „всеобхватна 3-D цифрова среда“, предназначена за игри, гледане на видео и комуникация.

Текущи прототипи на слушалките се казват да тежат около 200 до 300 грама, но Apple се стреми да намали крайното тегло до 100 до 200 грама, ако технически проблеми могат да бъдат решени, което би направило слушалките по-леки от съществуващите VR устройства. Слушалките ще бъдат преносими с независимо захранване и съхранение, но няма да бъдат „мобилни“ като iPhone. Той ще осигури „потапящо изживяване“, което надминава наличните в момента VR продукти и може да бъде интегрирано с Apple TV+ и Apple Arcade.

Функционалността на разширената реалност за слушалките е „по-ограничена“ и докато пускането е планирано за 2022 г., се казва, че Apple е ударила няколко препятствия при разработката и има „консервативни“ оценки за продажбите на устройството. Apple очаква да продаде приблизително 180 000 бройки, което е наравно с по-скъпите устройства като Mac Pro. Очаква се слушалките да бъдат много по-скъпи от слушалките от други компании и Информацията казва, че Apple е обсъдила цената на слушалките на около 3000 долара.

Първоначалният дизайн включва вентилатор и мощни процесори, което води до твърде тежко устройство. Твърди се, че Apple е решила да приближи слушалката до лицето, за да намали размера. Потребителите няма да могат да носят очила, докато използват слушалките, така че Apple създаде система, при която персонализирани лещи с рецепта могат да се поставят върху VR екраните.

Куо вярва, че слушалките ще използва хибриден дизайн на лещи на Френел , включващ три подредени лещи на око, изработени от лека пластмаса. Целта е дизайнът да позволи ултра-къси фокусни разстояния и подобрена оптична производителност, както и широко зрително поле и да поддържа теглото на слушалките под 150 грама.

По отношение на мощността, предстоящите AR/VR слушалки ще включват a основен процесор от висок клас това е подобно на чипа M1, който Apple дебютира за своите силиконови Mac-ове на Apple миналата година, заедно с процесор от по-нисък клас за управление на свързаните със сензорите аспекти на устройството.

Анализаторът на Apple Минг-Чи Куо твърди, че ще може да работи независимо, без да разчита на Mac или iPhone, което е отклонение от предишния слух, който казваше, че ще изискват връзка към iPhone. Мощният чип в слушалките ще управлява чифт 4K Micro OLED дисплеи от Sony и шест до осем оптични модула, за да осигури AR-базирана функционалност. Apple има завършена работа на SoC за AR/VR слушалките и ще оптимизира за безжично предаване на данни, компресиране и декомпресиране на видео и енергийна ефективност за максимален живот на батерията и няма невронен двигател като някои от другите чипове на Apple.

Предстоящите слушалки със смесена реалност на Apple ще предлагат WiFi 6E поддръжка, която е най-новата спецификация на WiFi. Твърди се, че Apple планира да внедри WiFi 6E, за да осигури висок клас, потапящо изживяване със солидна безжична свързаност. WiFi 6E има всички предимства на WiFi 6, но добавя 6GHz спектър в допълнение към лентите 2,4GHz и 5GHz за увеличена честотна лента и по-малко смущения между устройствата.

Рендери на слушалки със смесена реалност

Дизайнерът Антонио Де Роза има разработени 3D рендери въз основа на подробности, споделени от Информацията , давайки ни поглед върху това как може да изглежда слушалката със смесена реалност на Apple въз основа на настоящите слухове.

Информацията описва слушалките като „елегантен, извит козирка, прикрепен към лицето чрез мрежест материал и сменяеми ленти за глава“, предлагани в множество цветове.

Ранни прототипи на слушалките

Предишни слухове от CNET през 2018 г. предположи, че Apple работи върху мощни AR/VR слушалки с 8K дисплей за всяко око, които ще бъдат освободени от компютър или смартфон, и ще работят както с приложения за виртуална, така и с разширена реалност.

Вместо да разчитате на връзка със смартфон или компютър, слушалките CNET описано ще се свърже към „специализирана кутия“, използвайки високоскоростна безжична технология с къс обхват, наречена 60GHz WiGig. Кутията ще се захранва от персонализиран 5-нанометров процесор на Apple, който е „по-мощен от всичко налично в момента“. Кутията очевидно прилича на компютърна кула, но „няма да бъде истински Mac компютър“. Този дизайн, подобен на кутия, беше обект на ранните слухове и може да е прототип, който оттогава е бил изоставен за по-елегантната версия, която слуховете сега описват.

Твърди се, че вътрешните разногласия са оформили и променили целите на Apple за своите AR слушалки с течение на времето. Apple беше първоначално се прицелва за свръхмощна система, която се предлага с хъб за настаняване на процесора, както е описано по-горе, но Джони Айв, който оттогава напусна компанията, не искаше да продава устройство, което би изисквало отделно стационарно устройство за пълна функционалност.

Вместо това Айв искаше слушалки с по-малко мощна технология, която може да бъде вградена директно в устройството, но лидерът на AR/VR екипа, Майк Рокуел, искаше по-мощното устройство. Това беше противопоставяне, което продължи месеци и Тим Кук в крайна сметка застана на страната на Айв. Казват, че Ive предпочита умните очила с AR, които също се разработват.

AR интелигентни очила

Apple работи върху комплект очила за разширена реалност, които Leaker Jon Prosser е предложил Apple ще нарече „Apple Glass“. Това име би било необичаен избор, като се има предвид сходството с името на Google Glass, продукт, който съществуваше много преди работата на Apple върху AR очилата да излезе наяве, така че може да не е точно.

Твърди се, че очилата изглеждат подобни на обикновените очила, като и двете лещи включват дисплеи, с които могат да се взаимодействат с помощта на жестове. Ще има опция да получите очилата без лещи с рецепта на възможна начална цена от 9, като лещите с рецепта се предлагат срещу допълнително заплащане.

Според Блумбърг , очилата са вътре ранен етап на развитие , дори по-рано от AR/VR слушалките, върху които Apple работи. Очилата са описани като „на няколко години“, въпреки че Apple първоначално е планирала да ги пусне още през 2023 г. Настоящият прототип прилича на слънчеви очила от висок клас с дебели рамки, в които се помещават батерията и чиповете.

Твърди се, че Apple е планира да използва „Авангардни“ OLED микродисплеи, доставени от Sony за своите слухове за очила с добавена реалност. OLED микродисплеите на Sony се отличават с ултра бърза скорост на реакция, ултра-висок контраст, широка цветова гама, висока осветеност, ниско отразяване и интегрирани драйвери за тънък и лек дизайн. Твърди се, че очилата разполагат с 0,5-инчов дисплей с резолюция 1280x960.

Куо очаква очилата с AR да бъдат пуснати на пазара като аксесоар за iPhone и основно ще заемат ролята на дисплея, като разтоварват изчисленията, работата в мрежа и позиционирането на iPhone, с очилата осигуряване първо мобилно „оптично прозрачно AR изживяване“. Предлагането на AR очилата като аксесоар за iPhone ще позволи на Apple да ги поддържа тънки и леки. Просер казва, че очилата ще изглеждат подобно на Ray-Ban Wayfarers или очилата, които Тим Кук носи.

Блумбърг каза, че очилата на Apple ще работят с 'rOS' или реалност операционна система. Твърди се, че rOS е базирана на iOS, операционната система, която работи на iPhone. За слушалките с AR, Apple разработва чип „система върху пакет“, подобен на този в Apple Watch, въпреки че ще разчита на iPhone, както бе споменато по-горе.

По време на разработването на слушалки с AR, Apple разглежда сензорните панели, гласовото активиране и жестовете на главата като методи за въвеждане и се създават прототипи на редица приложения от картографиране до текстови съобщения. Виртуалните зали за срещи и 360-градусово възпроизвеждане на видео също са концепции, които се изследват.

Мислех, че има първоначални слухове от стартиране през 2020 г , Блумбърг вярва AR очила може да дойде са години след пускането на пазара, като VR слушалките ще излязат през 2022 г. Доклад от DigiTimes предположи, че AR очилата на Apple ще пуснат през 2021 г., а анализаторът на Apple Минг-Чи Куо очаква пускането на пазара през 2022 г. най-рано .

Лийкърът Джон Просер вярва, че Apple ще представи своите очила с AR през март или юни 2021 г., но това изглежда неточно предвид оценките от Блумбърг и Куо.

Просер също така казва, че Apple работи върху ограничена версия на 'Steve Jobs Heritage' на умните очила, които са проектирани да изглеждат като кръглите очила без рамки, които Стив Джобс носеше, но Блумбърг Марк Гърман нарече този слух „пълна измислица“.

Apple е работи с TSMC да разработят „ултра-усъвършенствани“ микро OLED дисплеи, които ще се използват в предстоящите устройства с добавена реалност на Apple, като умните очила. Твърди се, че дисплеите са по-малки от един инч.

Микро OLED дисплеите са изградени директно върху чипове, а не върху стъклен субстрат, което води до дисплеи, които са по-тънки, по-малки и по-енергийно ефективни. Твърди се, че разработката на микро OLED дисплеи е в етап на пробно производство и ще минат няколко години, преди Apple и TSMC да бъдат готови за масово производство, което ще направи тези дисплеи подходящи за очилата на Apple, за които се говори, че ще бъдат пуснати някъде около 2023 г.

От началото на 2021 г. Apple се казва, че е навлиза във „втора фаза на развитие“ на прототип на очила с разширена реалност. Очилата трябва да преминат през трета фаза на разработка след няколко месеца, а след това, когато дизайнът на прототипа бъде завършен, носеното ще премине през период от шест до девет месеца на инженерна проверка.

iOS 14 AR течове

Код и изображения намерен в iOS 14 потвърдете работата на Apple върху слушалки за AR или VR, с открита снимка, която изобразява общ изглеждащ контролер за слушалки, които са подобни по дизайн на слушалките HTC Vive Focus. Apple използва хардуер на HTC Vive за вътрешни тестове.

Apple тества своето AR оборудване с приложение за iOS 14, наречено Gobi, заедно с QR кодове за тестване на изживявания с разширена реалност. Едно от тези преживявания с разширена реалност е игра на боулинг на пешеходна пътека, задействана на конкретна пешеходна пътека в Сънивейл, Калифорния.

AR в Xcode

Кодът в Xcode 11 потвърждава Работа на Apple на някакъв вид AR слушалки. Има препратки към тестови устройства с кодово име плюс рамки и системна обвивка, свързани с тези устройства. Препратките предполагат, че Apple разработва поддръжка за лицево монтирано AR изживяване, което е подобно на Daydream на Google.

Партньорство с Valve?

Според тайвански сайт DigiTimes , Apple си партнира разработчик на игри Valve за неговите слухове за AR слушалки. Valve пусна първите си VR слушалки, Valve Index, през април 2019 г.

Valve по-рано работи с Apple, за да предостави поддръжка за VR слушалки в macOS High Sierra, като използва поддръжката на eGPU с Mac версия на софтуера SteamVR.

Други слухове

През ноември 2017 г. Apple закупи Vrvana, компания, която разработи слушалки със смесена реалност, наречена Totem. Технологията на Vrvana може потенциално да се използва в бъдещи слушалки на Apple. Apple последва покупката на Vrvana с придобиването на Akonia Holographics, компания, която произвежда лещи за AR умни очила.

Слуховете също така предполагат, че Apple може да включи своите изследвания за добавена реалност в текущия си проект за автомобили като част от софтуерна система в автомобила, която може да включва хедс-ъп дисплей или други функции.

Забележка: Виждате грешка в това обобщение или искате да предложите обратна връзка? .

Разширена реалност срещу виртуална реалност

Разширената реалност (AR) и виртуалната реалност (VR) са подобни технологии, но има голяма разлика между тях и потенциалните им приложения варират значително. Виртуалната реалност се отнася до пълно потапящо изживяване във виртуален свят, докато разширената реалност се отнася до модифициран изглед на реалния свят.

Разликата може би най-добре може да се обобщи чрез сравнение между два продукта, един AR и един VR. Гугъл очила , вече несъществуващият комплект умни очила на Google, е пример за разширена реалност. Износеното от очите Google Glass позволява на потребителите да виждат света такъв, какъвто е, но предлага хедс-ъп дисплей, който наслагва съответната компютърно предоставена информация върху този реален изглед на света, като местно време, карти и известия.

Това е подобно на това, върху което се казва, че Apple работи със своите слухове „умни очила“.

За сравнение, на Facebook Oculus Rift е слушалка за виртуална реалност, предлагаща потапящо визуално изживяване, което не допълва реалния свят с допълнителна сензорна информация - напълно замества реалния свят със симулиран свят.

Разширената реалност предоставя компютърно генериран контекст и информация за света около нас, като същевременно ни позволява да взаимодействаме със заобикалящата ни среда, докато виртуалната реалност е предназначена да ни изолира от заобикалящата ни среда, за да можем да взаимодействаме с фиктивни светове.

кога излиза ipad pro

Потенциалните приложения за двете са много различни. Виртуалната реалност е изключително фокусирана върху потапящо потребление на съдържание, защото кара потребителя да се чувства така, сякаш всъщност изпитва какво се случва в симулирания свят чрез визуална, тактилна и аудио обратна връзка. Виртуалната реалност е до голяма степен свързана с игрите в момента, но също така има потенциал да пресъздаде преживявания от реалния свят за образователни или обучителни цели.

Разширената реалност не зависи от потапящо съдържание и макар и по-малко вълнуваща, тъй като увеличава реалността, вместо да я замества, тя има по-широк спектър от потенциални приложения. Всъщност приложенията и игрите с разширена реалност са лесно достъпни в iOS 11 благодарение на ARKit.

С ARKit iOS устройство може да идентифицира повърхност като маса и след това към нея могат да се добавят виртуални обекти. Поради изчислителната мощност на iPhone и iPad, възможностите за разширена реалност на ARKit са впечатляващи. ARKit вече се използва за създаване на огромна гама от приложения и игри, смесващи цифрови обекти с реалния свят.

играй

Apple може да се стреми към продукт, който работи както с разширена, така и с виртуална реалност, както се предполага от скорошни слухове, показващи работа върху AR/VR слушалки. Такъв продукт може да се използва за сериозни приложения за виртуална реалност, както и за изживяване с разширена реалност, и би бил подобен на Microsoft HoloLens.

Екипът на VR/AR на Apple

Работата на Apple върху виртуалната и разширената реалност датира от няколко години, но слуховете се появиха през март 2015 г., когато се появи новината, че Apple има малък екип от хора, работещи върху разширената реалност. През 2015 г. и в началото на 2016 г. екипът на Apple се разрасна, тъй като компанията нае служители с опит в AR/VR технологията и направи множество свързани придобивания.

Екипът на AR/VR на Apple включва няколкостотин инженери от цяла Apple, всички от които имат опит във виртуалната и разширената реалност. Екипът работи в офис паркове в Купертино и Сънивейл, а Apple проучва няколко хардуерни и софтуерни проекта под кодовото име „T288“.

Екипът на Apple за разширена реалност съчетава „силните страни на своите ветерани от хардуера и софтуера“ и се ръководи от Майк Рокуел, който идва от Dolby. Бивши служители на компании като Oculus, HoloLens, Amazon (от екипа на VR), компанията за 3D анимация Weta Digital и Lucasfilm работят върху AR в Apple.

Бившият шеф на хардуерното инженерство на Apple Дан Ричио през януари 2021 г. се премести към нова роля къде е той наблюдава работата на Apple на AR/VR слушалки. Проектът е изправен пред предизвикателства при развитието и ръководителите на Apple вярват, че фокусът на Ричио може да помогне.

Наема

Един от най-известните AR/VR наети на Apple беше професорът по компютърни науки Дъг Боуман, който преди това ръководеше Центъра за взаимодействие човек-компютър на Virginia Tech. Той е специализиран в дизайна на триизмерен потребителски интерфейс и е написал книга по темата, обхващаща 3D интерфейсите и предимствата на потапящите виртуални среди. Той има опит както с виртуална, така и с разширена реалност.

Apple също е наела служители, които са работили върху продукти за виртуална или разширена реалност в Microsoft и Lytro. Твърди се, че някои скорошни наети са от екипа на Microsoft HoloLens, докато други са работили в Lytro, компания, работеща върху камера, която може да комбинира действие на живо и компютърна графика за VR изживяване на живо. Служителите, идващи от екипа на HoloLens, биха имали опит в създаването на усъвършенствани слушалки с разширена реалност.

360-градусовата камера Lytro Immerge

Zeyu Li, който беше главен инженер по компютърно зрение в Magic Leap (стартъп, разработващ AR/VR дисплей, монтиран на главата), сега работи в Apple като „старши инженер по алгоритъм за компютърно зрение“.

Юрий Петров, бивш изследовател в Oculus, собственост на Facebook, сега работи като „изследовател“ в Apple. Според профила му в LinkedIn, Петров е изучавал опит във виртуалната реалност, прототипи на оптика и разработва софтуер за компютърна симулация.

Експертът по разширена реалност Джеф Норис се присъедини към Apple през април 2017 г. като старши мениджър, работещ в екипа за разширена реалност на компанията. Норис основа Службата за иновации на мисията и лабораторията JPL Ops Lab в НАСА. Той ръководи множество проекти, фокусирани върху взаимодействието човек-система с акцент върху виртуалната и разширената реалност.

Apple през май 2018 2018 нае Стерлинг Криспин, който разработи приложение за рисуване за мобилни VR слушалки. „Cyber ​​Paint“ позволява на хората, които носят VR слушалки, да създават 2D 260-градусови снимки на Oculus Go, Daydream, GearVR и Vive Focus. Страницата на Криспин в LinkedIn казва, че той работи като „изследовател на прототипи“, което предполага, че се е присъединил към екипа, за който се говори, че работи върху технологията за VR/AR слушалки.

През декември 2018 г. Apple нае бившия старши дизайнер на Tesla и Microsoft HoloLens Андрю Ким и като се има предвид историята му, той може да работи по слуховия проект за AR очила на Apple или предстоящата кола на Apple, за която се твърди, че е в процес на разработка.

Основателят на Jaunt VR Артър ван Хоф се присъедини към Apple като старши архитект през април 2019 г. Преди да работи в Apple, неговата компания създаде VR хардуер , включително 3D VR камера за 100 000 долара, наречена Jaunt One. Преди когато ван Хоф напусна компанията, Jaunt се провали и се насочи към AR преживяванията.

Тъй като екипът на Apple обхваща стотици служители, има много други наети експерти по виртуална реалност, които минаха под радара. В LinkedIn има множество софтуерни инженери с опит във виртуалната реалност, които са наети от Apple, но не е ясно дали работят в тайния AR/VR екип.

Apple през юли 2019 г. премести Ким Ворат, един от нейните софтуерни ръководители, на слушалките с разширена реалност дивизия, за да „внесе някакъв ред“ в отбора. Vorrath наблюдава управлението на програмата в екипа за разработка на софтуер в продължение на 15 години и е описан като „мощна сила“, която гарантира, че служителите спазват крайните срокове, като същевременно открива грешки.

Придобивания

Много членове на екипа на Apple за AR/VR може да са се присъединили към компанията чрез придобивания. От 2015 г. Apple закупи няколко компании, които създадоха продукти, свързани с AR/VR, а някои от нейните придобивания на AR/VR дори датират от няколко години.

Apple през август 2018 г. купи Akonia Holographics, стартираща компания, която произвежда лещи за очила с разширена реалност. Akonia Holographics рекламира „първата в света обемна холографска отразяваща и вълноводна оптика за прозрачни дисплейни елементи в интелигентни очила“.

Твърди се, че произвежданите от него дисплеи използват технологията HoloMirror на компанията за „ултра-ясно, пълноцветно представяне“, за да позволят „най-тънките и най-леките дисплеи за носене на главата в света“.

През ноември 2017 г. Apple закупи Vrvana, компания, която разработи слушалки със смесена реалност, наречена Totem. Totem, който никога не е бил пуснат за обществеността, е проектиран да комбинира както технологиите за разширена, така и за виртуална реалност в една слушалка, обединявайки пълните VR възможности с преминаващи камери, за да даде възможност за базирани на екрана функции за добавена реалност.

Totem по същество използва набор от камери, за да проектира изображения от реалния свят във вградения си 1440p OLED дисплей, донякъде уникален подход, който го отличава от конкурентните продукти като HoloLens на Microsoft, който използва прозрачен дисплей за комбиниране на виртуална и разширена реалност. Apple може да планира да използва част от технологиите на Totem в бъдещ продукт.

Apple закупи базираната в Израел фирма за 3D разпознаване на тялото PrimeSense през 2013 г., което предизвика спекулации, че базирани на движение възможности ще бъдат внедрени в Apple TV. Технологията за 3D дълбочина на PrimeSense и възможностите за разпознаване на движение бяха използвани в първоначалната платформа Kinect на Microsoft.

PrimeSense използва почти IR светлина, за да проектира невидима светлина в стая или сцена, която след това се чете от CMOS сензор за изображения, за да създаде виртуално изображение на обект или човек. Това позволява базирани на движение контроли за софтуерни интерфейси, но също така е в състояние да прави неща като измерване на виртуални обекти и предоставяне на относителни разстояния или размери, полезни за приложения с разширена реалност като интерактивни игри, картографиране на закрито и др. Технологията PrimeSense може също да създава високоточни 360-градусови сканирания на хора и обекти, потенциално полезни за приложения за виртуална реалност.

Apple придоби стартъпа за разширена реалност Metaio през май 2015 г. Metaio създаде продукт, наречен Metaio Creator, който може да се използва за създаване на сценарии за разширена реалност само за няколко минути. Преди да бъде закупен от Apple, софтуерът на Metaio се използва от компании като Ferrari, които създадоха шоурум за разширена реалност.

Технологията Metaio беше използвана и в Берлин, за да позволи на хората, посещаващи мястото на Берлинската стена, да използват смартфон или таблет, за да видят как изглежда районът, когато Берлинската стена все още стои. Технологията на Metaio е тази, която потенциално може да се използва за внедряване на възможности за разширена реалност в приложения на Apple като Maps.

Apple придоби Faceshift през август 2015 г., отбелязвайки втората си покупка с разширена реалност през 2015 г. Преди да бъде придобита от Apple, Faceshift работи със студия за игри и анимация по технология, предназначена за бързо и точно улавяне на израженията на лицето с помощта на 3D сензори, превръщайки ги в анимирани лица в реално време. Faceshift също работи върху продукт, ориентиран към потребителите, който ще позволи на хората да преобразуват лицата си в анимационни или чудовищни ​​лица в реално време в Skype.

Технологията на Faceshift има широк спектър от възможни случаи на използване и изглежда Apple използва функцията за захранване на Animoji в iPhone X.

Emotient, компания, която изгради инструменти за анализ на изражението на лицето, беше придобита от Apple през януари 2016 г. Технологията на Emotient използва изкуствен интелект и машинно обучение за разчитане на човешки емоции, функции, които са били използвани в реалния свят от рекламодателите за определяне на емоционалните реакции към реклами.

Има десетки неща, които Apple може да направи с Emotient, вариращи от по-добро разпознаване на лица в приложението Photos до анализиране на чувствата на клиентите в магазините на Apple до отключване на iOS устройства, но също така има потенциални приложения за AR/VR. Подобно на Faceshift, технологията на Emotient може да се използва за анализиране и трансформиране на израженията на лицето за създаване на виртуални аватари, полезни за социални медии и игри. Технологията Emotient вероятно е била използвана за Animoji.

Закупена в началото на 2016 г., Flyby Media е друга компания, която работи върху разширената реалност. Прелитане създаде приложение който работи с оборудвания с 3D сензор „Project Tango“ смартфон на Google, позволявайки съобщенията да бъдат прикачени към обекти от реалния свят и да се преглеждат от други с едно от устройствата на Google.

Например, човек може да „сканира“ забележителност като моста Голдън Гейт в Сан Франциско и да напише съобщение, прикачено към него. Човек, който посети моста по-късно, ще може да сканира моста с приложението Flyby, за да види съобщението. Приложението Flyby вероятно привлече вниманието на Apple, защото успя да разпознае и разбере различни обекти, които са сканирани, технология, която може да се използва от Apple по различни начини в приложения като Снимки и Карти.

През февруари 2017 г. Apple закупи RealFace, компания за киберсигурност и машинно обучение, която е специализирана в технологията за разпознаване на лица, която потенциално може да се използва за бъдещи функции за разширена реалност.

RealFace разработи технология за разпознаване на лица, интегрираща изкуствен интелект за разпознаване на лица без триене. Вероятно е използвана технологията Realface в iPhone X , първият смартфон на Apple с възможности за лицево разпознаване под формата на Face ID.

Apple през май 2020 г придоби NextVR , базирана в Калифорния компания, която комбинира виртуална реалност със спорт, музика и забавление, предлагайки VR преживявания за гледане на събития на живо на VR слушалки от PlayStation, HTC, Oculus, Google, Microsoft и други производители.

Apple през август 2020 г закупени VR стартови пространства , компания, която проектира преживявания във виртуална реалност, които хората биха могли да изпитат в молове и други места, като например „Спасение на Терминатор: Борба за бъдещето“. Spaces също така създаде преживявания за виртуална реалност за приложения за видео комуникация като Zoom, което е нещо, което Apple може потенциално да включи в бъдещ AR/VR продукт.

AR / VR патенти

Apple е подала множество патенти, които се отнасят директно до слушалки за виртуална реалност, като всички датират от няколко години. Въпреки че технологията вероятно е напреднала донякъде отвъд тези, те предоставят интересен поглед върху идеите, които Apple е изследвала в миналото.

Патентна заявка от 2008 г. обхваща доста основна „лична система за показване“, предназначена да имитира изживяването от киносалон, когато гледате видео.

Втори патент описва „система за дисплей, монтирана на главата“ с „лазерен двигател“, който прожектира изображения върху прозрачен стъклен дисплей, носен над очите, подобно на очила. В тази конфигурация слушалките са свързани към ръчен видео плейър, като iPod, за да осигурят процесорна мощност.

Трети патент, първоначално подаден през 2008 г., беше подобен по дизайн, обхващайки подобни на очила видео слушалки, предназначени да позволяват на потребителите да гледат филми и друго съдържание. Той очертава два регулируеми оптични модула, подредени с окото на потребителя, които могат да осигурят корекция на зрението и да позволят гледане на 3D съдържание. Apple описа това като предлагане на лично преживяване при гледане на медии.

ДА СЕ четвърти патент от 2008 г. покрива рамка за видео слушалки, подобна на Google Glass, която ще позволи на потребителя да плъзне своя iPhone или iPod в слушалките, за да предостави видео. Слушалките бяха описани като продукт с разширена реалност, който ще позволи на потребителите да правят неща като гледане на видео или проверка на имейл, като същевременно следят заобикалящата ги среда.

Освен патентите, свързани със слушалки, Apple също е подала документи за патенти, описващи други начини, по които функциите за виртуална и разширена реалност могат да бъдат внедрени в неговите устройства. Патентно заявление от 2009 г., например, обхваща 3D дисплеи, оборудвани с камера, които биха се изместили в перспективата въз основа на относителната позиция на потребителя.

Такъв дисплей би открил движението на главата, позволявайки на потребителя да движи главата си наоколо, за да разгледа 3D изображение от различни ъгли, като същевременно включва елементи от средата на потребителя.

Патентите от 2010 и 2012 г. описват използването на сензори за движение за създаване на 3D интерфейс за iOS устройства с помощта на техники за разширена реалност. Apple описа интерфейса като „виртуална стая“, навигирана чрез манипулиране на ориентацията на устройството чрез вградени сензори или чрез жестове.

През 2011 г. Apple подаде патент за функция за разширена реалност в приложението Maps, свързана с картографиране на разстоянието до забележителни забележителности. С камерата потребителят може да разгледа района около себе си и да получи оценки в реално време за разстоянието между две точки, заедно с наслагвания на съответната информация.

Патент, подаден през 2014 г. и предоставен през 2017 г., обхваща мобилна система с разширена реалност, способна да открива обекти в околната среда и да ги наслагва с виртуална информация чрез използването на камери, екран и потребителски интерфейс. Apple описва системата като идеална за дисплей, монтиран на главата, но също така показва, че се използва в смартфони.

Apple работи върху технологията за виртуална реалност, която може да бъде използвани в автономни превозни средства . Няколко патента на Apple описват система, която включва система за виртуална реалност в автомобила с VR слушалки, носени за осигуряване на забавление и за смекчаване на прилошаването от автомобили от задачи като четене и работа, докато превозното средство е в движение.

ДА СЕ Заявка за патент от юли 2020 г обхваща възможни методи за въвеждане с Apple Glasses, описвайки система, при която очилата използват инфрачервено топлинно засичане, за да открият, когато някой докосне обект от реалния свят, което позволява на очилата след това да проектират контроли върху реална повърхност.

С този метод Apple Glasses може да проектира в интерфейса за управление на AR върху всеки действителен обект в реалния свят за ефект на наслагване на смесена реалност.

Apple през февруари 2021 г подаде редица патенти свързан с работата му върху слухове за слушалки със смесена реалност, като патентите обхващат дизайнерски елементи, настройка на обектива, технология за проследяване на очите и софтуер.

Apple е разработила няколко метода за по-удобни за носене слушалки, като същевременно ги поддържа сигурна и блокира светлината, плюс има подробна система за регулиране на лещите, която използва течност за безпроблемно преместване на лещите, за да направи прилягането персонализирано за всеки потребител.

Apple също така описва система за проследяване на очите, която използва инфрачервена светлина за откриване на позиция, а също така има патент за това как документите могат да бъдат редактирани във виртуално 3D пространство с помощта на слушалки и разпознаване на жестове.

Apple има патентовани системи за запис на видео от слушалки, където вградените сензори за проследяване на погледа могат да осигурят индикация къде гледа човек в момента, което може да насочи вградената камера да запише сцената, където са разположени очите на потребителя, вместо просто да записва какво е пред потребителя.

Друга патентна заявка подадена през февруари 2021 г., показа, че Apple проучва монтирано на пръст устройство с набор от сензори и тактилна обратна връзка, което да се използва като контролно устройство за слушалки със смесена реалност.

Устройството за управление има форма, която позволява на потребителите да усещат обектите в заобикалящата ги среда и може точно да установи начина, по който потребителят движи пръста си и взаимодейства с повърхности. Твърди се, че системата е толкова точна, че може да открие колко силно потребителят натиска повърхността и точната посока на тази сила, предоставяйки хаптична обратна връзка в отговор.

В съчетание със слушалки за AR или VR, Apple казва, че това монтирано с пръст устройство може да „предостави на потребителя усещането за взаимодействие на физическа клавиатура, когато потребителят докосва повърхността на масата“ или „позволи на потребителя да предостави джойстик -type input' за игри, използвайки само движението на върховете на пръстите на потребителя.

Дата на стартиране

Анализаторът на Apple Минг-Чи Куо каза през октомври 2021 г., че предстоящите слушалки със смесена реалност имат беше забавено най-рано до края на 2022 г., като производството трябва да започне през четвъртото тримесечие на 2022 г.

Блумбърг също така вярва, че AR/VR слушалките, върху които работи Apple, ще излязат през 2022 г., докато AR очилата, които са в процес на разработка, ще излязат на по-късна дата. Информацията предполага, че AR/VR слушалки ще бъдат пуснати през 2022 г., последвани от интелигентни очила през 2023 г., но това е по-ранен график, отколкото други източници посочват за продукта за очила.

Твърди се, че Apple изостава от тестването на интелигентните очила, които са в процес на работа, което може би може да доведе до забавяне. Apple трябваше да влезе във втората фаза на разработка на очилата в началото на 2021 г., но фаза втора тестване все още не е започнала, така че обемното производство през първото тримесечие на 2022 г. неочаквано .

Анализаторите на Morgan Stanley наскоро казаха, че слушалките с AR 'приближават началото' въз основа на брой патенти Apple публикува. Анализаторите смятат, че патентното портфолио на Apple за нейните AR/VR слушалки е подобно на патентното портфолио, което създаде преди пускането на Apple Watch.

Бъдещи планове за AR/VR

Анализаторът на Apple Минг-Чи Куо вярва, че Apple може да планира „контактни лещи“ с разширена реалност, които може да стартира някъде през 2030-те.

Според Куо лещите ще пренесат електрониката от ерата на „видимите изчисления“ към „невидимите изчисления“. В момента няма „видимост“ за контактните лещи и не е гарантиран продукт, който Apple ще разработи.