Apple Vision Pro получает фовеированную передачу для PC VR; Samsung Galaxy XR — через Virtual Desktop

Apple Vision Pro официально получает фовеированную передачу (foveated streaming) для PC VR, а в Samsung Galaxy XR эта функция уже доступна через Virtual Desktop Гая Година.

Прежде чем продолжить, важно отметить: фовеированная передача — это не то же самое, что фовеированная отрисовка, хотя обе техники могут применяться совместно. Как следует из названий, при фовеированной отрисовке хост-устройство действительно рендерит область каждого кадра, на которую пользователь смотрит в данный момент, с более высоким разрешением; фовеированная передача означает доставку этой области в гарнитуру с более высоким качеством изображения, чем у остальной части кадра.

Этот термин мог встречаться в контексте Steam Frame от Valve, где он является базовой постоянно активной функцией решения для PC VR-стриминга и по умолчанию реализуется через беспроводной USB-адаптер для ПК.

Поскольку видеодекодеры в гарнитурах имеют ограничение по максимальному разрешению и битрейту, фовеированная передача помогает приоритизировать разрешение и качество компрессии в зоне, на которую пользователь смотрит в данный момент.

Apple Vision Pro: visionOS 26.4

visionOS 26.4 добавит фовеированную передачу в Apple Vision Pro, обеспечив более высокое качество беспроводного удалённого VR-рендеринга с локального ПК или облачного ПК.

В отличие от macOS Spatial Rendering, представленного в основном релизе visionOS 26 в прошлом году — относительно высокоуровневой системы, поддерживающей в качестве хоста только локальный Mac, — в документации для разработчиков Apple новая Foveated Streaming описывается как низкоуровневый, независимый от хоста фреймворк.

В документации в качестве примера хоста выделяется CloudXR SDK от Nvidia, при этом отмечается, что решение должно работать и с локальными ПК. Apple также опубликовала пример для Windows OpenXR, доступный на GitHub; насколько нам известно, это первый и единственный случай, когда компания вообще упоминала отраслевой стандартный XR API — не говоря уже о его практическом использовании.

Ведущий разработчик порта visionOS для приложения PC VR-стриминга ALVR Макс Томас сообщил UploadVR, что сейчас изучает возможность добавления поддержки фовеированной передачи, однако, по его оценке, это, вероятно, потребует «очень много работы».

С учётом принципа работы функции фовеированная передача Apple потенциально может обеспечить и фовеированную отрисовку для таких инструментов, как ALVR.

Обычно visionOS не предоставляет разработчикам информацию о том, куда именно смотрит пользователь — Apple объясняет это соображениями конфиденциальности. Вместо этого разработчики получают только события, например, какой элемент пользователь рассматривал в момент выполнения жеста «щипок». Однако для работы фовеированной передачи критично то, что API сообщает разработчику «примерную» область кадра, на которую направлен взгляд пользователя.

Это должно позволить хосту рендерить в этой области более высокое разрешение, а не только передавать её в повышенном качестве. Как и всегда, для этого требуется, чтобы конкретная VR-игра поддерживала фовеированную отрисовку либо поддерживала инструменты, которые внедряют фовеированную отрисовку.

Примечательно, что в документации Apple также указано: visionOS поддерживает одновременный вывод контента, отрисованного на устройстве, и удалённого контента. В качестве примера компания приводит сценарий, при котором интерьер автомобиля или самолёта рендерится на гарнитуре, а высокодетализированный внешний мир транслируется с мощного облачного ПК — это может быть предпочтительнее с точки зрения воспринимаемой задержки и стабильности по сравнению с рендерингом всего в облаке.

В ближайшие месяцы мы будем следить за сообществом разработчиков visionOS — особенно в корпоративном секторе — на предмет практических сценариев применения фреймворка фовеированной передачи Apple.

Samsung Galaxy XR: Virtual Desktop

Тем временем Samsung Galaxy XR получает фовеированную передачу через Virtual Desktop Гая Година — стороннее приложение стоимостью $25, доступное в Google Play.

Последнее обновление Virtual Desktop также добавляет фовеированную передачу для Meta Quest Pro и Play For Dream MR, хотя это менее значимо, поскольку эти гарнитуры уже могли обеспечивать фовеированную передачу через Steam Link от Valve.

По словам Гая Година, функция также должна работать на любых будущих гарнитурах с отслеживанием взгляда, где доступен Virtual Desktop.

Полный список изменений Virtual Desktop 1.34.16:

• Добавлена фовеированная передача для гарнитур с отслеживанием взгляда (Quest Pro, PFD и Galaxy XR) 
• Используется отслеживание взгляда для повышения качества изображения в зоне, на которую вы смотрите.
• Улучшены градиенты и точность цветопередачи для всех кодеков за счёт использования полного диапазона RGB вместо ограниченного (для рабочего стола и PCVR)
• Добавлена поддержка 96 fps и 100 fps на Quest 2, 3/3S (доступно только в Quest v85 PTC)
• Добавлена поддержка вибрации геймпада (также для контроллеров при эмуляции геймпада)• Добавлена поддержка адаптивной квантизации для GPU AMD при использовании H.264/H.264+
• Повышена надёжность первичного подключения (на этот раз действительно)
• Добавлены разрешения 21:9 для виртуального монитора на macOS
• Улучшена прокрутка стиком на macOS; теперь учитывается настройка естественной прокрутки
• Исправлено искажение изображения при некоторых разрешениях мониторов ноутбуков
• Исправлена редкая проблема с чёрной вспышкой при запуске некоторых PCVR-игр
• Исправлены смещения суставов кистей и конфликты с другими драйверами в SteamVR
• Исправлена совместимость с античитом Roblox
• Исправлены дополнительные проблемы с некорректными позами контроллеров в AndroidXR
• Исправлена поддержка кнопок для некоторых новых игр на UE5
• Исправлены подёргивания репроекции в некоторых играх на Unity (OVRPlugin)

Источник