Немецкое Общество содействия прикладным исследованиям имени Фраунгофера, среди прочего известное своим вкладом в разработку технологии сжатия медиафайлов MPEG для форматов MP3 и MP4, много лет исследует направление виртуальной реальности. В прошлом году результатом этой работы стал прототип очков на OLED-микродисплеях высокого разрешения — по два на глаз. В этом году учёные подготовили формат сжатия видеоконтента OMAF, который поможет передавать сферическое видео по сетям 5G.
OMAF — это аббревиатура от «Omnidirectional Media Format» или «Формат всенаправленного медиа» (ISO/IEC 23090-2). Он разработан группой MPEG и выполняет задачу стандартизации хранения и доставки мультимедийного контента с обзором на 360 градусов. Технология разбивает видеосферы на сетки фрагментов, каждый из которых закодирован в нескольких вариантах разрешения. На изображении выше красные участки обозначают потоковые фрагменты с низким разрешением, а обычные — с обычным разрешением. Более глубокое описание дают сами разработчики:
Помимо множества различных функций, OMAF определяет основанный на HEVC мультимедийный профиль для видео, зависящий от области просмотра, который позволяет потоковую передачу фрагментов HEVC с различным разрешением и, наконец, объединяет их в один цифровой поток, так что на клиентском устройстве декодируется только одно видео. Этот подход можно назвать потоковой передачей на основе плиток, которые позволяют нам увеличить разрешение в области просмотра при декодировании видео с более низким разрешением по сравнению с традиционными подходами к потоковой передаче 360-градусных видео.
На сегодняшний день во многих ВР-трансляциях все части сферического кадра передаются с одинаковым разрешением, то есть занимают максимально широкую полосу интернет-канала. С динамическим сжатием, таким как разработка фраунгоферцев, часть кадра, которую не видит пользователь, можно передавать с более низким качеством, определяя её по данным о направлении взора зрителя от очков. В результате можно повысить качество и снизить нагрузку на сеть передачи данных.
Международная организация стандартизации сотовой связи 3GPP уже приняла стандарт OMAF для потоковой передачи иммерсивного видео, поэтому он может стать популярным, насколько это позволит количество пользователей виртуальной реальности.
В видео ниже разработчики демонстрирует новую технологию, используя комбинацию JavaScript, браузера Safari, API WebGL для рендеринга и кодек HEVC. Исходный код для проигрывателя на JavaScript и инструкции по созданию совместимого со стандартом контента доступны на GitHub.
Перепечатка материала holographica.space