Upscaling 4k uhd что это
Как работает апскейлинг? Раскрываем секреты современных телевизоров
Помните, что раньше без ИИ вроде бы легко обходились, тем более в таком, казалось бы, обычном деле. Отвечаем: в реальности приведение любого видео к тому, что отображается на экране современных телевизоров — это очень сложный процесс.
Простым увеличением разрешения подобно растягиванию фотографий на весь экран он не был никогда, даже в эпоху DVD-плееров и HD Ready-телевизоров. Но если для преобразования в Full HD-телевизорах применяли лишь пару несложных методов для улучшения картинки при апскейлинге: интерполяцию, сглаживание наклонных линий и шумоподавление, то для 4К и тем более для 8К этого явно недостаточно.
Требования к качеству обработки изображения возросли многократно, потому что любые устройства столь высокого разрешения по отношению к контенту работают подобно лупе, выявляющей все недостатки видеотрансфера. И чтобы он достойно выглядел на телевизорах такого разрешения, его нужно улучшать. Это вполне возможно, ведь улучшают фотографии перед публикацией профессиональные ретушеры и дизайнеры. Они подходят индивидуально к каждому фото, чаще всего обрабатывая его участками: где-то осветляют, где-то затемняют, где-то смягчают, а в другие детали делают более резкими и т.д. Искусственный интеллект в QLED-телевизорах поступает аналогично, но 60 раз в секунду.
Чтобы он различал, какие участки надо обрабатывать соответствующими методами, в память телевизоров зашиты паттерны характерных типов изображения, представляющие собой цифровые коды частотных характеристик, ведь изображение — это тоже набор частот, своеобразных тембров, но более сложных, чем звук.
В итоге он легко отличает характерную «пленочную» киношную зернистость и грунт от шума, волосы от дефектов чересстрочности, однородные поверхности зданий от неба и водную рябь от блочности, вызванной сбоями или малым битрейтом видео. И таких паттернов в память заложены сотни! А высокая мощность процессоров позволяет применять их для обработки все одновременно.
В итоге на новых QLED-телевизорах даже с разрешением 8К даже эфирный DVB-T2-сигнал нашего телевидения выглядит хорошо, а 4К-видео — превосходно. И при этом не возникает мысли о том, что телевизор обращается с сигналом грубо. Наоборот, все смотрится потрясающе. А ведь в большинстве случаев телевизорам приходится работать с Full HD-сигналом, потому что именно в таком разрешении сохраняется подавляющее число фильмов, трансляций и видеороликов в YouTube.
То есть разрешение при этом увеличивается в 16 раз! Попробуйте увеличить свои фото в 16 раз без обработки. А у телевизора получается так увеличивать разрешение видео, и результат не вызывает отрицательных эмоций, если видео не совсем уж низкого качества. Чудо? Не совсем. Скорее результат работы высоких технологий.
Как Full HD превращают в 4К, и может ли это выглядеть хорошо
Рассказываем про «умный» апскейлинг разрешения в играх.
Материал подготовлен при поддержке MSI
Технологии развиваются неравномерно. Например, визуальные эффекты в играх могут сделать скачок, из-за которого даже самое мощное «железо» перестаёт справляться. Или производители консолей и видеокарт задают настолько высокие стандарты качества, что разработчикам приходится догонять прогресс.
Геймерам приходится покупать и обновлять игровые системы, чтобы не остаться отрезанными от последних достижений индустрии. Но есть технология, которая может заставить графику и железо двигаться навстречу друг другу, а не бежать наперегонки. Речь об апскейлинге — это масштабирование разрешения при помощи нейросетей.
В самом по себе масштабировании разрешения нет ничего инновационного — существует несколько десятков алгоритмов, которые способны «в реальном времени» увеличивать или снижать разрешение изображения, подгоняя его под возможности экрана.
Апскейлинг может выполняться на стороне источника (компьютером, консолью или Blu-Ray плеером), на стороне монитора или телевизора и даже некоторыми специальными кабелями.
Чаще всего конвертация происходит всё же устройством отображения: источник отправляет кадр в заданном разрешении, а тем, чтобы он занимал всю площадь экрана и минимально терял в качестве, занимается уже монитор. Одна из самых распространённых технологий сегодня — бикубическое масштабирование, алгоритм, который увеличивает цифровое изображение попиксельно. Он достраивает недостающие точках, сверяясь с информацией о 16 окружающих каждую из них пикселях.
Другие алгоритмы могут использовать для сверки от одного до 36 пикселей — обычно производители не указывают, как именно их монитор или телевизор «растягивает» изображение и не дают пользователю вариантов выбора.
Но это не всегда оптимальный вариант. Обратите внимание на сравнение алгоритмов в пиксельной игре (скриншот выше) и при апскейлинге фотографии (скриншот ниже). Там, где присутствует очевидная пиксельная сетка, лучше всего справляется самый примитивный, но с более сложными изображениями он создаёт «лесенки», которых удаётся избежать при большей выборке смежных точек.
Многие современные телевизоры используют временной апскейлинг: перед выводом изображения система накапливает кадры в буфере и дорисовывает целевому кадру недостающие пиксели — учитывая при этом, как изображение будет меняться в динамике.
Это позволяет повысить чёткость и плавность изображения в неинтерактивном контенте и снизить количество артефактов., Но для игр это не подходит, так как создаёт дополнительную задержку ввода — изображение выводится на экран с запозданием, делая управление неотзывчивым.
Продвинутые «умные» телевизоры и некоторые ТВ-приставки вроде NVIDIA Shield предлагают «умный» апскейлинг изображения.
Каким бы умным ни был телевизор, в «игровом» режиме все технологии для улучшения картинки отключаются, в том числе, увеличение разрешения. Если пренебречь рекомендациями производителя и оставить «улучшайзеры», задержка ввода может возрасти до нескольких сотен миллисекунд, что создаст дискомфорт из-за задержки ввода даже в самых размеренных играх.
Уже больше пяти лет игры в 4К — мечта и цель для многих геймеров. Но «грубой силой» производительного железа покорить эту высоту не получилось — сменилось уже три поколения видеокарт и полтора поколения консолей, но компромиссов избежать всё ещё не получается.
Консоли нового поколения чаще всего не «вытягивают» полное 4К-разрешение 2160р даже при 30 fps и далеко не максимальных настройках графических эффектов. И даже флагманские видеокарты, по цене сравнимые с недорогой иномаркой, только в 2021 году достигли достаточной мощности, чтобы гарантировать 40-60 кадров в секунду в нативном 4К при максимальных настройках с трассировкой лучей.
Но если не получается добиться «честного 4К», приходится искать способы создать достаточно убедительную иллюзию.
На консолях прошлого и текущего поколений большинство игр работают в разрешении значительно ниже 4096 на 2160 пикселей. чтобы изображение достаточно чётко выглядело на 4К-телевизорах, применяется шахматный рендеринг.
Это не совсем апскейлинг — при таком подходе изображение изначально рендерится под 4К, но с пропусками по одному или несколько пикселей, что напоминает шахматную доску. На каждом кадре пропуски располагаются в разных местах, чтобы алгоритм мог заполнять недостающие пиксели информацией с предыдущих кадров.
Шахматный рендеринг хорош тем, что эффективно снижает нагрузку на систему и не требует дополнительных аппаратных средств. На ПК шахматный рендеринг обычно не применяется, однако на многих более-менее актуальных видеокартах доступен режим апскейлинга с похожим эффектом.
Integer Scaling или «целочисленное масштабирование» производится видеокартой, а не монитором, не добавляет значимой или видимой задержки. Алгоритм дробит каждый пиксель изображения в низком разрешении на несколько суб-пикселей одинакового цвета, благодаря чему чёткость повышается без размытия и искажений.
Целочисленное масштабирование доступно на следующих видеокартах:
Такой апскейлинг подходит для игр с пиксельной графикой. Кроме того, в старых тайтлах с фиксированным низким разрешением ассетов, например, в «Героях 3», интерфейс и карта будут иметь привычные пропорции.
Правда, по краям объектов на экране могут появляться «лесенки», а цветовые переходы становятся резкими.
Для игр только две большие компании предлагают технологии апскейлинга: DLSS от NVIDIA и FSR от AMD (если не считать любительских наработок). Принцип работы у них разный, но обе задействуют нейросети в дополнение к стандартным алгоритмам.
Использовать их можно только в самих приложениях и играх (а не на уровне экрана или видеокарты). В 2021 году DLSS от NVIDIA интегрировали в движок Unreal Engine 4, а в будущем собираются добавить в Unity и UE5. AMD FidelityFX Super Resolution (FSR) стала доступна рядовым пользователям только в конце июня 2021 года и пока поддерживается лишь восьми играх. Алгоритм анализирует объекты на каждом отдельном кадре, увеличивает разрешение и применяет различные эффекты, включая сглаживание, увеличение резкости.
У FSR нет временного компонента: система не учитывает ни предыдущие кадры, ни положение объектов на будущих кадрах с учётом векторов, поэтому работает система неидеально и иногда допускает артефакты. Но зато и никаких особенно строгих системных требований у FSR нет: подходят видеокарты NVIDIA GeForce GTX 10-й серии и новее, AMD Radeon RX 460 и новее и даже графические ускорители от Intel.
Использование FSR снижает нагрузку на видеокарту от 40% до 60% в зависимости от разрешения и режима. В будущем технология может появиться и на консолях нового поколения, которые используют графическую архитектуру AMD.
NVIDIA DLSS (Deep Learning Super Sampling) устроена сложнее и обеспечивает более высокое качество масштабирования изображения, но и требования у неё намного выше. Технология опирается на специальные тензорные ядра, предназначенные для быстрого обсчёта матриц нейросетей, которыми оснащаются только видеокарты серий RTX 20 и RTX 30.
Согласно статистике Steam, такие карты есть примерно у 17% пользователей (это довольно много). В Steam порядка 120 миллионов учётных записей, то есть карты RTX используют порядка 20,5 миллионов человек. Однако подавляющим большинством этих пользователей назвать тяжело, поэтому не все разработчики считают DLSS необходимостью.
В DLSS первой версии нейросеть нужно было обучать на конкретной игре (это сотни часов), при этом рядовые геймеры и игровые журналисты жаловались на мерцание, низкую чёткость и другие проблемы.
Однако в DLSS 2.0 многое изменилось. Технология анализирует прошлые кадры и определяет векторы движения объектов в поле зрения, чтобы корректно обрабатывать динамичные сцены — без мерцания и артефактов.
В поддерживаемых играх прирост производительности с DLSS 2.0 достигает от 40% до 120% в зависимости от игры. DLSS поддерживается в большинстве крупных релизов: владельцев видеокарт GeForce RTX всё больше, вместе с этим растёт число потребителей новых технологий.
FSR и DLSS — не все технологии, которые снижают нагрузку на железо и повышают производительность игр с минимальным влиянием на качество графики. Microsoft активно тестирует продвинутую систему работы с памятью DirectStorage, на основе которой NVIDIA разрабатывает собственную RTX IO. Она ускоряют загрузку, упрощает обращение игры к ассетам и «агрессивнее» сжимает файлы на диске.
Сами графические API вроде DirectX 12 Ultimate и Vulkan интегрируют всё больше инструментов, чтобы оптимизировать производительность и снизить системные требования. Например, Variable rate shading помогает разработчикам разбивать отображаемое на экране пространство на зоны и рендерить их с разной степенью детализации. А Sampler feedback повышает производительность, позволяя игре повторно использовать уже отрендеренные текстуры или обходить рендеринг поверхностей за кадром, а также быстрее загружать текстуры.
Какие бывают функции улучшения изображения в телевизорах
Содержание
Содержание
Телевизоры последних поколений предлагают насыщенную, сочную и яркую картинку. Все это стало возможным благодаря использованию ряда технологий. Мы расскажем о каждой из них подробно, а также разберем путаницу в маркетинговых названиях.
Технология HDR
Данную аббревиатуру вы нередко встречаете в характеристиках телевизора и слышите в рекламе. Это одна из самых распространенных и важных технологий, которая дает ощутимое улучшение качества изображения.
HDR (High Dynamic Range) — стал дальнейшим развитием SDR (Standard Dynamic Range). Ранее из-за технологических ограничений в передаче информации данные урезались, поэтому изображение на телевизоре теряло в сочности, насыщенности и других деталях. Сейчас же с появлением HDMI 2.0 передача больших объемов данных не проблема, поэтому видеоконтент можно передавать практически без сжатия.
Расширенный диапазон оперирует тремя основными характеристиками изображения:
Другое принципиальное отличие последних версий HDR — наличие динамических метаданных. В них зашифрованы значения всех этих параметров, но не для фильма в целом,
а для каждого отдельного кадра и даже участка. HDR фактически «подкручивает» яркость, контрастность и цветопередачу в каждый отдельный момент видео так, чтобы картинка была максимально приближенной к оригиналу. Однако здесь есть несколько нюансов.
При слабой яркости эффект HDR практически незаметен, 8-мибитные матрицы не обеспечивают достаточную цветопередачу, а коннекторы ниже HDMI 2.0 не обладают достаточной пропускной способностью. Да, чтобы смотреть ТВ в HDR необходимо не только устройство с поддержкой этого стандарта, но и соответствующий контент. Обычно полную поддержку HDR имеют фильмы и сериалы со стриминговых сервисов, Blu-Ray-диски и некоторые игры, например, Horizon Zero Dawn или Metro Exodus.
Главная проблема — как узнать, действительно ли ваш телевизор поддерживает эту технологию? Маркетологи придумали десятки названий. Например, HDR+ и HDR Effect —
это маркетинговые названия имитации технологии HDR. Такие телевизоры лишь приближенно имитируют повышенное качество изображения.
ЕСли вам нужен настоящий HDR, то обращайте внимание именно на поддержку стандартов:
Если в технических характеристиках ТВ есть упоминание одного из этих четырех стандартов, то устройство способно воспроизводить видео с HDR. Главная сложность — найти соответствующий контент.
OLED-технология
Появление OLED действительно можно считать прорывом на фоне классической LED-подсветки, причем с ощутимым улучшением картинки. Обычные телевизоры со светодиодной подсветкой делятся на Edge LED и Direct LED. Первая предполагает размещение светодиодов по периметру, что приводит к появлению засветов по бокам. Вторая уже имеет светодиоды по всей площади, но все еще не способна обеспечить насыщенный черный цвет.
Принципиальное отличие OLED заключается в том, что в конструкции используются органические светодиоды, каждый из которых способен сам генерировать свет. Благодаря этому пропадает необходимость в использовании подсветки позади и других слоев. OLED-телевизоры способны контролировать яркость каждого отдельного пикселя, что делает картинку более контрастной, а черный цвет — супернасыщенным. Другое достоинство — такие модели более тонкие.
Телевизоры с OLED стоят ощутимо дороже, а главной проблемой является постепенное выгорание пикселей. Однако эта технология никакая не маркетинговая уловка, а самый настоящий прогресс в качестве.
Технология Motion Smoothing
У каждого бренда свое название этой технологи: Samsung Motion Rate, Sony MotionFlow, LG TruMotion. Несмотря на разные названия, принцип работы практически всегда идентичный. Motion Smoothing способна как улучшить изображение, так и ухудшить, поэтому ее использование актуально не для всех типов контента.
Видео может иметь частоту 24, 30 или 60 кадров в секунду в зависимости от источника. Однако телевизоры обладают частотой обновления экрана в 50, 60 и 120 Гц. Чтобы устранить несоответствие частоты обновления экрана и источника видео, применяется технология Motion Smoothing. Есть несколько алгоритмов ее работы:
Black Frame Insertions (BFI). Метод заключается в добавлении кадров с черным фоном. Это позволяет подтянуть частоту, уменьшает эффект размытия, но изображение становится менее ярким из-за мелькания черных кадров.
Дублирование. Вместо недостающих кадров алгоритм выставляет повторы в необходимом количестве. Но из-за этой методики изображение иногда ненадолго зависает или, наоборот, быстро прыгает.
Интерполяция. Процессор анализирует два соседних кадра и формирует на их основе промежуточный. Это самая продвинутая методика, но именно она приводит к эффекту «мыльной оперы», когда изображение теряет в четкости. Также такие алгоритмы не всегда корректно отрисовывают некоторые кадры.
Включать Motion Smoothing рекомендуется в сценах с постоянной динамикой. Это могут быть гонки, футбол, баскетбол и другие виды спорта. При просмотре фильмов или сериалов функцию лучше отключить, чтобы повысить четкость изображения. Практически в каждом телевизоре это можно сделать через стандартное меню.
Технология апскейлинга (Upscaling)
Если по-русски, то это обычное масштабирование. Большинство контента все еще поставляется в форматах HD (720p) и Full-HD (1080p). Соответственно, для просмотра такого видео на 4К или 8К-телевизорах картинку придется растягивать и дополнять данными. Чем больше разница в разрешении, тем больше пикселей придется дорисовать.
Самый простой алгоритм решения этой проблемы — выполнить дублирование пикселя и заполнить «клонами» недостающее пространство. Однако это дает посредственную картинку, которая получается размытой. Алгоритмы бикубической и билинейной интерполяции дают лучший результат, но изображение все равно получается неточным.
В большинстве телевизоров, способных делать апскейлинг до 4К и выше, используется ИИ на базе нейросетей. У каждого разработчика не только свой алгоритм, но и собственная база изображений в разных разрешениях, которые используются нейросетью для анализа.
Функция апскейлинга незаменима для 4К и 8К телевизоров, но ее эффективность можно узнать только на практике, поскольку каждый производитель использует свои процессоры и технологии. Однако применение ИИ однозначно дает лучший результат, чем ранее описанные классические методы.
Цифровое шумоподавление
Даже «цифра» подвержена помехам, например, белые пятна, расплывчатость картинки, «соль и перец». Если вы столкнулись с этими проблемами, то стоит поискать функцию шумоподавления. В каждом ТВ она может иметь свое маркетинговое название, однако в основе обычно используются идентичные алгоритмы с некоторыми доработками.
2D DNR (Digital Noise Reduction). Простейший метод устранения шумов, который анализирует пиксели в одном из двух направлений — пространственном или временном. В первом случае анализируются пиксели одного кадра, а во втором пиксели сравниваются с двумя соседними. Используется компенсационный или адаптивный методы фильтрации. Недостаток 2D DNR — расплывчатость изображения и возможная потеря в цветности.
3D DNR использует и пространственный и временной анализ пикселей, что позволяет эффективно удалять помехи и не терять в качестве изображения. Алгоритм учитывает и вектор движения, и положение пикселей в кадре. Поскольку большинство помех не статические, то они легко устраняются.
Каким бы не было название функции шумоподавления, обычно в ее основе лежит 2D или 3D DNR. Включать шумоподавление рекомендуется только для контента в низком качестве. Например, если вы смотрите аналоговое или не самое качественное цифровое ТВ. Для Blu-Ray или контента из стриминговых сервисов шумоподавление лучше отключить, поскольку картинка может потерять в четкости.
Динамический контраст
Часть телевизоров предлагает и такую функцию. Суть заключается в том, что ТВ автоматически подбирает уровень контрастности в зависимости от изображения, как правило, путем регулировки отдельных светодиодов подсветки. Соответственно, динамический контраст работает лучше всего на Direct LED с большим количеством светодиодов, а также на OLED телевизорах, где можно контролировать буквально любой пиксель.
Однако многие пользователи утверждают, что динамическая контрастность по факту ухудшает качество картинки. Проблема в том, что освещенность комнаты остается неизменной, поэтому оптимальный уровень контрастности следует подбирать именно под окружение, а не постоянно менять его в зависимости от сцены. К тому же, увеличение яркости белого обычно отрицательно сказывается на насыщенности черного. Иногда изменение подсветки просто не успевает под смену кадров, что также вносит дискомфорт при просмотре.
Локальное затенение и микродимминг
Еще одна пара технологий, которые частично связаны с динамическим контрастом и между собой. Локальное затенение аналогично динамической контрастности регулирует уровень подсветки отдельных светодиодов/пикселей. Это позволяет делать черный цвет более насыщенным. Эффект напрямую зависит от плотности и возможностей светодиодов.
Технология микродиминга (Samsung — Micro Dimming, Panasonic и Toshiba — Local Dimming, LG — Edge) — это фактически то же самое, что и локальное затенение. Отличия лишь в размере массива светодиодов, яркость которых можно менять. Эффективность зависит от динамичности видео и уровня освещенности помещения.
Теперь вы точно знаете, какие технологии принесут вам пользу, а какие — нет. Поделитесь в комментариях своим опытом использования функций улучшения изображния на ТВ.