Если вы давно пользуетесь интернетом, любите кино и игры, то есть большой шанс, что хотя бы раз вы натыкались на обсуждения или жаркие споры относительно частоты кадров. Не только в отношении видеоигр, но также и кино.
Одни утверждают, что и 24-30 кадров в секунду достаточно, потому что выше они уже не различают. Другие заявляют, что чем больше кадров, тем лучше — будет то игры или кино.
Биологический факт в том, что человеческий глаз видит мир с частотой выше 24 fps. И даже выше 240 fps. Потому что наши органы зрения — это не камера с механическим или электронным затвором, который открывается и закрывается с определенной частотой. Если мы воспринимаем мир без какой-то жесткой частоты, тогда возникают справедливые вопросы:
- Почему фильмы с частотой 48 или 60 кадров в секунду выглядят, словно сняты на камеру смартфона?
- Почему фильмы в 24 или 30 кадрах в секунду выглядят приятнее, кинематографичнее?
- Почему в играх мы предпочитаем 60 fps и выше, а не 24 или 30 кадров?
Давайте разбираться с научной точки зрения. Внимание, в тексте будут серьезные упрощения, но с указанием ссылок на более подробную информацию.
Глаза — оптический инструмент, но не камера
Возможно, вы не в курсе, но ваши глаза находятся в постоянном движении. Подобно птичке колибри, они совершают множество микродвижений. Это необходимо для формирования подробной картины окружения, так как в максимальном «разрешении» и «фокусе» мы можем видеть только область размером с монету на вытянутой руке.
Эта часть сетчатки называется «ямка», которая отвечает за четкость и красочность того, что мы видим, благодаря высокой концентрации светочувствительных колбочек. Наш мозг «склеивает» информацию из этой ямки, создавая достаточно подробный образ мира. Детальное описание — Wiki.
Согласно исследованиям, физический лимит остроты зрения составляет 6 арксекунд при взгляде на две параллельные линии, расположенные рядом друг с другом.
Однако существует так называемый критерий Рэлея, который устанавливает границы углового разрешения для любого оптического инструмента — от человеческого глаза до фотоаппарата или видеокамеры. Если воспользоваться соответствующей формулой, то в оптимальных условиях глаз обычного человека имеет остроту около 25 арксекунд.
Более того, сами светочувствительные колбочки имеют ширину от 30 до 60 арксекунд, что в 5-10 раз больше, чем минимальное расстояние между линиями, которое можно гипотетически различить.
Однако глаз — это не камера. Если с чем и сравнивать сетчатку, то лучше всего подойдет процессор, потому что эта часть глаза выполняет ряд функций обработки. Достаточно взглянуть на устройство колбочек.
Устройство колбочек
Колбочки — это узкоспециализированные светочувствительные рецепторы, за миллионы лет развившиеся для сбора максимально доступной информации. Это не просто сенсор камеры, регистрирующий пиксель — колбочки «предпочитают», когда свет падает на них напрямую. Такое свойство называется эффект Стайлса-Кроуфорда.
Форма верхней части колбочки напоминает коническое дно колбы, при этом эффект Стайлса-Кроуфорда связан с формой. Потому что если рецептор может отбросить лишний свет, то можно разглядеть больше деталей. Возможно, что форма также позволяет игнорировать преломленный свет, чтобы картинка не выглядела размытой.
Обратите внимание, что диаметр кончика колбочки составляет примерно 1/3 от основания. Таким образом, если взять ширину в 30-60 арксекунд и разделить на 3, то мы и получим фактическую остроту восприятия колбочки. Более или менее.
Другими словами, получается, что в изображении должны быть пробелы. Ведь «сенсоры» не смогут определить расстояние, потому что их ширина того же размера.
Постоянное движение
Однако в отличие от сенсоров камер, наша сетчатка не зафиксирована. Существует феномен, который называется тремор глаз — когда мышцы незначительно вибрируют, с частотой 83.68 Гц в среднем. Рамки же составляют от 70 до 103 Гц.
Благодаря этим движениям свет может падать на разные колбочки. При помощи временной выборки и пост-обработки мозг может генерировать картинку гораздо большего изображения от одного зафиксированного на месте рецептора. Если учесть, что наши глаза еще и наполнены «желе», которое и так меняет форму при движении, то почему бы не использовать лишнюю информацию для чего-то полезного.
Области распознания
Чувствительное поле сенсорного нейрона разделено на две части — центральную и окружную, что выглядит примерно вот так:
Благодаря такому разделению получается с высокой эффективностью распознавать границы объектов. Если симулировать картинку, то получается примерно так:
Таким образом, если присутствуют колебания, то чувствительные клетки будут регистрировать свет при пересечении границ. В результате формируется картинка с разрешением как минимум в два раза выше.
Похожие методы формирования изображений высокого качества используются и в различных технологических системах. Самый простой пример — формирование панорамы при помощи камеры смартфона. Достаточно включить функцию, провести по заданной линии и получается панорама, которую нельзя добиться путем стандартной съемки.
Как все это связано с частотой кадров?
Предположим, если все что мы видим постоянно меняется и «шумит», то мозг эффективно регистрирует информацию. Мозг способен проводить суперсэмплинг (повышать разрешение) и получать в два раза больше данных. И это действительно так. Более того, для получения лучших результатов сигнал должен быть «шумным» — этот феномен известен как Стохастический резонанс.
Более того, допустив, что колебания с частотой 83.68 Гц позволяют нам удваивать разрешение, то что будет, если показать человеку движущуюся картинку (кино или игру) с частотой менее половины от частоты колебаний?
Получится, что мы более не получаем сигнал, который меняется достаточно быстро для проведения суперсэмплинга. В результате теряется значительная часть воспринимаемых движений и деталей.
Что будет, если сигнал обновляется с частотой выше половины частоты колебаний? По мере движения глаза, он будет регистрировать больше деталей, используя эту информацию для создания подробной картинки мира. Будет даже лучше при добавлении «зерна» (предпочтительно через временной антиалиасинг) для заполнения пробелов.
Половина от 83.68 Гц — это приблизительно 41 Гц. Таким образом, для получения высококачественного разрешения из картинки, она должна быть «шумной» (подобно зерну пленки) и обновляться с частотой выше 41 Гц. Пример — фильм «Хоббит» в 48 fps, или «Гемини» в 60 fps. То же касается и видеоигр.
Что же будет с частотой 24 или 30 кадров в секунду, ведь это ниже лимита? Глаза будут анализировать изображение дважды и не смогут собрать дополнительную информацию благодаря колебаниям. Кино или игра получиться более «сказочным», не таким детальным. Ограниченным разрешением самого формата.
Существуют теории, что это может быть связано с размытием движений, однако в случае кино эффект не должен играть большой роли.
Что все это значит для кино?
При частоте обновления в 48-60 кадров в секунду наши глаза различают больше деталей, чем при частоте 24-30 fps, как в отношении движения, так и в детализации. Однако мы получим более чем в 2 раза больше информации, потому что помимо окружающей информации мозг регистрирует и движения. Поэтому экшеновые сцены с резкой сменой кадров более высокая частота будет иметь лучшие результаты среди аудитории.
Однако аудитория будет регистрировать и больше деталей из сцены, чем при 24-30 fps. Это и создает эффект постановки. Мы видим не образ, а сцену целиком, что едва ли возможно в реальности.
В качестве наглядной демонстрации вы можете прямо сейчас провести эксперимент. Для этого необходимо на смартфоне открыть съемку видео и в настройках выбрать частоту — 60 fps. Смотрите на экран и подвигайте перед собой камеру, получается гораздо плавнее, чем если просто подвигать головой.
В итоге для получения кинематографического качества, необходимо снимать с частотой ниже 41 Гц, но выше частоты, когда движение становится рваным — от 16 Гц.
А почему старые сериалы выглядели фальшиво?
Это было связано с технологиями вещания прошлого века в NTSC-регионах, когда видео показывали с частотой 59.99 Гц, но чересстрочным образом. То есть, за 1/60 секунды мы видели лишь половину «линий» картинки. Но суть в том, что общая частота была выше колебаний, благодаря чему возникал эффект мыльной оперы.
Что все это значит для видеоигр?
В отличие от кино, особенно снятого на пленку с феноменальным даже по сегодняшним стандартам разрешением, видеоигры имеют ограниченное разрешение. Большинство из нас играет на 1080p или 1440p, лишь в последние годы 4K-матрицы стали доступнее. В таких условиях мы способны различать отдельные пиксели и они распределены в форме сетки.
Поэтому проблема разрешения и частоты еще какое-то время будет компромиссом. Даже на консолях нового поколения придется искать баланс. Однако даже 38-43 кадров в секунду, с хорошим «зерном», временным и антиалиасингом можно добиться лучших результатов. В противном случае наш мозг будет подсознательно регистрировать пиксельную сетку, а не содержание.
В связи с этим, экшеновым играм с большим количеством движений важнее частота, тогда как у более статичных играм, вроде стратегий, в приоритете должно быть разрешение. Частично это объясняет использование некоторыми разработчиками динамического разрешения — когда в сценах нет экшена, можно рендерить картинку в высоком разрешении, когда экшен усиливается, разрешение уменьшается в пользу стабильной частоты.
Но если есть возможность играть в 60+ fps с разрешением 4K, то будет только приятнее.
Кроме того, чем выше частота, тем быстрее вы сможете реагировать на происходящее. Хотя выше 144 Гц позитивный эффект начинает снижаться и стоящие результаты возможны у профессиональных геймеров. Но это связано не только с рефлексами, но и с самими играми, так как чем выше частота — тем ниже задержка ввода.
Заключение
Это далеко не все, что можно сказать о частоте и разрешении. В частности, заслуживает внимания проблема укачивания и головной боли при просмотре некоторых видео или во время игр, но об этом мы поговорим отдельно.
Пока же, можете провести собственные эксперименты с частотой и разрешением в различных играх на PC.
Иллюстрация в шапке: Rashed AlAkroka
