Разбираемся в рейтинге DxOMark
Разбираемся в рейтинге DxOMark
Рейтинг DxOMark — это очень важный фактор, если вы выбираете смартфон по качеству камеры. Если вы не из тех, кто думает, что чем больше мегапикселей, тем лучше, то вам стоит обратить внимание на этот рейтинг самое пристальное внимание.
Что такое DxOMark и чем известен?
DxOMark является логичным продолжением деятельности французской компании DxO Labs. Эта компания занимается разработкой программного обеспечения и производством оборудования для измерения и оценки производительности фото оборудования.
DxO известна своим профессиональным ПО, таким как:
И даже собственными девайсами. Они выпустили DxO ONE, внешнюю камеру на 20 мегапикселей для iPhone c неплохими характеристиками.
DxOMark помогает выбрать лучшую камеру?
В этом нам как раз и поможет DxOMark. Ресурс хоть и англоязычный (хорошо хоть не французский), но там всё довольно наглядно представлено.
Камеры стараются сравнивать в одних и тех же местах и условиях, годами фотографируют одни и те же места. Много шаблонов для съемки, специальные стенды для съемки при определенном освещении, с разным ISO и т.д..
Стенд DxO для лабораторных испытаний
Во главе всей этой композиции находится китайский ковбой. Его фото для меня стало практически лицом всего ресурса. 😉
Здесь можно наглядно увидеть прогресс яблочных камер.
В новой методике тестирования стали сравнивать качество работы программных режимов камер смартфонов. Особенно DxO интересует режим портретной съемки и программного создания боке (размытия):
По мне так, Google Pixel здесь вне конкуренции
Также, помимо фотографий, здесь можно найти различные графики:
Даже если вы совсем не любите во всё это вникать и читать вам лень, то на главной странице сразу представлена доска почета, лучших камер по мнению DxOMark. На момент написания статьи он выглядел так:
Хотелось бы обратить ваше внимание на замыкающего этот список, Nokia 808 PureView. Телефон вышел на рынок 5 лет назад, летом 2012 года и умудряется до сих пор держать планку. Огромная матрица и физические размеры сенсора все же же влияют на качество снимков.
Можно ли доверять DxoMark?
Методика начисления баллов в рейтинге DxOMark засекречена, выставляется итоговый бал, по методике «Sensor Overall Score». Это искусственный интегральный показатель, отображающий большой массив данных в виде одной цифры.
Итоговая цифра выглядит справедливой, но помимо сухих цифр, лучше посмотреть графики и фото. У разных камер разные характеристики, у какой-то камеры может быть неплохая дневная съемка, но отвратительная ночная и наоборот. Какая-то камера смартфона больше подходит для портретной съемки, какая-то для пейзажей и тд.
По баллам телефон может набирать больше всех, но конкретно вам его камера может не понравиться. Людям не так часто нужна хорошая детализация и динамический диапазон, многие выберут фото поярче и с высоким контрастом. Это нам наглядно показали ребята с Hi-tech в их слепом тесте камер флагманских смартфонов, результаты можно посмотреть здесь.
Результат зрительского голосования довольно сильно разнится с выбором редакции. Во многих случаях победили самые яркие фото, которые далеко не всегда являлись самыми качественными и детализированными.
Между прочим, DxO Labs занимаются не только мобильными камерами, их основной работой являются настоящие взрослые зеркалки и объективы к ним. Они же пишут ПО для оптимизации их работы и продают их производителям камер.
А раз среди испытуемых есть их клиенты по программному бизнесу. Поэтому они могут быть «слегка» предвзятыми при тестах определенных брендов. Однако DxO ни разу не были пойманы на лжи и подтасовке результатов.
В любом случае, стоит выбрать камеру смартфона под себя. В конце каждого обзора можно посмотреть более детальную статистику, где можно изучить сильные и слабые стороны интересующей вас камеры.
Здесь можно увидеть как плюсы, так и минусы камеры IPhone 8
Итого. Доверять или нет?
Ребята с DxO Labs несомненно молодцы, но на 100% полагаться на их оценки не стоит. А вот принимать к сведению их работу несомненно нужно. Особенно, если вы не можете определиться между двумя уже отобранными моделями смартфонов и определяющим фактором для вас является именно качество камеры.
Так или иначе, DxO не испытывают плохие камеры, поэтому любой телефон в ТОП-5 их рейтинга умеет круто фотографировать и/или снимать видео.
Dxomark — объективность или пристрастие?
Макс Любин
На данный момент интернет по праву стал самым важным и в какой-то мере незаменимым источником информации обо всем на свете. Иногда эта информация достоверная, иногда требует проверки и перепроверки. Зачастую это касается только информации, полученной из сомнительных источников, не дорожащих своей репутацией, потерять которую проще простого. Иногда такое случается и с уважаемыми ресурсами и компаниями, пытающимися монетизировать свою репутацию, ранее заработанную годами самоотверженного и честного труда. Примеров этому можно привести массу, начиная от всемирно известных печатных изданий, однажды из уважаемого и объективного источника информации превратившихся в «джинсу» и рупор чужого мнения, и заканчивая более молодыми интернет-ресурсами, специализирующимися на какой-то конкретной отрасли, в которой их принято считать экспертами, поднявшимися на этом в эпоху интернета. И после ряда фактов пользователь начинает задумываться о том, можно ли дальше верить тем, кто когда-то был мерилом качества, объективности и источником информации о чем-либо.
Сегодня я хотел бы постараться ответить на подобный вопрос, который не раз возникал у меня в отношении ресурса DxOMark, занимающегося оценкой качества камер в различных устройствах и создающего рейтинг на основе полученных оценок.
Являясь заядлым гаджетоманом, пользовавшимся огромным количеством смартфонов разных вендоров, не раз и не два задавал себе вопрос: по какому принципу ресурс выставляет оценки? И много раз оказывался не согласен с оценками из рейтинга. Первый раз подобный вопрос остро встал передо мной, когда я увидел одинаковые оценки в рейтинге для камер Nexus 6P и iPhone 6.
Первой моей мыслью было: «Вы серьезно? Одинаковый балл этим смартфонам? Когда это iPhone 6 успел дотянуться до камеры Nexus 6P? Что за странный рейтинг?». Именно с этого момента я начал пристально следить за рейтингом данного ресурса. И с каждым разом всё больше приходил к выводу о том, что иногда эти баллы нарисованы и к реальности имеют лишь отдаленное отношение. Например, по мнению этого ресурса, Samsung Galaxy Note 8 снимает наравне с Apple iPhone 8 Plus. Когда я увидел данные цифры, во мне проснулся Станиславский с его сакраментальной фразой…
А после того, как мой взгляд упал на строчку выше, на которой расположился OnePlus 6, тот самый Станиславский начал рвать на себе волосы.
Да, вполне допускаю, что, не являясь профессиональным фотографом, я чего-то не понимаю и, возможно, от меня ускользают некоторые профессиональные нюансы, но глаза-то у меня есть. А глаза говорят мне, что с рейтингом что-то не так.
А теперь о том, что заставило меня написать всю эту простыню текста – рейтинг камеры в Samsung Galaxy S8, который оказался даже ниже такового для Galaxy S7/S7 Edge.
По мнению DxOMark, Galaxy S8 снимает хуже, чем Galaxy S7/S7 Edge. Как, почему? Особенно странным это видится владельцу обоих этих смартфонов.
Да, в Galaxy S8 установлен такой же модуль камеры, который был в «семерках», может быть, именно из-за этого ребята решили не заморачиваться и просто нарисовать балл? Однако даже при таком варианте нужно учитывать, что матрица в S8 используется другая. Не учли? Или она на самом деле выдает результат хуже?
Очень слабо в это верится.
А теперь от теоретических рассуждений перейдем к прямому сравнению. Задавшись вопросом об адекватности оценки этих двух поколений смартфонов Galaxy, я сделал несколько парных фотографий в разных условиях освещенности.
Основными стали условия недостаточной освещенности и наличие контрового света, так как считаю, что в таком режиме и следует оценивать камеру. Во-первых, именно в таких условиях камера может раскрыть свой потенциал и либо выдать достойный результат, либо испортить фото. Во-вторых, в условиях достаточного освещения (солнечный свет, ясная погода) все камеры дорогих смартфонов фотографируют примерно одинаково. В-третьих, большой процент повседневных кадров делается в условиях либо искусственного, либо недостаточного освещения, и при слабой камере кадры оказываются испорченными.
Для чистоты эксперимента все фотографии сделаны с рук, в полностью автоматическом режиме, с автофокусировкой и не подвергались никакой обработке или коррекции.
Итак, пытаемся подтвердить либо опровергнуть баллы, выставленные DxOMark, и косвенно ответить себе на вопрос, доверять ли этим рейтингам в будущем, или поискать более беспристрастную оценку.
Слева S7, справа S8.
Первая пара фото: Однотонная текстура со средним количеством света.
На первый взгляд фото кажутся почти одинаковыми и не имеющими кардинальных отличий. Однако в сравнении с тем, что я видел своими глазами, цветопередача на S8 оказалась точнее, так как в жизни стены имеют легкий розоватый оттенок. S7 придал им легкий зеленоватый отлив.
Если приблизить изображения, то окажется, что на фото полученном с S8 сохранено больше мелких деталей и лучше видна текстура, которая сильно повреждена шумодавом на S7.
Далее переводим взгляд вдаль и при пасмурной погоде фотографируем дом с фактурной поверхностью.
Опять результат очень близкий на первый взгляд, и на экране смартфона вряд ли получится заметить разницу. Однако разница заметна на экране компьютера – у S7 не получилось так точно передать цвет неба и облаков.
Теперь приближаем и снова видим агрессивный шумодав «семерки», съевший детали в угоду гладкости картинки. Плохо это или хорошо, не знаю, но мне детализированные фотографии нравятся больше.
Следующая пара фотографий является сложной для большинства камер мобильных телефонов – трава.
Обе фотографии получились неплохо. На первый взгляд фото, сделанное на S7, отличается большим реализмом и спокойными цветами (на любителя). А если присмотреться поближе, то окажется, что этот реализм достигается за счет всё того же агрессивного шумодава, который, как и на предыдущих фото, снова съел детали и текстуру. Однако на этой паре фото S7 показал большую резкость по всему полю, чем S8, у которого края фото рассыпались.
И еще пара фото с большим количеством мелких объектов одного цвета с контрастным засветом слева. Какое фото, на ваш взгляд, получилось лучше?
Следующая пара фотографий – однотонный плохо освещенный угол в помещении с искусственным светом.
В этот раз S8 решил похвастаться возможностями шумодава, а S7, напротив, решил «пошуметь». У кого, на ваш взгляд, получилось лучше?
Следующая пара фотографий демонстрирует умение камер смотреть вдаль.
Отчетливо видно большую прозрачность и контрастность картинки у S8 (справа).
А теперь попробуем испытать умение отображать в одном кадре по-разному освещенные участки.
S7 снова решил, что самый классный оттенок – зеленый, а текстура и детали – это то, чем можно смело пожертвовать.
Помещение со сложным светом.
И опять фото, сделанное S8, более прозрачное и чистое.
А теперь переходим к условиям, в которых пасует большинство камер смартфонов, – сумерки.
Очень странно, как DxOMark могли поставить этим двум смартфонам одинаковый балл.
Лично для меня очевидно, кто победил на этих двух фото.
Еще ряд фотографий в условиях недостатка света.
На фотографиях с S8 меньше засветов и бликов, а также выше детализация. И это при том, что технические характеристики и разрешение у камер одинаковые.
Это, по мнению DxOMark, тоже почти одинаковый результат с небольшим перевесом S7… Странно, но у меня совсем другое мнение.
Ну и, наконец, фото маленького яркого объекта в условиях тусклого искусственного освещения.
А вот тут S7 неожиданно показал себя лучше – чуть более четкие линии, чуть лучшая детализация без смазывания, яркие цвета. Единственное нарекание – излишняя теплота света, но это не так страшно. При этом, белый цвет подоконника остался белым у S8.
Что касается видео, то тут каких-либо явных отличий выявить не удалось. В профильной ветке на форуме видел жалобы на то, что в режиме съемки FHD/60 FPS изображение на S8 начинает подергиваться, однако сам с таким не сталкивался ни разу, поэтому не могу подтвердить наличие такой проблемы. Кстати, в свое время точно такие же претензии были и к S7. Может быть, это писал один и тот же человек? 🙂
Выводы и заключение
Если коротко, то доверия к DxOMark у меня больше нет, так как все мои сомнения подтвердились на практике. А еще появилось ощущение, что обсуждаемый ресурс подыгрывает некоторым производителям, несмотря даже на то, что у них же на сайте пользователи пишут гневные комментарии, в которых требуют пересмотреть результаты некоторых устройств в пользу более объективной и беспристрастной оценки.
А это, в свою очередь, значит, что единственными более менее объективными способами оценки качества камеры были и остаются сравнительные видео и текстовые обзоры, в которых представлены несколько пар фотографий и видео, сделанных на разные устройства.
А как вы считаете, можно ли верить рейтингу DxOMark?
Рейтинг DxOMark и что с ним не так
В последние годы, когда речь заходит о камерах смартфонов, всё чаще вам могут встретиться упоминания рейтинга камер DxOMark. Это крупный англоязычный сайт, который свою известность получил выступая в качестве «судьи» по качеству съёмки фото и видео ключевыми моделями смартфонов. В этой заметке – чуть подробнее о рейтинге и, главное, насколько можно ему верить.
Рейтинг DxOMark 2021 для камер смартфонов
Прежде чем объяснять, что именно нас очень настораживает в рейтинге DxOMark, представим сам рейтинг. Так на момент написания данной статьи выглядит топ-10 смартфонов, в которых, по версии DxOMark, самые лучшие камеры на сегодняшний день. Напротив каждого девайса указано итоговое число набранных баллов: чем больше, тем лучше.
Mi 11 Ultra – лидер рейтинга DxOMark, первое место для камер смартфонов
Полный перечень вы можете найти на официальном сайте DxOMark. В нём около сотни известных смартфонов флагманского и, реже, среднего уровня. Самую высокую оценку в рейтинге сейчас имеет флагман Xiaomi Mi 11 Ultra, который, к слову, оснащён самым большим сенсором камеры среди смартфонов.
Помимо главной оценки в DxOMark также предусмотрены отдельные оценки за качество фото, видео и возможности приближения картинки (зум). Для каждого из смартфонов в десятке мы указали эти оценки в скобках. Выставляют авторы рейтинга их исходя из следующих пунктов:
Детализация итоговой оценки Mi 11 Ultra по отдельным тестам DxOMark
К каждой оценке DxOMark прикреплён массивный пояснительный материал, содержащий большое количество примеров фото, различной сопутствующей информации и сравнений с конкурентами.
Как видите, на первый взгляд, всё довольно серьёзно, профессионально и обстоятельно. В итоге рейтинг кажется заслуживающим если уж не полного доверия, то хотя бы частичного. Однако у нас, да и не только, в этом есть сомнения.
Что не так с рейтингом камер DxOMark?
Взглянув на рейтинг сразу же можно приметить одну деталь: DxOMark очень любит китайские смартфоны (причём не все) и крайне прохладно относится к иным брендам. Например:
Смартфоны Sony в DxOMark стабильно попадают в немилость
Впечатляет, согласитесь? Неужели все названные девайсы настолько плохи по части камер?
Ещё заметим, что рейтинг может внезапно меняться. Авторы объясняют это пересмотром правил тестирования, причём такой пересмотр происходил уже несколько раз. На наш взгляд, изменения вносятся авторами тогда, когда рейтинг начинает выглядеть уж слишком подозрительно. Настолько, что даже у неопытного пользователя возникает тень сомнения в результатах.
К примеру, осенью 2020 лучший из iPhone – модель 11 Pro Max занимала в рейтинге только 16-е место (!), пропуская вперёд себя множество китайских устройств. DxOMark обновили тест и модель тогда внезапно с 16-го перелетела на 6-е место. Иными словами, рейтинг сделали чуть более правдоподобным.
Также интересно дела обстоят со временем выпуска обзоров. Для одних девайсов, как правило, китайских, обзор может выйти даже до поступления гаджета в продажу (официальное объяснение: производители присылают гаджеты в тестовую лабораторию заранее). В таких случаях устройство обычно получает очень высокую оценку от специалистов.
Одна из проблем DxOMark – полное отсутствие столь же раскрученных в медиа конкурентов, которые могли бы поставить под сомнения их выводы
А вот в иных ситуациях, с перечисленными выше смартфонами Apple/Samsung/Sony/Asus/Google и другими, в DxOMark будто совсем не торопятся. Обзор новинок от этих компаний запросто может выйти даже через месяцы после того как сам девайс поступил в продажу. Причём это касается даже ключевых флагманов, обзоров которых пользователи обычно ждут как можно быстрее.
И что любопытно, протестированные с запозданием устройства никогда не берут призовых мест, будто они для них и не предназначались. В итоге весь «пьедестал» DxOMark занимают гаджеты 2-3 китайских компаний. Впрочем, возможно, это всё лишь череда совпадений. Но перейдём к более конкретному примеру.
DxOMark 2021: ситуация с Mi 11 Ultra и Galaxy S21 Ultra
Пожалуй, самый яркий пример спорности оценок DxOMark случился именно в этом году, с выходом двух чрезвычайно мощных флагманов – Galaxy S21 Ultra от Samsung и Mi 11 Ultra от Xiaomi.
Странности можно отследить уже по датам появления обзоров. Mi 11 Ultra поступил в продажу 2 апреля и в этот же самый день получил обзор на DxOMark. Обзор Galaxy S21 Ultra подоспел только спустя более месяца после выхода гаджета.
Тыльная сторона Mi 11 Ultra выглядит весьма массивной во многом благодаря вспомогательному экрану. Сама Xiaomi призналась, что он достался смартфону от браслета Mi Band 5
Mi 11 Ultra поставили на первое место в рейтинге с уверенным отрывом от конкурентов, тем самым показывая, что это самый совершенный, бескомпромиссный камерофон на сегодняшний день.
Судьба Galaxy S21 Ultra была полностью противоположна: девайс оценили существенно хуже даже S20 Ultra. Если флагман Samsung 2020 занимает сейчас в рейтинге 12-е место, то S21 Ultra поставили на 21-е. То есть, по версии DxOMark, новинка существенно хуже смартфона годичной давности.
Основная камера актуального Galaxy S21 Ultra
Это весьма удивительно, ведь в S21 Ultra Samsung поработала буквально над каждой из основных камер:
Однако из заключения DxOMark выходит, что снимать фото и видео S21 Ultra стал только хуже. Как это возможно? Неужели Samsung нас настолько обманывает и все усовершенствования ничего не значат? Рискнём предположить, что обманывает не Samsung.
В 2020 Mi 10 Pro также обошёл S20 Ultra в рейтинге. И это при том, что себе Samsung тогда забрала более технологичный сенсор 108 Мп (HM1), а для Xiaomi поставляла старый ISOCELL HMX без продвинутого биннинга и прочих технологий. Однако DxOMark все равно отдали победу китайцам
Одним из первых о своём возмущении такими оценками высказался известный сетевой инсайдер Ice Universe, на счету которого около сотни верных предсказаний по мобильной тематике. Сильное отставание оценок S21 Ultra от S20 Ultra в тестах DxOMark он назвал крупнейшим абсурдом из всего, что он только видел.
Всё тот же Ice Universe позже опубликовал одно из первых в сети сравнений камер Mi 11 Ultra и S21 Ultra, а также некоторых других смартфонов. Причём сделал он это ещё до того, как на DxOMark вышел обзор, назвавший гаджет Xiaomi вершиной рейтинга мобильных камер.
Уже тогда на фото, сделанных инсайдером, было заметно, что несмотря на более крупный сенсор основной камеры, Mi 11 Ultra отстаёт от S21 Ultra (судя по всему, причина в софте и алгоритмах). Ещё сильнее это отставание проявляется на снимках, где использовалось оптическое приближение:
Сравнение возможностей зума Mi 11 Ultra и S21 Ultra YouTube-блогером Danny Winget. При этом DxOMark ставит оценку за зум для Xiaomi – 100, а для Samsung – 76
Результат на картине выше не удивителен, ведь в S21 Ultra оптическое увеличение по-честному десятикратное, а Mi 11 Ultra использует пятикратный зум и дополняет его цифровым растягиванием. На большее увеличение гаджет Xiaomi, исходя из характеристик его телефото объектива, попросту не способен. См. также наш рейтинг смартфонов по оптическому зуму.
К концу весны Mi 11 Ultra попал в руки уже ко многим блогерам и выводы оказались схожими. Да, Mi 11 Ultra – неплохой камерофон, но во многих сценариях он отстаёт от флагмана Samsung по качеству съёмки. Mi 11 Ultra часто путает цвета, давая нереалистичную картинку, порой засвечивает целые участки фото и так далее. Вот наглядное большое видеосравнение от известного западного блогера SuperSaf:
По сути, весь обзор SuperSaf ставит под сомнение выводы DxOMark
К схожим выводам пришли и отечественные обзорщики. Взгляните, к примеру, вот на это весьма подробное видео от канала «Честный блог».
Однако рейтинг DxOMark в цифрах даёт прямо обратные результаты. Из него выходит, что два гаджета вообще не сравнимы: Mi 11 Ultra – безоговорочный лидер, занимающий первое место с отрывом, а S21 Ultra даже не в двадцатке (!) лучших. В реальности, как видите, всё совершенно не так однозначно.
Верить ли рейтингу DxOMark?
Глядя на рейтинг DxOMark, некоторые пользователи могут подумать, что даже если он не идеален и не очень точен, то все равно позволяет оценить качество съёмки различными смартфонами хотя бы примерно. И вот эта мысль, вероятно, – большая ошибка.
Как нам кажется, DxOMark не показывает даже приблизительный расклад по камерам смартфонов. Этот рейтинг, напротив, запутывает пользователей. Флагманы Samsung, Sony, Asus и Google, которые в реальности вполне могут конкурировать с китайскими оппонентами по качеству съёмки, рейтингом всегда ставятся ниже их, на крайне низкие позиции, часто за пределами топ 20.
По версии DxOMark, S21 и S21+ снимают хуже позапрошлогоднего Galaxy Note 10+ и китайского TCL 20 Pro, который даже не метит во флагманы. Его сенсор 48 Мп по размерам меньше, чем в S21 матрица 12 Мп, а вспомогательные камеры представлены двумя заглушками по 2 Мп
Ни о какой хотя бы частичной правде речи здесь не идёт. На наш взгляд, авторы рейтинга искусно манипулируют мнением пользователей, грамотно создавая иллюзию объективного, комплексного теста камер.
Помогает им в этом, среди прочего, созданная ими же система формирования итоговой оценки. В ней есть категории, внутри которых находятся подкатегории, оцениваемые десятками и сотнями баллов. Такой большой разброс цифр оставляет создателям внушительный простор для субъективного начисления этих самых баллов и позволяет ими гибко маневрировать от случая к случаю.
Система помогает победить «правильным» смартфонам, подтягивая оценку до необходимого победоносного значения. Параллельно авторы топят в критике позиции смартфонов тех компаний, которые с DxOMark не сотрудничают.
Камера флагманов Mate 40 Pro действительно впечатляла, предлагая основной модуль с пикселями RYYB, огромный сверхширокоугольный сенсор, оптику Leica и прочие особенности
Во времена, когда лидерами DxOMark становились флагманы Huawei, это, возможно, было не так заметно. Потому что «подтягивать» Huawei до лидерских позиций нужно было лишь немного. Камеры в её флагманских смартфонах и без подсуживания часто могли выдавать весьма сильные результаты, а в некоторых аспектах и вовсе не имели аналогов.
В 2021 году, когда Huawei уходит в тень из-за санкций, DxOMark начал переориентироваться на более тесное сотрудничество с другими китайскими компаниями. И теперь именно из них будет делать образ абсолютных лидеров, уверенно обходящих топовые iPhone и Galaxy. Словно хорошего спортсмена кто-то пытается поднять ещё выше и выдать за настоящего олимпийского чемпиона.
Впрочем, как уже показывает пример Mi 11 Ultra, для DxOMark ситуация становится немного опасной. Ведь в правдоподобности таких рейтингов могут засомневаться даже те, кто вполне верил в них раньше.
——————————————
P. S. Что касается Xiaomi, то компания уверенно растёт, развивается и, судя по всему, в ближайшие годы своими флагманами по-настоящему сможет биться за звание лучших камерофонов на рынке. Однако конкретно сейчас, по нашему мнению, DxOMark лишь выдаёт желаемое за действительное.
