Вы знаете сайт DxOmark. Он набрал невиданные обороты и теперь получить от них оценку и озвучить её прямо на презентации (особенно если она высшая) — приём, которым пользуются многие компании. Давайте вспомним HTC, Nexus и даже Pixel (тот, который был сделан силами HTC), OPPO, Huawei и Honor, Samsung, Asus , Xiaomi — большинство этих брендов получали и озвучивали оценку на своих презентациях. Сразу появляется инфоповод, ведь многие считают, что оценка DxOmark чего-то стоит. Но то какие оценки они раздают смартфонам и какие считают лучшими, вызывает всё больше вопросов.
На презентации Honor 20 мы лично задали вопрос сотрудникам DxOmark — откуда бабло! Ответ был прост — всё дело в коммерческих отношениях между DxO Labs и брендами. И мы решили разобраться в вопросе! Для начала давайте вспомним, что такое DxOmark. Я бы сказал, что это агентство полного цикла.
- Бенчмарк и консультирование брендов. По сути, DxOmark анализируют новые устройства, давая советы по допиливанию их продуктов.
- Под брендом DxOmark выходила цифровая камера DxO One и даже собственный софт, а также плагины для Photoshop.
- У компании есть своя академия с собственными, не побоюсь этого слова, воркшопами и большими семинарами с экспертами.
- Вишенка на торте — сайт DxOmark, который можно воспринимать как полноценное медиа. Здесь есть фототесты оптики и камер, рейтинги, обзоры и с недавних пор видеообзоры смартфонов.
Сама компания DxO Labs существует с 2008 года, а их штаб-квартира находится в Париже. И что уж говорить — кредит доверия у них высок! То что касается фототехники и оптики, но вот если говорить о смартфонах… Возникает множество вопросов. И сейчас я расскажу о главных из них. Поверьте, тут все не так просто.
С самого открытия тестов смартфонов (в 2012 году) к DxOmark возникал ряд вопросов. И сейчас мы расскажем вам о ряде достаточно странных фактов, из-за которых верить этой конторе конечно же не очень хочется, а тем более доверять их рейтингу.
И сразу к интересному — на данный момент Первый тест смартфона на сайте датируется лишь 2017 годом и это Google Nexus 6P. Но обзоры появлялись ещё в 2012 году. Довольно странно, что этих тестов сейчас нет на сайте — не так ли?
1. Ограниченное число брендов тестируется DxOmark, включая непонятные и неизвестные!
Sony Xperia XZ3 прошёл тест через 9 месяцев (за месяц до презентации Xperia 1), недавно вышел тест Sony Xperia 1, то есть спустя полгода и всего за несколько ДНЕЙ до анонса Sony Xperia 5. Ну и например на сайте нет вообще никаких тестов OPPO, ZTE и других. У того же Xiaomi кроме флагманов — ничего не тестят. Зато есть вот такие устройства…
Кстати, ещё одна забавная деталь: Xiaomi в своих пресс-релизах использует не общую оценку, которая суммируется из рейтинга фото и видео, а оценку только за фото! И делает вид, что это круто!
2. Например, оценка Samsung Galaxy S10 появилась сразу, а тест нет.
На сайте висело пояснение, что они не успели подготовить материал, но оценка уже есть. Наброс сомнительный — но факт есть факт!
3. В 2017 году протокол тестирования полностью изменился и оценки старых смартфонов упали
DXOmark тестирует смартфоны с 2012 года. Их первенцами были iPhone 4, Samsung Galaxy S3, Nokia 808 PureView. Оценка до появления нового протокола тестирования начала заходить за 100 баллов. Но в 2017 году чуваки решили, что методика тестирования им не нравится.
Что было странным? Представив новый протокол — DxOmark протестировал по новой системе лишь несколько устройств и в основном, да что уж там — все оценки уронили ниже 100. Но почти сразу вышел Huawei P20 Pro, получивший 109 баллов.
Кстати, пока мы готовили это видео DxOmark решил снова обновить рейтинг и добавили в него оценку за работу сверхширокоугольной камеры и ночной кадр. Причем в последнем случае имеется вовсе не режим «Ночь», а просто то как камера снимает в темноте. Почему это не учитывалось раньше — решительно непонятно. И какой режим будет браться для оценки — автоматика или съёмка с мультиэкспозицией? Снова загадка!
4. Непрозрачность оценок
Каждая оценка состоит из большого количества пунктов. Но есть одно “но” при оценке в 118 баллов у нынешнего лидера рейтинга Samsung Galaxy Note 10+ 5G за фото ни в одном из пунктов нет балла выше 100.
Непонятно, как формируется оценка и каким образом заходит за 100 баллов (если каждый отдельный подпункт теста ниже 100 баллов). Вероятнее всего есть какие-то коэффициенты и прочее, но в этом невозможно разобраться!
Hа презентации HONOR 20 мы спросили специалистов DxOmark о методологии и выставлении рейтинга. И услышали ответ, что методика тестирования не является секретом, её можно найти на сайте! Но то, как формируется оценка и ПО КАКОЙ ФОРМУЛЕ — является тайной!
5. Samsung Galaxy S10 5G получил меньше баллов за селфи камеру, чем Galaxy Note 10+ 5G с одной фронталкой! ШТААААА?
В S10 5G — две фронталки, да и основной модуль одинаковый. Разница есть — она в диафрагме объектива F1.9 у S10, против F2.2 у Note. То есть на бумаге — S10 5G, да и S10, у которого, кстати на балл меньше чем у 5G-версии, получает на балл меньше! Вопросы? У меня лично ЕСТЬ!
То есть камерам одного и того же производителя, которая выше по характеристикам: там два объектива и больше диафрагма — поставили ниже балл.
Также недавно, на сайте появилось разделение обзоров на основную и фронтальную камеру! Но есть один нюанс. У ASUS Zenfone 6 роль основной и фронтальной камеры играет одна и та же Flip Camera, которая по качеству скорее ближе к основной! И устройство получило тест только селфи-камеры, хотя основная тут та же самая! Более того до выхода Samsung Galaxy Note 10+ 5G ASUS ZenFone 6 был топчиком селфи-теста. А теста “как бы основной камеры”, которая такая же — так и нет!
6. Долгое время на DxOmark не выходило никаких тестов кроме смартфонов
Это представители откомментировали тем, что “рук не хватает”, всего не успеть. С тех пор вышло несколько тестов сенсоров Nikon Z-серии и новой Sony A7RM4. А мы думаем, что нужно отрабатывать контракты смартфонных вендоров! Поскольку там больше денег! Ну конечно, все руки заняты пересчетом бабла от вендоров.
7. И, пожалуй, главная претензия — оценка появляется в момент презентации
Не раз и не два прямо на презентации мы видели слайд с оценкой DxOmark. Это было в случае с несколькими HTC, а затем и с Google Pixel (как ни странно, производства HTC), далее в момент анонса мы видели оценки у HUAWEI и HONOR, грешат этим и Xiaomi. И тут как бы смущает пара моментов: может ли оценка сырого некоммерческого сэмпла быть правдивой? Не секрет, что мы много раз получаем возможность потрогать устройства до анонса, но очень часто нас просят не оценивать камеру из-за нефинальной прошивки и так далее. И второй вопрос — почему не все бренды получают оценку в момент презентации?
Частично ответ на второй вопрос мы получили на презентации Honor 20. Мы лично задали вопрос сотрудникам DxOmark — откуда бабло! Ответ был прост — всё дело в коммерческих отношениях между DxO Labs и брендами. Нет, они не платят за обзоры, они получают аналитику и возможность пройти тестирование, получив рекомендации специалистов.
А формула сложения результатов теста как мы уже знаем скрыта. Получается, что DxOmark проводят тест, дают рекомендации по допиливанию камеры, а потом в рамках сотрудничества выдают оценку продукту, который они сами же и помогли допилилить! БИНГО!
Подведём итог, лично я и мои коллеги, друзья не сильно верят оценке DxOmark и мы постарались объяснить вам — почему! При этом нельзя не согласиться, что у оценки лаборатории есть безусловный медиаэффект и даже вирусность! Возникает ощущение, что лучший рейтинг тупо получает тот, кто последним занес.
Презентация Samsung? Не вопрос — дадим им побольше. Новый HUAWEI? Ну да, пожалуй теперь они всех обогнали.
Люди любят циферки, которыми можно мериться. Так вот, уж более объективным показателем качества камеры является треклятое количество мегапикселей, чем тугой рейтинг DXOMARK. Конечно, трудно не поверить лаборатории, которая протестировала столько устройств. Да и кликбейтный заголовок про то, что HUAWEI представил смартфон с лучшей камерой в мире (по мнению DxOmark) — не посмотреть невозможно!
Материал подготовили Митя Иванов и Борис Веденский!
