Бенчмарк что это такое
Что такое бенчмарки и для чего они инвестору?
Мой вопрос может показаться глупым, но все же спрошу. В статьях про инвестиции я очень часто встречаю упоминание бенчмарков. Как понимаю, речь идет об индексах. Но для чего они нужны инвестору, как их использовать в портфеле, где купить?
Бенчмарк — это эталон, с которым можно сравнивать поведение отдельных активов или портфеля в целом. При помощи бенчмарка инвестор может оценить, насколько хорош его портфель.
В роли бенчмарков чаще всего выступают биржевые индексы — наборы рыночных инструментов, объединенных по определенному признаку. Например, это может быть индекс акций крупнейших компаний США или индекс государственных облигаций Московской биржи.
Например, портфель акций российских компаний принес за год 12% в рублях. Вроде бы неплохой результат. Но если в то же время индекс Мосбиржи упал на 5%, то результат портфеля становится отличным. И наоборот, если за тот же год индекс Мосбиржи вырос на 25%, портфель с доходностью 12% уже не впечатляет.
Расскажу подробно, какие бывают бенчмарки и как они устроены.
Какими должны быть характеристики бенчмарка
Бенчмарк не выбирают произвольно — он должен обладать определенными характеристиками.
Конкретный. Бенчмарк должен быть понятным и четко определенным. Например, нельзя сравнить поведение облигационного портфеля с поведением облигаций вообще, потому что долговые бумаги бывают разными и сильно отличаются друг от друга. Однако можно сравнить результаты портфеля с результатами конкретного вида облигаций или какого-то облигационного фонда.
Доступный для вложений. В то, что считается бенчмарком, можно вложить деньги напрямую или согласно ему. Например, если речь об индексах, деньги обычно вкладывают через фонды ETF. Если вложиться нельзя, смысла сравнивать портфель с таким бенчмарком может не быть.
Измеримый. Результаты бенчмарка можно посчитать самостоятельно или найти готовые данные. Если данные о бенчмарке получить нельзя, он бесполезен.
Подходящий. Бенчмарк должен соответствовать портфелю. Например, инвестор собрал портфель акций российских компаний и хочет оценить, хороший ли он. Поведение такого портфеля разумно сравнивать с индексом Московской биржи, а не с индексом акций китайских компаний или американским технологическим индексом Nasdaq 100.
Конечно, при желании результат портфеля можно сравнить и с китайскими акциями, и с российскими облигациями, и с золотом. Но это не даст адекватного ответа на вопрос, правильно ли инвестор подобрал свои акции.
Заранее выбранный. Бенчмарк нужно выбрать до того, как оценивать результаты портфеля. Профессионалы определяют бенчмарк, когда только составляют портфель, и затем регулярно сравнивают показатели.
На роль бенчмарка чаще всего выбирают биржевые индексы, но бывают и другие. Например, эталоном может служить средний результат какого-то набора активно управляемых фондов. Частным инвесторам в качестве бенчмарка обычно подходят именно индексы.
Как победить выгорание
Индексы в роли бенчмарков
Индексы хорошо подходят на роль эталона, потому что соответствуют всем критериям бенчмарка: они конкретны и измеримы.
Индексов много, так что легко выбрать подходящий или комбинацию нескольких, чтобы сравнивать с портфелем. И хотя в сам индекс нельзя вложиться напрямую, можно инвестировать на основе индекса — собрать портфель вручную или вложить деньги в индексный фонд.
Из российских бенчмарков основной — индекс Мосбиржи, а также его долларовый аналог — РТС. В них на данный момент представлены акции 41 компании. На Московской бирже есть и другие индексы, например индекс голубых фишек или индекс компаний средней и малой капитализации. Есть и облигационные индексы, которые подходят как бенчмарк облигационных портфелей.
Каждый индекс может быть представлен в нескольких вариантах: помимо индексов, которые отражают ценовой рост активов, также существуют индексы полной доходности — брутто и нетто. Первый отслеживает доходность активов с учетом дивидендов или купонов, а второй — с учетом дивидендов или купонов и налоговой ставки.
Индексы полной доходности с учетом налогов обычно лучше подходят на роль бенчмарка, чем ценовые индексы и индексы без учета налогообложения.
Можно ли инвестировать в бенчмарк
Я не знаю, какие именно активы вам нужны. Это зависит от цели инвестиций, горизонта инвестирования, пожеланий по доходности и риску и т. д.
Если вы решили, что хотите инвестировать на основе какого-то биржевого индекса, то вам подойдут биржевые фонды — БПИФ и ETF. Большинство таких фондов повторяют состав индекса с минимальными отклонениями. Если купите долю в таком фонде, вы, по сути, будете инвестировать в бенчмарк этого фонда.
Управляющие фонда следят за изменениями в индексе и при необходимости ребалансируют состав своего фонда, чтобы соответствовать индексу. Чтобы поддерживать свою работу, фонды взимают комиссию, которая учитывается в цене фонда. Из-за комиссии результат фонда будет немного хуже результата бенчмарка.
Фонд — это упаковка для десятков и сотен бумаг. Иными словами, это диверсифицированный набор активов. Поэтому многие пассивные инвесторы предпочитают формировать портфель из нескольких ETF на нужные классы активов. Такие портфели еще называют ленивыми.
В то же время есть инвесторы с индексной стратегией инвестирования, которые предпочитают самостоятельно повторять индекс — покупать отдельные бумаги в соответствующих пропорциях. Это позволяет не использовать ETF и экономить на комиссии фонда. О том, как самостоятельно инвестировать в индексы, я писал в отдельной статье.
Как использовать бенчмарки, чтобы управлять портфелем
Чтобы сравнить свой портфель с выбранным бенчмарком, надо рассчитать интересующие вас параметры для портфеля и бенчмарка. Вот что это может быть:
Чтобы все это рассчитать, потребуется знать формулы. Кое-что мы уже разобрали в журнале. Например, про коэффициент бета я подробно писал в статье про современную теорию портфеля.
Также, чтобы изучить параметры портфеля, необходимо найти нужные данные. Для этого могут пригодиться данные в личном кабинете или приложении вашего брокера, но многое придется считать самостоятельно. Так, чтобы правильно определить доходность портфеля, надо учесть даты пополнений и вывода средств из него. Результат бенчмарка тоже следует рассчитать с учетом этих денежных потоков.
Информацию о поведении индексов, которые могут быть бенчмарком вашего портфеля, можно найти на сайтах бирж. Также пригодятся сервисы с возможностью бэктеста портфелей, например Portfolio Visualizer, Capital Gain, Rusetfs. Какие-то расчеты, возможно, опять же придется делать самостоятельно.
При этом важно, какие выводы вы сделаете из сравнения. Например, то, что ваш портфель обгоняет бенчмарк два года подряд, не обязательно означает, что ваша стратегия позволяет стабильно обыгрывать рынок. Возможно, дело в удаче или более высоком риске портфеля. А отставание от бенчмарка по доходности не всегда плохо: может быть, у вашего портфеля риск заметно ниже или в нем большая доля недооцененных бумаг с потенциалом роста в ближайшие годы.
Вообще, бенчмарки нужны в первую очередь профессионалам, например управляющим фондами, под чьим контролем находится чужой капитал. Обычному инвестору бенчмарки могут вообще не требоваться.
Например, инвестор копит на пенсию и для этого вкладывает деньги в фонд акций всего мира и фонд российских гособлигаций. Ему может быть неинтересно, как ведет себя портфель относительно каких-то индексов или сколько составила доходность портфеля с начала года. Все, что ему важно, — это чтобы просадки были не слишком сильными, а к нужной дате у него был капитал определенного размера.
Что в итоге
Бенчмарк — это эталон, на который ориентируются инвесторы. Поведение портфеля можно сравнить с поведением бенчмарка, чтобы лучше понимать, как ведет себя портфель.
Важно правильно выбрать бенчмарк. Он должен быть конкретным и понятным, измеримым, доступным для вложений и подходящим. Хорошая идея — выбрать бенчмарк еще на этапе формирования портфеля.
Чаще всего в качестве бенчмарка используют какой-то биржевой индекс — набор ценных бумаг, сформированный по какому-то принципу. Индексы могут отражать ценовой рост, а могут быть полной доходности — с учетом дивидендов и купонов, в том числе налогов с них.
Если портфель состоит из одного фонда, который качественно отслеживает какой-то индекс, результат портфеля будет равен результату индекса минус расходы фонда. По сути, это будет вложением в бенчмарк. У более сложных портфелей результат может сильно отличаться от бенчмарка, и может потребоваться более сложный бенчмарк, чем индекс акций или облигаций.
Сравнить портфель и бенчмарк можно по многим показателям: доходности с начала года, среднегодовой доходности за несколько лет, величине просадок, коэффициенту Шарпа и т. д. Почти наверняка хотя бы часть расчетов придется провести самостоятельно. При этом мало сравнить — важно еще сделать правильные выводы, чтобы понять, что делать дальше.
Что делать? Читатели спрашивают — эксперты Т—Ж отвечают
Что такое бенчмарк и зачем он нужен
Содержание
Содержание
Один из способов определить, какой продукт лучше — это выполнить его тестирование
и сравнить результаты с другими товарами. Когда речь заходит об электронике
и компьютерных комплектующих, то обязательно используются бенчмарки. Что это такое, какие существуют и в чем их польза — давайте разберемся.
Бенчмарк — что это и зачем нужен
Термин benchmark пришел из экономики и переводится как «эталон», «ориентир».
В информатике под бенчмаркингом понимают выполнение тестового задания вычислительной системой (изначально, компьютером) для определения ее производительности.
В нынешней трактовке бенчмарк — это специализированный софт, который позволит получить оценку производительности вашего смартфона или отдельных компьютерных комплектующих. В чем измеряется результат? Чаще всего в обычных баллах, которые после можно сравнивать
с аналогичными для других комплектующих и сделать вывод о разнице в производительности.
Часть бенчмарков позволяет узнать реальные показатели. Например, для SSD и HDD, а также ОЗУ можно замерить реальную скорость записи/чтения, сымитировав копирование файлов разных размеров. В этом случае результат конкретный — скорость в MB/s.
Зачем же необходимы все эти бенчмарки? Технические характеристики любой комплектующей относительно условные. Да, у вас есть рабочая тактовая частота, объем видео или кэш-памяти, число ядер и так далее. Однако из-за множества параметров достаточно трудно сказать, какая конкретно модель покажет себя лучше в тех или иных задачах.
Здесь и приходят на помощь бенчмарки. Они позволяют свести все характеристики к единому результату, пусть и в относительных баллах. Дополнительно, такие программы — это своеобразный стимул для разработчиков: зная результат конкурента в конкретном бенчмарке, можно разработать продукт, который будет производительнее.
Особенно полезны бенчмарки в сегменте мобильных процессоров. Заменить комплектующие как в ПК не получится, поэтому выбор нужно делать ответственно, особенно, если вы часто играете на смартфоне.
Что можно протестировать бенчмарками
Существует больше 50 бенчмарков практически для всех комплектующих компьютера, а также мобильной электроники. Для удобства мы разделим весь софт на несколько категорий по принадлежностям и рассмотрим самые популярные приложения.
Бенчмарки для процессора
Cinebench — один из самых популярных бенчмарков для оценки производительности процессора на ПК. Программа заставляет процессор «отрисовывать» конкретную 3D-сцену, нагружая все ядра (режим Multi Core) или только одно ядро (Single Core). Результат — количество набранных баллов, а в таблице в левой части можно сравнить производительность своего процессора с другими моделями. Ваш результат будет подсвечен оранжевым.
Софт будет полезен для дизайнеров, которые хотят мощный процессор для рендеринга.
В последней версии R23 реализована поддержка ARM-процессоров.
Главная проблема — результаты для одной версии программы не будут актуальны для другой. Например, баллы в Cinebench R20 не совпадают с баллами для Cinebench R23. Поэтому
и соотносить результаты разных процессоров можно только с тестами в одной версии.
AIDA64 — полезный софт для тех, кто хочет получить полную информацию о своей системе. Немногие знают, но в AIDA имеется ряд встроенных тестов для ОЗУ, процессора и FPU,
с помощью которых можно получить сравнительную оценку для своих комплектующих.
Если говорить о проверке процессора, то здесь можно выделить следующие тесты:
Параллельно в программе можно запустить стресс-тест, который оценит стабильность работы процессора.
Geekbench — софт позволяет протестировать как процессор, так и видеокарту. Программа нагружает процессор парой десятков повседневных задач, в числе которых сжатие текста
и изображений, работа с HTML5, SQlite, PDF, HDR, алгоритмами распознавания лица и речи, машинное обучение. В целом позволяет оценить общую производительность при обычном использовании ПК.
Как такового интерфейса у программы нет — результаты загружаются в онлайн-базу
и открываются через окно браузера. Опять же, числа актуальны только для конкретной
версии Geekbench.
Еще несколько полезных программ:
Бенчмарки для видеокарт
Если вам нужна видеокарта только для гейминга, то лучший бенчмарк — это сами игры,
в которых можно замерить FPS. Однако здесь многое зависит от установленного процессора, объема ОЗУ и скорости, типа накопителя и так далее. Но если FPS для вас не показатель, то можно прибегнуть к помощи нескольких бенчмарков.
3DMark проверяет производительность графического процессора, выполняя в реальном времени обработку сложного видео c использованием DirectX 11/12 вплоть до разрешения
в 4К. Софт также способен задействовать при тестировании видеокарты NVIDIA DLSS
и Raytracing.
Результат — показатель в баллах, который можно сравнить с видеокартами из общей базы. Дополнительно софт отображает график изменения во времени FPS, температуры
и загруженности видеокарты. 3DMark весит достаточно много, а большую часть тестов необходимо покупать отдельно. Взамен во время «прогона» вы сможете наслаждаться качественной анимацией.
Unigine Heaven Benchmark — еще один «тяжелый» бенчмарк для видеокарты. Ключевые преимущества — возможность выбрать API (DirectX, OpenGL), выставить качество графики, тесселяцию, разрешение и другие настройки. Базовая версия бесплатная.
В качестве результатов будет представлена таблица с рекордом видеокарты и средним FPS для заданных параметров теста.
Geekbench. О нем мы говорили ранее в разделе бенчмарков для процессоров. При запуске программы достаточно нажать на кнопку тестирования GPU. Реализована поддержка Vulkan, CUDA, Metal и OpenCL. Результат в баллах отображается через браузер.
Бенчмарки для накопителей
Купив новый жесткий диск или твердотельный накопитель, хочется узнать его реальные скорости чтения и записи.
CrystalDiskMark — самый популярный и практически незаменимый инструмент при тестировании различных накопителей. Программа выполняет последовательное и рандомное чтение/запись на диск. Пользователи могу вручную выставить размер блока, размер записываемого файла (от 16 МБ до 64ГБ), очередь и используемые потоки.
Результаты максимально наглядные — скорость записи и чтения для выбранных тестов.
PCMark 8 Storage benchmark — это комплексная программа для тестирования ключевых комплектующих компьютера. Тестовый пакет позволяет оценить общую производительность системы в повседневных задачах, показывая не только результат в баллах, но и задержки.
Отдельно имеется тест Storage, с помощью которого можно оценить работу HDD или SSD. Софт имитирует нагрузку от приложений пакета Microsoft Office, Adobe Photoshop, Adobe After Effects, а также нескольких игр, в числе которых Battlefield 3.
Бенчмарки для смартфонов
Как правило, мобильные бенчмарки тестируют процессор и встроенное графическое ядро.
Antutu benchmark — самый популярный бенчмарк, который последние несколько лет служит «мерилом» производительности смартфонов. Программа есть как для Android, так и для iOS. Antutu тестирует процессор, графическое ядро, оперативную память и работу с UX, суммируя все в один итоговый балл. После теста результаты вашего смартфона можно будет найти
в общем рейтинге.
Помимо этого, программа предлагает стресс-тест, проверку ЖК-экрана, мультитача, цветовой шкалы, батареи и замер скорости сети. В реальном времени отображается температура АКБ
и процессора.
Geekbench 5 — разработчики портировали свой тест и на мобильную платформу. Как и для десктопной версии здесь можно отдельно протестировать CPU и GPU, тест занимает от 2 до 10 минут. Среди задач — компрессия текста, тест навигации, работа с HTML, HDR, PDF, эффектами блюр, алгоритмами распознавания лица и так далее в режиме Single-Core и Multi-Core.
Результат — число в баллах. На отдельных вкладках можно сравнить с тестами от аналогичных моделей и других смартфонов.
3DMARK — популярен не только на ПК, но и на мобильной платформе. Аналогично десктопной версии в программе запускаются различные 3D сцены, которые нагружают CPU и GPU. Сцены нужно будет загрузить отдельно, а некоторые из них доступны только для Android 10 и новее.
После прохождения теста 3DMARK выдаст окончательный результат в баллах, а также подробную статистику по разделам.
На Android также можно запустить Androbench и ранее упомянутый PCMark.
Помните, что все бенчмарки условные, а сравнение разных комплектующих или смартфонов будет верным только в том случае, если использовалась одна версия бенчмарка и идентичные настройки. Но и это не дает гарантии объективного результата, поскольку на него может влиять операционная система и различные фоновые процессы.
Бенчмарки для смартфонов — что это и можно ли им доверять?
Содержание
Содержание
Без тестирования производительности уже долгие годы не обходится практически ни один обзор смартфонов, поэтому не удивительно, что бенчмарки, предназначенные для этой задачи, пользуются популярностью не только среди энтузиастов, но и среди самых обычных пользователей, которые могут даже не знать, на каком железе работает их мобильное устройство.
Результаты бенчмарков, как правило, просты и понятны — во многих случаях итоги представлены в виде общего количества баллов, по которым, как предполагается, и нужно делать выводы о производительности девайса. Но все ли так просто, и действительно ли бенчмарки всегда отражают реальную картину, позволяющую оценить мощность смартфона и его конкурентов? И есть ли хитрости, на которые могут пойти производители смартфонов? Давайте попробуем разобраться в этом.
Как появились бенчмарки?
Есть мнение, что на мобильных устройствах бенчмарки (англ. benchmark) появились по той причине, что смартфоны с момента появления первой модели пытаются копировать функционал ПК, а на компьютерах оценка производительности всегда была актуальна благодаря большому количеству доступного на рынке железа, возможности смены отдельных компонентов, а также разгону процессора и памяти. На смартфонах же и в 2020 году пока приходится ограничиваться разгоном некоторых процессоров, установкой кастомных прошивок и получением прав суперпользователя, да и то не на всех девайсах, а модульные аппараты пока не прижились.
Для большего понимания того, где появились первые мобильные бенчмарки, немного углубимся в историю. Первым смартфоном, который увидел свет еще в 1992 году и начал массово продаваться, принято считать IBM Simon — это даже несмотря на то, что в то время термина смартфон еще не существовало. Тем не менее, IBM Simon уже тогда обладал сенсорным дисплеем, софтом для работы с электронной почтой и несколькими предустановленными играми.
А вот первое упоминание термина Smartphone мир услышал на презентации аппарата Ericsson R380s, работающего на операционной системе Symbian 5.1.
Случилось это в 2000 году, тогда же, когда вышла ОС для коммуникаторов Windows Mobile. Именно появление Symbian и Windows Mobile со временем дало пользователям возможность легкой установки множества сторонних приложений, среди которых были и бенчмарки, которых за время существования операционных систем накопилось более десятка. Тем не менее, на их показатели не слишком ориентировались при выборе устройства, хотя тесты производительности и применялись некоторыми пользователями.
Отсутствие популярности бенчмарков как на Symbian, так и в меньшей степени на Windows Mobile, можно объяснить тем, что смартфоны и коммуникаторы во времена расцвета этих двух операционных систем были менее востребованными, чем сейчас, но также меньше было производителей, как и версий процессоров. После появления Android OS в 2008 году ситуация в корне изменилась — мобильный софт начал обретать невиданную ранее популярность, чему в значительной мере посодействовала также IOS и первый Iphone, появившийся годом ранее. Смартфоны стали удобнее, и с каждым годом их производительность заметно вырастала, поэтому не удивительно, что для оценки их мощности было создано множество тестов, часть из которых уже успела устареть и окончательно утратила свою актуальность. К примеру, вспомнит ли кто-нибудь о существовавших ранее тестах Quadrant или Epic Citadel? Едва ли, а когда-то на них ориентировалось большое количество обозревателей смартфонов.
Что тестируют бенчмарки?
Методика тестирования у всех бенчмарков отличается, поэтому ни в коем случае нельзя сравнивать показатели из разных приложений, как и не совсем правильным будет сравнить результаты, полученные на разных операционных системах (точнее, учитывая особенности рынка на 2020 год, на IOS и Android). Наиболее популярные параметры для тестирования указаны ниже:
Результаты могут быть отображены как в условных баллах (или, как иногда в шутку говорят, в попугаях), так и в мегафлопсах, гигафлопсах, мегабитах, мегабайтах, в количестве запросов в секунду (QPS), в кадрах в секунду (FPS) и в других единицах измерения.
Что не так с бенчмарками?
Периодически в сети появляются новости о том, что известные производители смартфонов накручивают рейтинги в бенчмарках, а иногда в мошенничестве обвиняют даже производителей процессоров. Главная претензия заключается в том, что в бенчмарках, учитывая непродолжительное время тестирования, смартфон начинает работать на пределе своих возможностей, тогда как при решении остальных задач фактическая производительность снижается.
Но действительно ли такую особенность можно считать обманом? Мнения у пользователей по этому поводу разделились, так как с одной стороны кажется, что смартфоны пытаются сделать более привлекательными в глазах покупателей, а с другой — не все видят в этом что-то плохое, да и вовсе не нужно, чтобы железо всегда работало в полную силу. Мало какие задачи требует этого, а еще в таком режиме смартфон не может работать долгое время — это неизбежно приведет к перегреву и повышенному расходу заряда.
Идем дальше. Смартфоны, выдающие примерно равный результат в бенчмарках, вовсе не обязательно будут одинаково работать при решении повседневных задач — для примера можно привести процессоры Unisoc SC9863 и Snapdragon 439. Первый в Antutu восьмой версии набирает более 100000 баллов, а второй — в среднем 90000. Но в играх, да и в других задачах, процессор от Qualcomm превосходит своего конкурента в разы, показывая заметно большее количество кадров в секунду и лучшие результаты во всех аспектах работы. Еще одна странность в том, что в седьмом Antutu чип Snapdragon 439 все-таки набирает на 5000 баллов больше, то есть, видимо, используются уже другие алгоритмы подсчета. Но в итоге следует вывод, что количество не всегда переходит в качество.
И здесь обнаруживается еще одна особенность бенчмарков — это частый выход новых версий приложений, в которых результаты производительности могут существенно отличаться от таковых в предыдущих версиях. Это создает некоторую путаницу, ведь для объективного сравнения смартфонов нужно, чтобы тесты запускались в одинаковых версиях.
С бенчмарками, тестирующими время работы устройства, тоже все не так однозначно. Казалось бы, можно просто на всех смартфонах выставить 50 или 100 % яркости, и таким образом сравнивать показатели. Но особенность в том, что максимальный уровень яркости у всех девайсов разный. При тестировании дисплея могут обнаружиться другие особенности вроде уменьшения или увеличения яркости в зависимости от отображаемой информации или от яркости внешнего освещения. Поэтому без специального оборудования, которое бы измеряло яркость и позволило бы выставить на всех смартфонах одинаковый уровень подсветки, тесты не будут являться объективными.
Также странным выглядит и удаление из магазина Google Play, пожалуй, самого популярного бенчмарка Antutu, разработчики которого не раз обвинялись в нарушении политики конфиденциальности и в мошенничестве. Но это скорее единичный случай, который еще ни о чем не говорит.
Так стоит ли доверять бенчмаркам?
Хорошие результаты в бенчмарках еще не гарантируют, что смартфон будет радовать вас своей работой, но в большинстве случаев подобный софт поможет понять, насколько мощным может быть смартфон, и при отсутствии других данных это будет полезной информацией. Но достаточно ли этого? Если нужен просто мощный аппарат, то да, особенно если он выдает в Antutu несколько сотен тысяч баллов.
Несмотря на различные скандалы, связанные с бенчмарками, с этим софтом не все так однозначно — некоторые тесты помогают выяснить, склонен ли смартфон к троттлингу (значительному снижению производительности при нагрузках), а также они отображают скорость памяти, температуру аккумулятора и прочие полезные данные, поэтому ставить крест на всех бенчмарках не стоит. Часть из них наверняка будет востребована еще очень долгое время.