3 главных Data-профессии: обзор компетенций и зарплат
Data Science выходит в массы. Настолько, что пора напомнить основы, почти что на пальцах. Скоро вполне может появиться множество вакансий c Data Science в заголовке, явно заниженной зарплатой и требованиями к начинающему аналитику, поэтому давайте внесём ясность.
Если вы слышите о Data Science из каждого мегафона и утюга — и окончательно запутались, гуглите «Data Science в Excel», или всё понимаете и хотите объяснить науку о данных кому-то простыми словами, эта статья тоже для вас. А для продвинутых и знающих людей у нас есть другие материалы о практической стороне вопроса.
Данные в отдельно взятой компании
Знакомьтесь, стартап English 123:
Бизнес стартапа — личные и групповые уроки английского, разговорные клубы. Все данные клиентов хранятся в CRM. Но «аналитика» сводится к просмотру статистики покупок. Решения принимаются интуитивно. Директор считает, что знает свою аудиторию, но рекламные кампании иногда проваливаются с треском.
Однажды провалилась реклама, которая поначалу нравилась всему руководству. В неё вложили ощутимый бюджет, и руководитель схватился за голову: куча денег ушла в никуда. Почему — непонятно. Чтобы разобраться в этом, компания нашла аналитика.
Главная задача аналитика данных — превратить цифры и графики в понятные выводы, чтобы руководитель мог принимать решения. Также он строит предположения и проверяет гипотезы на реальных данных. А ещё аналитик много общается — не меньше, чем работает за компьютером.
Вот что аналитик сделал для школы:
Классифицировал данные из CRM, Яндекс.Метрики, Google Analytics и других информационных систем.
Визуализировал данные и подал их ясным языком, составив портрет целевой аудитории.
Проанализировал результаты событий, интеграций, рекламных кампаний и другой деятельности стартапа.
Опираясь на статистику, рассказал руководству, какие решения были ошибочными.
Предложил, как уменьшить отказы от заказов в сети.
Участвовал в редизайне сайта и калибровке рекламных кампаний по всем каналам. Запускал A/B-тесты, которые показывали реакцию пользователей на какое-то изменение.
Выяснилось, что серия последних интуитивных решений приводила к бесполезным результатам, а школа выживала на рынке благодаря почти случайным удачам. Аналитик прокачал стартап по всем фронтам. Давайте посмотрим, что нужно уметь, чтобы стать аналитиком.
Нужно в совершенстве владеть законами логики и мыслить критически. А ещё уметь и любить общаться с самыми разными людьми. Аналитик — посредник между таблицами цифр и руководителем. Главное в его работе — грамотно показать данные и представить выводы так, чтобы их поняли правильно и однозначно.
Специальность аналитика мы рекомендуем перфекционистам и экстравертам, которые умеют и любят презентовать свою работу другим людям. Она идеально подходит тем, кто стремится всё делать аккуратно и красиво.
Руководитель отдела аналитики в SkillFactory Артём Боровой рассказывает, что аналитика — творческая работа: трудно выделить единый подход к задачам. Каждая требует нового порядка действий, а значит, новых поисков решений.
Если вы решились стать аналитиком, нужно освоить следующие хард-скиллы:
Статистику, матанализ, теорию вероятностей.
Инструменты визуализации: Tableau, Power BI и другие.
Что вы получите за эту работу?
Зарплата
Мы проанализировали больше 100 вакансий на hh.ru — и вот что увидели:
Junior зарабатывает 60 000–70 000 рублей.
Middle — от 70 000 до 140 000 рублей. Здесь аналитики уже делятся на продуктовых, маркетинговых и бизнес-аналитиков, оплата труда зависит от сложности задач.
Senior и Teamlead в Москве: 140 000–190 000. Чуть меньше сумма в регионах — до 160 000.
При этом аналитик с хорошим бэкграундом часто уходит в Data Engineer и Data Science — там платят намного больше, поэтому чистых Senior Analyst мало.
Стать Data Analyst за 10 месяцев вы сможете на наших курсах. А здесь можно прочитать, как финансист Виктор Коваценко стал Data Scientist и уехал в Германию
Расширение и Data Engineer
Тем временем метрики English 123 опровергли устоявшийся портрет клиента, а недочёты работы в сети компания устранила A/B-тестами. Продажи выросли — расширилась и команда аналитиков.
Спустя 2 года анализ данных стал отнимать в несколько раз больше сил и времени, чем в начале работы команды аналитиков. Почему? Причины простые. Записи CRM дублировались, не было единой системы хранения и обработки данных. Узнав о проблемах, компания нашла человека, который доводит сырые данные до ума, — Data Engineer.
Инженер данных налаживает инфраструктуру и каналы данных от их получения до хранения, организует конвеер данных. Вот что Data Engineer сделал для стартапа:
Очистил данные от повторов, пробелов и прочих ошибок; удобно разделил информацию в таблицах по её смыслу.
Привёл существующие базы к единому виду.
Продумал и реализовал систему автоматического мониторинга и получения данных, а ещё системы их обработки и хранения.
Data Engineer освободил руки аналитиков — и они ускорили развитие компании. Информации стало ещё больше, но благодаря налаженной инфраструктуре аналитические модели работали эффективно.
Чтобы делать свою работу хорошо, Data Engineer должен обладать большим терпением. Работать нужно с цифрами, алгоритмами и кодом в полном беспорядке. Что вчера было чёткой системой, сегодня окажется хаосом — в крупных компаниях так случается часто. Хватает и рутинной работы вроде SQL-запросов.
Нужно видеть всю картину: представлять, как превратить массив данных в удобную и эффективную систему, как с данными будут работать аналитики. Необходимо понимать информационные процессы, то есть проштудировать все нюансы бизнеса.
Инженер данных гораздо ближе к разработчику, чем к аналитику. В небольших компаниях ему необязательно общаться с кем-то, кроме аналитиков. Профессия отлично подойдёт педанту с системным мышлением. Проверьте себя — если в вашем шкафу все вещи разложены по типу и цвету, то лучшей специальности вам просто не найти. Приглашаем вас на курс по Data Engineering.
В работе инженеру данных нужны:
Математика. На уровне выпускника технического вуза нужно знать матанализ, теорию вероятностей и статистику.
Python или R, SQL. Большой плюс — языки Java или Scala.
Hadoop, Kafka, Spark — инструменты работы с по-настоящему большими данными.
MS Azure, Amazon Web Services.
Зарплата Data Engineer
По данным hh.ru, инженер данных неплохо зарабатывает даже в рамках IT-сферы.
Junior может рассчитывать на 70 000–80 000 рублей; в Москве довольно много вакансий с минимальной зарплатой в 100 000.
Middle в среднем зарабатывает от 100 000 до 180 000 рублей. Есть ставки выше, но на таких вакансиях обычно нужны специфические знания или опыт использования не слишком популярных технологий.
Senior московская компания Playkot предлагает до 370 000 рублей. Хорошие инженеры данных очень ценятся, бизнес ими дорожит.
Стать Data Engineer вам поможет наш курс, который займёт 10 недель.
Продолжим историю
Усилиями команды компания выросла в несколько раз, появилось много продуктов: приложение для изучения лексики и отдельные программы подготовки к международным экзаменам. Бизнес вошёл в десятку крупнейших в стране.
Штат аналитиков уже не справлялся. Последней каплей стал провал социальной сети для изучения английского языка, в которую вложили полмиллиона долларов. Традиционный анализ показывал, что проект будет успешным, его оттачивали разными тестами. Но он не взлетел. В чём причина?
Массив данных English 123 превратился в Big Data, а бизнес как будто начинался снова: многое зависело от стечения обстоятельств. Необходим был человек, который поймёт, что творится, и расскажет, что делать. Так в компанию пригласили Data Scientist.
Опираясь на проверенные и новейшие исследования в ИИ, Data Scientist строит нейросети и модели ML. Вначале они могут быть непонятны, но модели работают, решают реальные проблемы. Главное в работе DS — все свои идеи он должен объяснить бизнесу и обосновать их пользу. Вот почему такой специалист стоит очень дорого.
Data Scientist — идеальная работа для новаторов. Работа в науке о данных — это постоянный поиск идей и нестандартных решений. Если вы искали профессию, где слиты воедино творчество и математика, то вы её нашли.
Благодаря Data Scientist высшие руководители отвечают только за долгосрочное планирование, а практические задачи предоставлены менеджерам и аналитикам.
SkillFactory — прежде всего школа Data Science, чтобы быть конкретными, кратко перечислим темы проектов наших студентов:
Система рекомендаций интернет-магазина; Instagram-бот коммерческого аккаунта для поиска, оценки и взаимодействия с лидерами мнений.
Автоматическое составление резюме текста; алгоритм оценки тона сообщений GPT-3 на заданную тему.
Извлечение промокодов из контента соцсетей; робот-предсказатель; прогнозирование задержек авиарейсов; анализ видео из беспилотных автомобилей.
Модель прогнозирования нетарифных барьеров в торговле молочной продукцией и расширение её ассортимента до 6 видов товаров животного и растительного происхождения.
Вот что нужно знать Data Scientist
Понимать математические выкладки — да, но этого мало. Нужно представлять себе, где они выстрелят. Владеть Machine Learning и Deep Learning: линейной и логистической регрессиями, деревьями решений, методами опорных векторов и т. д.
Python и его библиотеки: TensorFlow, Keras, PyTorch, LightGBM, NumPy, SciPy, Pandas, sklearn. Владение C или C++ будет большим преимуществом.
SQL работает большинство проектов. Базы NoSQL нужны реже.
Tableau, Power BI, другие инструменты визуализации Seaborn, Plotly или Matplotlib.
Один из самых важных моментов — что получит специалист за такой труд.
Зарплата Data Science
Посмотрим на последние данные hh.ru за последний месяц:
От 100 000 рублей до 140 000 в месяц может зарабатывать Junior. Но Junior в Data Science очень мало. Почему? Смотрите выше: в DS переходят спецы уже с бэкграундом в разработке или аналитике данных.
До 215 000 рублей — зарплата крепкого Middle.
Senior и Lead Data Scientist могут зарабатывать от 300 000 до 500 000. На вес золота.
Освоить профессию Data Science вы можете на наших курсах за 24 месяца. А вот полная картина востребованности последних лет, по данным Open Data Science:
Наука о данных растёт просто невообразимыми темпами. Количество вакансий по главным специальностям за год увеличилось в 2,2 раза. При этом, по словам Data Scientist в VK Михаила Воловича, требования к DS пока размыты. Но именно эта пластичность даёт разные точки роста разным людям.
Поэтому если вы хотели начать карьеру в IT или перейти в сферу данных из разработки и тестирования, то сделайте это прямо сейчас.
Также вы можете перейти на страницы из каталога, чтобы узнать, как мы готовим специалистов в других направлениях.
Другие профессии и курсы
Data Science и Machine Learning
Как стать Data Scientist в 2019 году
Data Scientist — это эксперт по аналитическим данным, который обладает техническими навыками для решения сложных задач, а также любопытством, которое помогает эти задачи ставить. Эти специалисты несут основную ответственность за преобразование данных в Результативные идеи с помощью самостоятельно созданных прогностических моделей и специального анализа в соответствии с требованиями компании.
Другими словами, быть Data Scientist — чрезвычайно важная работа в нынешнем веке данных. Настолько, что статья в Harvard Business Review даже назвала ее (и это побуждает стать одним из них!).«Самой сексуальной работой 21-го века»(и это побуждает стать одним из них!).
И также не повредит тому, что работа Data Scientist очень хорошо окупается при средней зарплате 1022 тыс. в год. Именно поэтому эта статья является полным руководством для того, чтобы стать Data Scientist в 2019 году. Это дорожная карта, которой вы можете следовать, если хотите узнать больше о Data Science.
Но все еще существует большая путаница между различиями в роли Data Analyst и Data Scientist, поэтому мы начнем с этой статьи и перейдем к другим темам, таким как требования к образованию и требования к навыкам, чтобы стать специалистом в этой области.
Разница между Data Analyst и Data Scientist
Очевидно, что и у Data Analyst, и у Data Scientist есть описание работы, связанное с данными. Но какие между ними есть различия? Это вопрос, который возникает у многих людей относительно различий между этими специальностями. Так что давайте проясним это сомнение здесь!
Data Analyst использует данные для решения различных проблем и получения полезных данных для компании. Это делается с помощью различных инструментов на четко определенных наборах данных, чтобы ответить на корпоративные вопросы, такие как «Почему маркетинговая кампания более эффективна в определенных регионах» или «Почему продажи продукта сократились в текущем квартале» и так далее. Для этого основными навыками, которыми обладает аналитик данных, являются Data Mining, R, SQL, статистический анализ, анализ данных и т. д. Фактически, многие Data Analysts получают дополнительные необходимые навыки и становятся Data Scientists.
С другой стороны, Data Scientist может разрабатывать новые процессы и алгоритмы для моделирования данных, создавать прогностические модели и выполнять пользовательский анализ данных в соответствии с требованиями компании. Таким образом, основное отличие заключается в том, что Data Scientist может использовать тяжелое кодирование для проектирования процессов моделирования данных, а не использовать уже существующие для получения ответов из данных, таких как Data Analyst. Для этого основными навыками, которыми обладает Data Scientist, являются Data Mining, R, SQL, Машинное обучение, Hadoop, Статистический анализ, Анализ данных, OOPS и т. д. Таким образом, причина, по которой ученым Data платят больше, чем аналитикам Data, заключается в их высокой уровни квалификации в сочетании с высоким спросом и низким предложением.
Требования к образованию, чтобы стать Data Scientist
Существует много путей достижения вашей цели, но имейте в виду, что большинство из этих путей проходят через колледж, поскольку четырехлетняя степень бакалавра является минимальным требованием.
Самый прямой путь заключается в том, что вы получаете степень бакалавра в области Data Science, поскольку она, несомненно, научит вас навыкам, необходимым для сбора, анализа и интерпретации больших объемов данных. Вы узнаете все о статистике, методах анализа, языках программирования и т. д.,, которые только помогут в вашей работе в качестве Data Scientist.
Другой обходной путь, который вы можете выбрать, — это получить любую техническую степень, которая поможет вам в роли Data Scientist. Некоторые из них — компьютерные науки, статистика, математика, экономика. После получения степени вы будете иметь навыки кодирования, обработки данных, количественного решения проблем. Которые можно применять в Data Science. Затем вы можете найти работу начального уровня или получить степень магистра и доктора наук для более специализированных знаний.
Требования к навыкам, чтобы стать Data Scientist
Для Data Scientist требуется несколько навыков, охватывающих различные области. Большинство из них упоминаются ниже:
1. Статистический анализ. Как специалист по обработке данных, ваша основная задача — собирать, анализировать и интерпретировать большие объемы данных и создавать полезные для компании идеи. Очевидно, что статистический анализ является большой частью описания работы.
Это означает, что вы должны быть знакомы хотя бы с основами статистического анализа, включая статистические тесты, распределения, линейную регрессию, теорию вероятностей, оценки максимального правдоподобия и т. д. И этого недостаточно! Немало важно иметь понятие о том, какие статистические методы являются подходящим подходом для данной проблемы данных, еще важнее понять, какие из них не являются. Кроме того, есть много аналитических инструментов, которые очень полезны в статистическом анализе для Data Scientist. Наиболее популярными из них являются SAS, Hadoop, Spark, Hive, Pig. Поэтому важно, чтобы вы хорошо их знали.
2. Навыки программирования. Навыки программирования являются необходимым инструментом в вашем арсенале. Это потому, что намного легче изучать и понимать данные, чтобы делать полезные выводы, если вы можете использовать определенные алгоритмы в соответствии со своими потребностями.
В общем, Python и R являются наиболее часто используемыми языками для этой цели. Python используется из-за его способности к статистическому анализу и его удобству к прочтению. Python также имеет различные пакеты для машинного обучения, визуализации данных, анализа данных и т. д. (Например, Scikit-learn), которые делают его подходящим для науки о данных. R также позволяет очень легко решить практически любую проблему в Data Science с помощью таких пакетов, как e1071, rpart и многих других.
3. Машинное обучение. Если вы каким-либо образом связаны с технологической отраслью, скорее всего, вы слышали о машинном обучении. Это в основном позволяет машинам изучать задачи из опыта, не программируя их специально. Это делается путем обучения машин с использованием различных моделей машинного обучения с использованием данных и различных алгоритмов.
Таким образом, вы должны быть знакомы с алгоритмами контролируемого и неконтролируемого обучения в машинном обучении, такими как Линейная регрессия, Логистическая регрессия, Кластеризация K-средних, Дерево решений, Ближайший сосед и прочее. К счастью, большинство алгоритмов машинного обучения могут быть реализованы с использованием R или Библиотеки Python (упомянутые выше), Поэтому вам не нужно быть экспертом по ним. В чем вы нуждаетесь, это в умении понять, какой алгоритм требуется, основываясь на типе данных, которые у вас есть, и на задаче, которую вы пытаетесь автоматизировать.
4. Управление данными и обработка данных. Данные играют большую роль в жизни Data Scientist. Таким образом, вы должны быть опытными в управлении данными, которое включает извлечение, преобразование и загрузку данных. Это означает, что вам нужно извлечь данные из различных источников, затем преобразовать их в необходимый формат для анализа и, наконец, загрузить их в хранилище данных. Для обработки этих данных существуют различные платформы, такие как Hadoop, Spark.
Теперь, когда вы завершили процесс управления данными, вы также должны быть знакомы с обработкой данных. Обработка данных — это в основном означает, что данные в хранилище должны быть очищены и унифицированы согласованным образом, прежде чем их можно будет проанализировать для получения каких-либо действенных данных.
5. Интуиция данных. Не стоит недооценивать силу интуиции данных. Фактически, это основной нетехнический навык, который отличает Data Scientist от Data Analyst. Интуиция данных в основном включает в себя поиск шаблонов в данных там, где их нет. Это почти то же самое, что найти иголку в стоге сена, которая является реальным потенциалом в огромной неисследованной куче данных.
Интуиция данных — это не тот навык, которому можно так просто научиться. Скорее это происходит из опыта и продолжающейся практики. А это, в свою очередь, делает вас гораздо более эффективным и ценным в своей роли Data Scientist.
6. Навыки общения.Вы должны хорошо владеть навыками общения, чтобы стать экспертом в области Data Scientist. Это потому, что, хоть вы и понимаете данные лучше, чем кто-либо другой, вам необходимо преобразовать полученные данные в количественную оценку, чтобы нетехническая команда смогла принять решение.
Это также может включать data storytelling! Таким образом, вы должны иметь возможность представлять свои данные в формате повествования с конкретными результатами и значениями, чтобы другие люди могли понять, что вы говорите. Это связано с тем, что в конечном итоге анализ данных становится менее важным, чем практические выводы, которые можно получить из данных, что, в свою очередь, приведет к росту бизнеса.
Data scientist: путь от junior до senior специалиста
Повсюду, в каждой сфере деятельности, нас окружает огромное количество данных. Их изучение позволяет строить модели, чтобы прогнозировать изменения, находить скрытые закономерности, применимые для разработки важных решений. Учитывая, что объем информации вокруг нас растет не по дням, а по часам, легко понять, насколько востребован в любой отрасли бизнеса специалист по данным — data scientist. Рассказываем, чем он занимается, какие инструменты использует, какими обладает знаниями и сколько зарабатывает. А в заключение ответим на главный вопрос: как стать data scientist.
Чем занимается data scientist?
Буквально data science означает «изучение данных». Специалист в этой области анализирует информацию, применяя научные методы, которые позволяют избежать случайных, неверных выводов. Если говорить в общем, то data scientist собирает данные, структурирует их, выявляет в них закономерности и на основании полученных результатов строит математические модели, используемые для решения конкретных практических бизнес-задач.
С результатами деятельности data scientist мы сталкиваемся везде и всюду. Прогнозы погоды, карты пробок на дорогах, работа служб такси, банков, страховых компаний, рекомендательные сервисы по подбору товаров и контента, чат-боты, спам-фильтры, прогнозирование в маркетинге — все это примеры применения моделей, созданных специалистами по анализу данных.
Что должен знать и уметь data scientist
Сферы деятельности в рамках профессии настолько разнообразны, что невозможно точно сформулировать список задач, решаемых data scientist: в телекоммуникациях это одно, в ритейле — другое, в медицине — третье. Однако можно перечислить ряд общих теоретических и практических знаний, которыми должен обладать любой специалист в этой отрасли IT.
Data science находится на стыке трех наук: математики, информатики и той прикладной сферы, где используются создаваемые модели. Сейчас нас интересуют первые две. Итак, специалист по анализу данных data scientist должен знать:
Помимо технических знаний и умений, навыки data scientist подразумевают широту и гибкость ума, способность логически мыслить, находить нестандартные решения сложных задач. Так что специалист по анализу данных — это не только ученый, но и в некотором роде творец. К счастью, формирование и развитие этих способностей — всего лишь вопрос обучения и практики.
Сколько зарабатывает data scientist
Data science, несомненно, принадлежит будущее, и уже сейчас профессия чрезвычайно востребована. Конечно, на самом старте не стоит ждать заоблачных зарплат: заработок специалиста напрямую зависит от его опыта, от того, какими навыками он владеет.
Как и в других сферах IT, карьера аналитика данных строится из нескольких ступеней. Junior data scientist — это новичок, который делает первые шаги в профессии. Обычно он работает под руководством наставника. Задачи на этом этапе карьеры стандартные, самостоятельных решений пока минимум: все еще впереди. Начальный уровень зарплаты data scientist — около 60000 рублей.
Следующая ступень карьеры — middle data scientist. Это основная категория игроков на рынке труда. Специалисты среднего уровня пользуются спросом среди работодателей и получают достойную оплату — порядка 150000 рублей.
Senior data scientist — профессионал высшего класса, умеющий находить нетривиальные пути решения сложнейших задач. Такой специалист зарабатывает в среднем от 200000 рублей.
Как быстро junior может дорасти до уровня senior? Это во многом зависит от личностных качеств специалиста — целеустремленности, упорства, трудолюбия, — благо возможности обучения сейчас практически безграничны. Тот, кто стремится двигаться вперед, вряд ли задержится на одной ступени дольше 2 лет. Таким образом, за 3-5 лет работы вполне реально стать высококлассным data scientist.
Где и как учиться на data scientist
Как же получить современную и высокооплачиваемую профессию аналитика данных? И можно ли стать data scientist с нуля?
Конечно, в идеале желательно иметь некий фундамент для старта: тем, кто знает высшую математику и владеет азами программирования, учиться будет легче. Например, для выпускников технических вузов курсы по изучению data science могут стать отличной возможностью быстро начать успешную карьеру. В аналитики данных часто переквалифицируются специалисты других направлений IT.
Но существуют учебные программы, которые подходят и для абсолютных новичков. Например, у Geek Brains есть курс обучения data science с нуля, рассчитанный на 1,5 года. В начале программы даются базовые знания: введение в высшую математику, основы языка Python, базы данных. Далее студенты уже осваивают алгоритмы машинного обучения, учатся работать с нейросетями, знакомятся с компьютерным зрением.
Онлайн-курсов в интернете большое количество, но как выбрать лучшие? Решая, где учиться на data scientist, ориентируйтесь на содержание программы. Чем она насыщеннее, тем больше полезных знаний вы получите. Важно, чтобы, кроме теории, в программе было много практики. В уже упомянутом курсе от Geek Brains в конце каждой четверти студенты работают над собственными проектами — таким образом, к завершению обучения у них уже есть готовое портфолио для трудоустройства.
Кстати, о трудоустройстве. Некоторые онлайн-школы гарантируют, что после обучения выпускники курсов получат работу — данное условие даже может быть прописано в договоре, как у Geek Brains. HR-специалисты помогают студентам составить привлекательное резюме, подбирают подходящие вакансии и дают индивидуальные советы по прохождению собеседования.
Data scientist — поистине профессия будущего: перед специалистами уровней middle и senior открываются широчайшие карьерные перспективы как в России, так и за рубежом. Аналитик данных может устроиться в крупную компанию или стартап, выбрать для себя фриланс или открыть собственный бизнес. Популярную профессию можно освоить дистанционно — многие программы онлайн-курсов по содержанию ничуть не уступают очному образованию.
