Специалисты Data Science собирают и исследуют информацию с помощью различных инструментов анализа, превращая разрозненные массивы данных в сжатые представления практически важных знаний. Стать хорошим специалистом непросто: необходимо обладать глубокими знаниями алгоритмов машинного обучения и других методов работы с данными, знать язык программирования (обычно Python или R ), владеть ETL -навыками.
На развитие рынка данных оказывает влияние стремительный рост их объема, постепенное осознание организациями важности Data Science, спрос на анализ Big Data, потребность бизнеса в интерпретируемых аналитических методах. По данным International Data Corporation, к 2022 году мировая выручка от продажи решений для обработки больших объемов данных и бизнес-аналитики достигнет 260 млрд долларов, а среднегодовые темпы роста составят 11.9%. К 2025 году большинство операций, которые сейчас выполняются в Data Science вручную, станут автоматизированными. К 2030 году Data Science уже не будет заниматься поиском и очисткой данных. Эту задачу возьмут на себя программные роботы.
Активнее всего Data Science развивается в Северной Америке и Азиатско-Тихоокеанском регионе . Государственным регулирующим органам приходится реагировать на развитие технологий. Всё сложнее найти баланс между национальными интересами государств, экономическим прогрессом и правом людей на частную жизнь. Однако, как замечает ведущий специалист компании Dun & Bradstreet Антони Скриффиньяно, машинное обучение не имеет географических границ: то, что может быть неприемлемо в одной точке мира, может нормально восприниматься в другой. Модели и наборы данных, разработанные и собранные в регионах с меньшим вниманием к конфиденциальности и этике данных, могут использоваться аналитиками данных в государствах с другими культурными правилами. Наука о данных ещё не раз столкнется с различными этическими вопросами анализа персональной информации.
Бизнес может использовать Data Science различными способами. Например, компания по продаже недвижимости из английского Дарема анализирует более 700 личных факторов: демографические данные, изменения доходов, покупательское поведение и история каждого продавца. Эти данные сопоставляются со средними показателями по стране. Так агент узнаёт, когда стоит связаться с продавцом, чтобы иметь лучший шанс на заключение сделки. Системы с похожей функциональностью используют и американские компании, занимающиеся недвижимостью.
Amazon стал наглядным примером того, насколько полезным может быть сбор данных для обычного покупателя. Запоминая что вы приобрели, сколько заплатили и что искали, Amazon показывает на главной странице только те предметы, которые могут быть вам потенциально интересны. Такая стратегия одновременно повышает рентабельность розничной торговли и экономит деньги потребителей.
Хотя модели машинного обучения могут быть очень полезны, многие бизнес-пользователи не доверяют процессам, которые они не понимают. Сами по себе большие данные бесполезны без анализа. Наука о данных должна найти способы сделать модели ML более понятными для бизнеса.
Спрос на специалистов по Data Science в ближайшие пять лет будет только расти. Сайт Glassdoor четвёртый год подряд называет специалиста по Data Science «работой №1 в США». Бюро трудовой статистики США сообщает , что к 2026 году ожидается рост занятости в этой сфере на 27.9%. Согласно отчёту MHR Analytics, 80% британских компаний планируют нанять в этом году специалиста по работе с данными или обратиться за консультацией по Data Science. Однако есть не только огромный спрос, но и заметная нехватка квалифицированных аналитиков данных.
Data Science распространяется далеко за пределы розничных продаж, страхования и финтеха. Мы каждый день используем применения Data Science, когда социальная сеть, музыкальный стриминговый сервис или YouTube рекомендуют нам контент.
Миллиарды пользователей по всему миру пользуются смартфонами, часами и другими электронными устройствами, генерируя колоссальный объем данных. Обработка данных с носимых трекеров позволит у большого количества людей выработать здоровые привычки и предотвратить критичные проблемы со здоровьем. Медицинские данные с носимых устройств помогут при диагностике и ускорят разработку лекарств.
Кроме того, обработка медицинских данных поможет предотвращать эпидемии. Во время вспышки эпидемии Эбола в 2014 г. в Африке учёные смогли проследить за распространением заболевания и выявить наиболее уязвимые районы. Для этого использовались данные, полученные от оператора мобильной связи Сенегала. Благодаря этим данным стало известно, где и с кем находились заболевшие люди во время инкубационного периода вируса, когда болезнь ещё не проявляет симптомов. Можно надеяться, что прошедшие в этом году многочисленные хакатоны по теме COVID-19, также помогут в предотвращении стремительного распространения других вирусов.
Фермеры используют Data Science для повышения эффективности выращивания и доставки овощей, производители продуктов питания – для сокращения количества отходов. Организации волонтёров и активистов применяют Data Science для прогнозирования финансовых поступлений и поисков путей их увеличения.
Уже сейчас количество устройств, подключённых к Интернету вещей, превышает семь миллиардов, через семь лет ожидается, что их количество вырастет до 21.6 миллиарда устройств.
Большое развитие получат системы, позволяющие поставить на поток рутинные операции и ускорить разработку. Автоматизация таких задач, как выбор и оценка алгоритмов, может до 10 раз сократить время, необходимое для работы с данными. Улучшение качества алгоритмов и упрощение программных инструментов снизит порог входа в профессию. Такие простые алгоритмы машинного обучения, деревья решений , теперь развернуть проще простого. А для понимания таких фреймворков , как PyTorch и TensorFlow и вовсе не требуется докторская степень по математике.
IDC прогнозирует , что к 2025 году почти 30% мировых данных будет поступать в режиме реального времени. Предварительно обученные модели искусственного интеллекта будут использоваться всё более широко, а повсеместная практика их применения позволит сократить время и усилия, необходимые для обучения.
Возникнут API, позволяющие встраивать в уже существующие приложения технологии работы с большими объемами данных. Благодаря Data Science более дружественными для пользователя станут VR (Виртуальная реальность) и AR (Дополненная реальность) . Сбор и обработка данных будут актуальны и для тех, кто занимается блокчейн-технологиями. Чем важнее данные, тем важнее и их защита. Поэтому вырастет спрос на классных специалистов по защите информации. Уже появилось такое направление IT, как безопасность Data Science.
Зарплаты специалистов начинаются от $100 000 в год для разработчика архитектуры, и приложений, от $70 000 в год для статистика и от $62 000 в год для аналитика данных. Профессионала в области Data Science будут рады видеть в своих рядах Google, Amazon, Apple, Microsoft, Facebook или Яндекс. Молодая компания или стартап предложат специалисту по Data Science разнообразные возможности проявить свои таланты, а вместе с тем стать одним из важных участников проекта. Огромный потенциал ожидает проекты на стыке Data Science и квантовых вычислений .
Развиваются не только алгоритмы машинного обучения, но и производительные мощности: как специальные тензорные процессоры , так и сфера облачных вычислений. В результате анализ больших данных становится всё более доступным не только для корпораций, но и для компаний меньшего размера. Будущее – в специалистах, которые будут использовать это оборудование.
Если вы опытный разработчик программного обеспечения или же только начинаете свой путь в IT, вам стоит обратить внимание на учебный курс по Data Science от GeekBrains. Вы увидите, что программа по высшей математике может быть захватывающей даже для тех, кто скучал на математике в институте или школе. А технологии машинного обучения и нейронные сети перестанут быть далекими абстракциями и превратятся в набор удобных инструментов для задач бизнеса. Участие в факультативах познакомит с наставниками, готовыми стать вашими работодателями на старте карьеры.