Профессия «инженер данных» набирает популярность последние десять лет. Чем именно занимаются такие специалисты? Какие навыки им требуются? Как проходит их типичный рабочий день? Пользователь Medium Гален Б, который увлекается технологиями и инженерией данных, разъяснил эти и сопутствующие вопросы.
Как проходит рабочий день инженера данных в крупной технологической компании
Кто такие инженеры данных
Как утверждает Гален, это достаточно разносторонние специалисты. Часто их обязанности граничат с бизнес-аналитикой, программной инженерией и наукой о данных.
- Одна из основных задач дата-инженера — сотрудничать с командами, которые занимаются бизнес-аналитикой и наукой о данных, чтобы разобраться, какие данные нужно предоставить бизнесу, и построить необходимые для этого интеграции.
- Еще одна из возможных задач — использовать данные приложения, работая вместе с инженерами ПО, что часто бывает при разработке новых сервисов.
В целом, деятельность инженеров данных часто незаметна. Они отслеживают системы контроля качества данных, присутствуют на совещаниях по планированию спринтов и аналитике. Хороший специалист в этой сфере — это тот, о котором не приходится часто вспоминать.
По этой причине профессия инженера данных кажется не столь привлекательной, как, например, дата-сайентиста. Однако вторые не могут создавать ценность, если первые не снабжают их свежими и чистыми данными.
Во многих небольших компаниях обязанности дата-инженеров выполняют инженеры ПО, инженеры-аналитики и, в редких случаях, специалисты по науке о данных.
Инженеры данных — это эксперты по логистике в области данных.
Они используют такие инструменты, как Java для создания API, Python для написания распределенных ETL-конвейеров и SQL для переноса данных из исходных систем в целевые.
Какие навыки им нужны
Чтобы ответить на этот вопрос, Гален провел обширное исследование, проанализировав свыше 1 тысячи вакансий. Поскольку работа инженера данных затрагивает множество технических областей, от них требуются разнообразные навыки. Вот самые распространенные.
- Языки программирования: SQL, Python и иногда Java.
- Инструменты: PySpark для распределенной обработки данных, базы данных, такие как Redshift, BigQuery и Azure, и потоковые платформы Kafka и Flink.
Помимо этих базовых технологий, требования могут разниться.
- Некоторые компании ищут специалистов, владеющих инструментами для визуализации данных, такими как Tableau и PowerBI.
- Другие предпочитают дата-инженеров, хорошо знакомых с развертыванием ПО и такими технологиями, как Kubernetes, Docker и Glue.
Помимо технических навыков, инженеру данных важно обладать и «мягкими», ведь он общается с различными командами, у каждой из которых свои потребности. Например, ему нужно определять требования команды по бизнес-аналитике, а затем «переводить» их для инженеров ПО.
Мастерски ориентироваться между этими конкурирующими нуждами, устраняя неопределенности во взаимодействии и предоставляя конвейеры данных, удовлетворяющие межфункциональных требованиям, — вот что часто требуется от дата-инженера.
Помимо этого, в этом профессии, как и во многих других в IT-сфере, нужно постоянно развиваться и изучать новые технологии.
Инженеры данных также должны уметь творчески решать проблемы. Часто они прокладывают новые пути для создания инфраструктуры и поддержки архитектуры, чтобы опережать потребности организации. Хороший специалист способен видеть будущее и заранее планировать системы, способные масштабироваться.
Как устроен их рабочий день
8:00 — электронная почта
Гален завтракает и проверяет электронную почту, надеясь, что не получил ни одного письма о сбоях в конвейере данных. Время от времени он с этим сталкивается, и в таких случаях проблему необходимо решить прежде, чем браться за другие задачи.
Порой на исправление ошибки уходит всего 15 минут, а иногда, лишь чтобы ее найти, требуется целый день. Гален придерживается правила: причину сбоя нужно найти до того, как ее заметит бизнес.
Читайте по теме: 5 игр, которые помогут повысить навыки в дата-сайенс
По мнению Галена, день прошел успешно, если компания не вспомнила о его существовании. И дело не в том, что он не любит работать в команде — просто ему гораздо интереснее обсуждать новые разработки, а не сбои в конвейере.
9:00 — сосредоточенная работа
Гален старается разобраться с электронными письмами и возможными ошибками как можно скорее. Утро для него — самое продуктивное время для написания кода, поэтому он старается не назначать встречи раньше 13:00.
Гален пообещал коллеге, что отправит ему проектно-техническую документацию сегодня, и именно на этом он сосредотачивается. В документации такого типа он заполняет подробную информацию о новой функции или проекте, чтобы отправить ее на оценку и согласовать все детали с коллегами прежде, чем приступать к реализации.
12:00 — работа с задачами
К полудню Гален обычно начинает уставать от сосредоточенной работы и проверяет, что еще ему нужно сделать, в системе для отслеживания задач. Ему важно выполнять все вовремя, поэтому он добавляет обновления и новые задачи в списки дел, а также создает сообщения о новых ошибках и функциях, найденных утром.
13:00 — обед
Каждое утро Гален обещает себе, что сделает долгий перерыв на обед, но это никогда не происходит. Он предпочитает обедать быстро, чтобы не отвлекаться от сосредоточенного состояния — это помогает ему сохранять продуктивность.
13:30 — встречи
После обеда Гален обычно посещает две или три встречи.
- Первая — со стейкхолдером, не техническим специалистом, по поводу многолетнего проекта, которым Гален руководит. Каждую неделю он, как правило, определяет новый объем работы, выражает его в технических требованиях и либо занимается разработкой сам, либо передает другому дата-инженеру.
- Вторая — рабочее совещание с другим инженером. Они пытаются понять, как лучше всего развернуть конвейеры, чтобы потреблять разумное количество ресурсов и интегрировать различные инструменты, упростив масштабирование новых конвейеров данных.
- Третья — касательно передачи одного проекту другому инженеру по данным. Гален хочет убедиться, что при этом не потеряется никакая информация, поэтому рассказывает все подробности.
16:00 — административные задачи
В конце дня Гален обычно выполняет административные задачи. Это время он может использовать, чтобы помогать новым членам команды, планировать следующее утро, придумывать новые проекты и искать возможности для улучшения существующих продуктов и функций.
18:00 — окончание рабочего дня
Гален заканчивает работать в разное время. Ему важно выложиться на все 100%. Иногда это удается сделать уже к 16:00, а иногда, увлекшись какой-либо идеей, он может просидеть над ней до 20:00-21:00. Кроме того, Гален всегда готов устранить сбои и ответить на вопросы.
Источник: rb.ru
