2021 잡 마켓 트렌드: 데이터 엔지니어 (data engineer)

 

최근에 헤드헌팅 펌으로 유명하고, 데이터 관련 분야 잡마켓 동향을 꾸준하게 발표해 온 Burtchworks 에서 2021 데이터 직무 관련 리포트를 발행하여, 오늘부터 주요 데이터 직무 별로 하나씩 리뷰해 보고자 한다. 

첫 리뷰는 데이터 엔지니어부터 해보고자 한다.

 

 

 

 

1. 데이터 엔지니어에 대한 정의

 

데이터 엔지니어링 업무를 하는 사람들은 보통

학력 사항	학사 또는 석사 (약 95%)
주요 전공	Computer Science Information Systems Computer Engineering
현재 직함 (job title)	Data Enginner, Big Data Enginner, Data Science Engineer, Data Architect, Principal, Director of Data Engineering, Head of Data Architecture 등
남녀 비율	남성 (87.5%) / 여성 (12.5%)

 

위와 같은 프로필을 가지고 있었다. 대부분의 데이터 엔지니어들이 (95%)가 학사 또는 석사의 학력을 가지고 있었으며, 전공도 매우 다양한 편이었다.

 

 

그러나 일반 데이터 사이언스 영역과 비교했을 때에 데이터 엔지니어링 분야가 조금 더 CS 전공자 위주로 이루어진 것을 확인할 수 있었다. 특히, 데이터 엔지니어에 대한 수요가 점점 증가하는 것으로 미루어 보아, 더 많은 학생들이 이 데이터 엔지니어로서의 커리어를 위해 진출할 것이고, 대우도 더 나아질 것으로 기대한다. 특히, 헬스케어 인더스트리에서의 데이터 엔지니어에 대한 수요가 기존의 테크 인더스트리를 catch-up하기 위해서 가속화 되고 있는 것이 주요 특징이다.

데이터 엔지니어에 관심이 있다면, 이런 job title을 링크드인으로 검색해서 해당 job title을 가진 사람과 컨택하여, 네트워킹을 시도해 보는면서, 그들은 과연 어떤 프로그램에서 어떤 공부를 한 후, 데이터 엔지니어가 될 수 있었는지 물어보는 것도 좋은 정보가 될 것이다. 

 

2. 데이터 엔지니어들이 쓰는 툴박스

 

현직 데이터 엔지니어는 다양한 툴들을 많이 사용하고 있었습니다. 영역 별로 한 번 정리해 보도록 하겠습니다. 다음 내용들은 현직 데이터 엔지니어들이 daily로 사용한다고 한 툴들입니다.

 

프로그래밍	Python pySpark Scala Java C++ (occasionally) SQL Shell Scripting
클라우드 컴퓨팅	AWS (Redshift, EMR, EC2, Lambda, S3, etc) Azure GCP (BigQuiry)
관계형 데이터베이스	SQL Server Oracle MySQL Teradata
NoSQL 데이터베이스	Cassandra MongoDB Neo4j
CI/CD	Docker Jenkins Kubernetes
빅데이터	Hadoop HDFS HiveMapReduce Spark Hbase
보고 (reporting) / 시각화, Dashboard	Tableau PowerBI Looker
기타 / version control 등	Databricks Airflow Git JavaScript HTML Linux

 

 

3. 데이터 엔지니어가 되기 위해 있으면 좋은 경험

 

현직 데이터 엔지니어들은 데이터 엔지니어가 되기 위해서는 다음과 같은 경험/기술이 필요하다고 답했다.

• 데이터 파이프라인 및 ETL 또는 ELT 구축 (Building data pipelines and ETL or ELT)
• 복잡한 분산 컴퓨팅 경험 (Experience with complex distributed computing)
• 정형 및 비정형 데이터로 작업할 수 있는 능력 (Ability to work with structured and unstructured data)
• 데이터 사이언스 관련 모델 이용해서 deploy해 본 경험 (Deployment of data science models)
• 데이터 사이언스 모델 적용해 본 경험 (Experience with data science applications)
• Docker 및 Kubernetes 이용해서 integration 해 본 경험 (Experience with continuous integration working with Docker and Kubernetes)

 

 

4. 데이터 엔지니어로서 주로 하는 업무 내용 (job responsibilities)

 

• 대규모 배치 데이터 파이프라인 및 실시간 ETL 파이프라인 구축 및 확장 (Build and scale large batch data pipelines and real-time ETL pipelines)
• 비즈니스 요구 사항 수집 및 데이터 프로세스 구현 (Gather business requirements and implement data processes)
• data lakes 와 marts 설계 및 지원 (Design and support data lakes and data marts)
• 데이터 사이언티스트와 같이 협력하여 ML 모델 deploy (Work with data scientists to deploy machine learning models)
• 정확성을 보장하기 위해 프로덕션 환경에서 모델 문제 해결 (Troubleshoot models in a production environment to ensure accuracy)

 

 

5. Job Category Profiles 그리고 연봉 (salary and compensation)

 

다음은 직급/직무 별로 4개의 카테고리로 일반화하여 데이터 엔지니어 직무를 표준화 해보았을 때의 연봉 정보이다. 

• IC-1: 5년차 이내의 early career pros
• IC-2: 경험이 풍부한 데이터 엔지니어 (보통 job title에 senior 또는 principal 이 달려 있는 경우이나 manage롤은 아닌 경우)
• MG-1: 프로젝트나 팀을 책임지는 PM 급
• MG-2: PM보다 더 상위 단의 의사결정을 하는 책임 급

 

특히, early career에게도 6-digit을 주기 때문에 미래에 대한 전망이 매우 좋다고 할 수 있다. 특히, 현재 early career에서 job searching을 하는 MZ 세대는 미국에서 재택근무/원격근무에 대한 선호가 매우 높다. 또한, 데이터 엔지니어 업무는 원격으로도 충분히 가능한 일들이 많기 때문에, 굳이 지역에 한정되지 않을 가능성이 앞으로도 크다. 

예를 들어, 코로나 이전에는 아마존의 Data Engineer라면 지역의 학교인 University of Washington 출신들이 대거 영입되는 트렌드가 있었으나, 코로나 이후에 재택/원격 근무가 활성화 되면서 지역에 국한되지 않고 다양한 지역의 talent들이 영입될 것으로 보인다.

2020년에 코로나로 인해서 hiring freeze가 있었던 회사들이 많았기 때문에, 2021년에는 hiring boom이 일 정도로 고용이 많이 이루어졌다.

 

특히, 재택/원격근무 (WFH)이 이어지면서 앞서 언급했듯이 지역 장벽이 사라지게 되었고, 더더욱 실력 위주의 선발이 이루어지는 추세이다.

업무 측면에서 바라보았을 때, 기존의 전통적인 데이터베이스 디자인/유지/관리/보수의 업무에서 점차 클라우드 영역으로 전환이 가속화 되는 추세이므로, 클라우드 컴퓨팅 관련 경험이 많은 사람이 향후 좀 더 좋은 대우를 받을 것으로 보인다고 덧붙였다.

Tool에 대해서 이야기 해보면, 특히 2021년에 Snowflake와 Kubernetes 에 대한 수요가 많았다. 따라서, 지원자들은 커리큘럼에 이런 트렌드를 적극 반영하는 프로그램을 꼼꼼하게 살펴 볼 필요가 있다.

 

 

6. 데이터 엔지니어 직업 만족도 (What keeps data professionals happy at their jobs?)

 

 

끝으로, 데이터 엔지니어에게 왜 데이터 엔지니어 잡이 좋은지 물었고, 3개까지 고를 수 있도록 허용했다.

응답자들은 모두 현직 데이터 엔지니어이며, 전반적으로 데이터 엔지니어들은 연봉 상승 (43%), 좋은 경영진 (41%), 유연한 근무형태 (41%), 프로젝트가 재미있어서 (41%) 때문에 현재 자신의 job을 유지하고 있다고 밝혔다.

 

 

7. 마무리하며

 

오늘은 Burtchworks에서 조사한 데이터 직군 중 처음으로 데이터 엔지니어 직무 관련 트렌드에 대해서 알아 보았다. data transition이 가속화 되면서 전반적으로 수요가 빠르게 늘고 있고, 대우도 좋아서 향후에 많은 학생들이 데이터 엔지니어 포지션을 염두해두고, 공부를 할 것이라는 확신이 들었다. 

특히, 코로나 이후에 가속화 되는 원격/재택/하이브리드 근무 형태가 데이터 엔지니어로서의 직업 만족도에 큰 영향을 미치고 있는 것을 확인할 수 있었다. 따라서, 대도시에 위치한 학교들의 지리적 이점이 사라지고 있음을 염두할 필요가 있다. 과거 코로나 이전에는 높은 생활비와 등록금을 지불하더라도, 네트워킹이나 인턴십 등의 이점이 명확했기 때문에 대도시를 선호하는 지원자들이 많았으나, 코로나 이후에는 재택근무가 일반화 되었고, 꼭 대도시의 학교가 아니더라도 얼마든지 hiring될 수 있는 문화가 확산 중이다. 

또한, 지원자는 데이터 엔지니어로서 필요한 역량과 트렌드를 명확하게 파악하면서, 관련 tool과 knowledge를 공부할 수 있는 커리큘럼을 제공하는 학교에 지원해야 할 것이다. 이를 확인하기 위해서는  첫째, 학교 홈페이지를 (syllabus 까지) 정독하면서 어떤 내용을 어떤 툴들을 써서 배우는지 깊게 리서치 할 필요가 있고, 둘째, 링크드인을 통해서 재학생/졸업생에게 직접 컨택하는 것이 무엇보다 그 프로그램의 장단점을 명확하게 파악할 수 있는 좋은 지름길이라고 생각한다.

 

 

 

 

 

 

 

 

 

 

(Source: Burthworks, 2021)

 

#영어이력서 #영문이력서 #이력서 #Cover #coverletter #resume #레주메 #데이터분석 #데이터애널리스트 #미국데이터분석석사 #미국석사 #데이터과학자 #네트워킹이벤트 #GMAT #링크드인 #미국데이터분석 #데이터사이언스 #미국 #GRE #해외취업 #데이터사이언티스트 #미국현지취업 #데이터분석석사 #미국대학원 #해외취업마스터 #미국생활 #데이터사이언스석사 #미국유학생 #유학생 #미국데이터 #애널리틱스석사 #데이터석사 #미국데이터석사유학 #뉴욕직딩 #미국유학 #미국직장인 #미국취업 #미국현지취업