1000개의 FAANG job 분석을 통해 알아보는 2022 데이터 엔지니어 잡 마켓

 

최근 2022년 데이터 엔지어에게 어떤 기술이 요구되는지 알아보기 위해서 LinkedIn에도 manually FAANG 기업들을 비롯한 빅 테크 펌 15개사의 1029개 데이터 엔지니어 잡을 조사 했다고 합니다.

당연히 예상하시는 부분은 Python과 SQL에 대한 중요성이겠지만, 몇 가지 주목할 부분이 있었다고 하는데요.

오늘은 그 내용들에 대해서 알아보도록 하겠습니다.

 

 

 

 

 

다양한 프로그래밍 언어가 대부분의 빅테크에서 사용되지만 데이터 엔지니어링은 일반적으로 Python 및 SQL을 사용하는 경향은 이미 주류로 자리 잡은 지 좀 되었습니다만, 이를 제외하고는 Java 및 C++와 같은 low-level programming language에 대한 수요가 높습니다. 

최근에 탑테크펌들 사이에서는 좀 더 많은 코드를 요구하는 low-code / no-code 솔루션에서 점차 멀어지고 있습니다. DBT 및 Airflow와 같은 low-code pipeline solution을 사용하면 location 간 ETL/ELT 데이터에 low-level programming이 더 이상 필요하지 않게 되는데요. 

Business Intelligence Enginner는 비즈니스 문제 해결의 최전선에 있고 이제 데이터 전송 도구도 사용하기 때문에 데이터 엔지니어는 일반적으로 많은 탑 테크 펌에서 보다 심층적인 엔지니어링 문제를 해결하고 있습니다. 따라서, SQL 및 Python은 이제 bare minimum으로  갖추어야 하는 조건이 되겠지만, performance tuning in low-level language가 최근 인기를 얻고 있다네요.

 

 

 

 

 

 

흥미롭게도 Dropbox는 데이터 엔지니어가 Java 경험이 있는 것을 선호합니다. 실제로 Java는 Python과 SQL 다음으로 수요가 많은 언어인데요. Java는 C++에 구축된 object-oriented, class-based, statically-typed high-level 언어이죠.

Apple의 키워드는 다양성입니다. 무려 12개의 언어를 job descriptions에서 언급하고 있었습니다. 이런 애플의 채용 공고를 읽으면서 느끼게 되는 점은 Apple이 데이터 엔지니어 역할에 관한 표준화가 거의 이루어지지 않았다고 예상해 볼 수 있겠죠. 각 job posting마다 저렇게 다른 언어 요구사항이 있다는 것은 각 팀마다 요구 사항이 다른 것을 recruiter나 hiring manager가 그냥 올린 것으로 보입니다.

Apple, Google, Microsoft, Amazon 및 Tesla는 프로그래밍 언어의 다양성이 가장 많다고 이야기하지만, Facebook, Stripe, Adobe, AirBnB 및 Dropbox는 언어의 다양성이 가장 적게 요구됩니다. 

특히, 2022년에 FAANG 회사에 첫 직장을 구하려는 초보 데이터 엔지니어의 경우 Python + SQL조합은 Facebook 또는 AirBnB와 같은 회사에 지원하기 좋은 조합으로 보입니다.

 

 

 

 

 

 

대부분의 job posting은 seniority에 대해서 언급해 놓지 않았습니다. 

주니어 포지션에 지원하는 지원자라면 당연히 SQL 및 Python에 중점을 두어야 합니다. 

여기서 다음 레벨로 올라가려면 종종 Java, Scala 또는 C++와 같은 추가적인 객체 지향 프로그래밍 언어가 필요한 것으로 보입니다. 

Junior Data Engineer와 Senior Data Engineer 사이에서의 기술적인 차이는 크게 보이지 않지만, Lead/Staff급 Data Engineer의 수준에 도달하게 되면, 초점은 Scala와 Java 위주로 바뀌게 되고, 특히 SQL 비중이 많이 줄어드는 것이 특징이라고 할 수 있겠습니다.

 

 

 

 

 

에코 시스템

 

역시 아마존이 압도적입니다. 1,029개의 job 리스트 목록 중 65%의 점유율을 기록하고 있었습니다. 

 

 

 

Amazon, Microsoft 및 Google에서 게시된 모든 채용 공고를 제거하고 한 번 더 살펴봤는데요. 상황이 조금 나아지지만 여전히 Amazon이 확실한 클라우드 리더임을 보여줍니다.

 

 

 

기타 사용하는 툴

 

데이터 시각화의 경우, Tableau는 Power BI보다 2배 더 인기가 있었습니다. 흥미로웠던 점은 Microsoft 에코시스템을 언급하는 job posting들 중 절반이 Tableau도 언급합니다. (Power BI가 아니라?)

스트리밍은 2022년에 뜨겁습니다. 훌륭한 스트리밍 포트폴리오 프로젝트 경험을 갖는 것은 나의 트렌디한 스킬 셋을 보여줄 수 있는 확실히 좋은 방법이 될 것으로 보입니다.

Twitter는 스트리밍 학습을 시작하기에 좋은 곳이며, 이 GitHub 프로젝트에서 작동하는 스트리밍 프로젝트의 예시를 한 번 확인해 보세요. 데이터 스트리밍 프로젝트에서 볼 수 있는 툴들에는 보통 Kafka 또는 Flink가 있습니다.

 

 

 

 

 

소프트 스킬

 

 

마지막으로 소프트 스킬 관련 내용입니다. 재미있는 점은 SQL이 언급될 때마다 상위 3개의 소프트 스킬이 함께 언급되었습니다. 

communication, managing 및 learning은 두 번씩 언급이 되었고요.

SQL과 Python을 결합하면 이 상위 3개의 소프트 스킬과 같은 숫자만큼 언급되었습니다.

다른 하드 스킬도 중요하지만, 소프트 스킬은 절대 무시할 수 없는 부분이라고 생각합니다. 탑 테크 펌에 진입하려면 다양하고 높은 스킬셋들을 요구합니다.

수많은 후보자들이 우수한 포트폴리오를 가지고 있고, 트렌디한 기술들을 프로젝트에 활용해 본 경험으로 무장을 하고 있습니다. 따라서, 하드 스킬로 차별화를 꿰하기보다는 소프트 스킬로 차별화를 노려보는 것도 하나의 방법입니다. 나의 코드, 아키텍처, 과제, 아이디어 등을 잘 수행하는 사람은 많아도, 잘 전달하는 사람은 의외로 많이 없습니다. 협업이 결국 이런 빅 테크 펌에서의 핵심 역량 중 하나라면, 효율적인 collaborator가 되기 위해서는 이러한 소프트 스킬이 필수적이라고 할 수 있겠습니다.

또한, 리더/매니저급 포지션을 노리는 지원자라면, 프레임워크, 코드 베이스 또는 이해 관계자를 manage 할 수 없다면 좋은 리더가 될 수 없겠죠.

 

 

 

3줄 요약

 

1. Python과 SQL만 가지고는 더 이상 빅 테크 펌들 사이에서 데이터 엔지니어로서 경쟁력을 유지하기에 충분하지 않다.

2. 데이터 스트리밍이 핫합니다.
내 데이터 스트리밍 관련 포트폴리오 프로젝트를 구축하는 것이 데이터 엔지니어 취업 시장에서 두각을 나타낼 수 있는 한 가지 방법이 될 수 있습니다.

3. 소프트 스킬의 중요성은 매우 매우 중요합니다.
communication, management, 그리고 계속 새로운 기술을 공부하는 것이 이 분야에서 경쟁력을 유지하는 데 중요합니다.

 

 

 

 

 

 

 

참고: 이 글은 미디엄의 글을 바탕으로 작성되었습니다.

 

 

 

 

 

#영어이력서 #영문이력서 #이력서 #Cover #coverletter #resume #레주메 #데이터분석 #데이터애널리스트 #미국데이터분석석사 #미국석사 #데이터과학자 #네트워킹이벤트 #GMAT #링크드인 #미국데이터분석 #데이터사이언스 #미국 #GRE #해외취업 #데이터사이언티스트 #미국현지취업 #데이터분석석사 #글래빈 #미국데이터사이언티스트 #글래빈미국 #글래빈미국데이터사이언티스트 #브라이언 #브라이언미국데이터사이언티스트 #스테이시미국데이터사이언티스트 #미국대학원 #해외취업마스터 #미국생활 #데이터사이언스석사 #미국유학생 #유학생 #미국데이터 #애널리틱스석사 #데이터석사 #미국데이터석사유학 #뉴욕직딩 #미국유학 #미국직장인 #미국취업 #미국현지취업 #prerequisites #선수과목 #미국대학원선수과목