Data Engineer (Data Warehouse, Python/Java, SQL)

Mô tả công việc

1. Mô tả công việc

Xây dựng và vận hành hệ thống Data Warehouse (DWH)

• Thiết kế, phát triển và vận hành hệ thống DWH phục vụ lưu trữ và quản trị dữ liệu tập trung. 
• Thiết kế mô hình dữ liệu và Data Mart phục vụ khai thác dữ liệu cho các hệ thống downstream. 
• Xây dựng kiến trúc dữ liệu đảm bảo khả năng mở rộng, ổn định và hiệu năng cao. 

Phát triển pipeline dữ liệu

• Xây dựng và vận hành các pipeline ETL/ELT lấy dữ liệu từ nhiều nguồn: 
  • RDBMS (Oracle, PostgreSQL, MSSQL, MySQL…) 
  • MongoDB 
  • API 
  • File batch 
  • Streaming source 
• Thiết kế cơ chế đồng bộ dữ liệu batch, incremental hoặc near realtime. 
• Xây dựng cơ chế CDC và đồng bộ dữ liệu giữa hệ thống nguồn và DWH. 
• Tự động hóa quy trình xử lý và đồng bộ dữ liệu. 

Làm sạch và chuẩn hóa dữ liệu

• Thực hiện cleansing, transform và chuẩn hóa dữ liệu từ nhiều nguồn khác nhau. 
• Mapping dữ liệu giữa hệ thống transactional và DWH. 
• Xử lý dữ liệu lỗi, trùng lặp, thiếu dữ liệu hoặc không đồng nhất. 
• Xây dựng các rule kiểm tra chất lượng dữ liệu (Data Quality). 

Tổng hợp dữ liệu

• Xây dựng các bảng aggregate/fact phục vụ khai thác dữ liệu. 
• Thiết kế và tối ưu logic xử lý dữ liệu khối lượng lớn. 
• Tối ưu hiệu năng query, partitioning và indexing. 

Vận hành & tối ưu hệ thống

• Monitoring và xử lý lỗi pipeline/ETL job. 
• Phân tích và xử lý sự cố liên quan đến dữ liệu. 
• Thực hiện reconciliation giữa dữ liệu nguồn và DWH. 
• Đảm bảo SLA và tính ổn định của hệ thống dữ liệu. 

2. Phạm vi công việc

Bộ phận Data Engineering phụ trách:

• Kết nối và lấy dữ liệu từ các hệ thống nguồn 
• Làm sạch, chuẩn hóa và tổng hợp dữ liệu 
• Lưu trữ dữ liệu vào DWH/Data Mart 

Phần báo cáo, dashboard và BI do bộ phận khác phụ trách.

Yêu cầu công việc

3. Yêu cầu

Kiến thức & kinh nghiệm

• Tốt nghiệp Đại học chuyên ngành CNTT hoặc tương đương. 
• Có kinh nghiệm làm việc với hệ thống DWH, ETL/ELT hoặc Data Pipeline. 
• Hiểu về kiến trúc: 
  • Data Warehouse 
  • Data Mart 
  • ETL/ELT 
  • CDC 
• Có kinh nghiệm xử lý dữ liệu lớn là lợi thế. 

Kỹ năng kỹ thuật

• Thành thạo SQL và tối ưu truy vấn. 
• Có kinh nghiệm với: 
  • Oracle 
  • PostgreSQL 
  • MSSQL 
  • MySQL 
  • MongoDB 
• Hiểu đặc điểm dữ liệu relational và document-based database. 
• Có kinh nghiệm với các công cụ ETL/workflow: 
  • Airflow 
  • Talend 
  • Pentaho 
  • NiFi 
  • dbt 
• Có khả năng lập trình: 
  • Python 
  • Java 
• Hiểu về Kafka hoặc streaming data là lợi thế. 

Ưu tiên

• Có kinh nghiệm vận hành hệ thống dữ liệu lớn hoặc realtime. 
• Có kiến thức về Linux, Docker, Kubernetes là lợi thế. 
• Có kinh nghiệm tối ưu hiệu năng hệ thống dữ liệu. 

4. Kỹ năng mềm

• Tư duy logic và phân tích dữ liệu tốt. 
• Chủ động và có trách nhiệm trong công việc. 
• Có khả năng làm việc nhóm và phối hợp liên phòng ban. 
• Kỹ năng xử lý vấn đề và troubleshooting tốt. 

5. Công nghệ sử dụng

• Oracle / PostgreSQL / MSSQL / MongoDB 
• Airflow / Kafka 
• Python / Java 
• Linux 
• Docker / Kubernetes 
• GitLab CI/CD 

6. KPI chính

• Độ ổn định của pipeline dữ liệu 
• SLA đồng bộ dữ liệu 
• Chất lượng và độ chính xác dữ liệu 
• Hiệu năng xử lý ETL 
• Số lượng incident liên quan dữ liệu 
• Tỷ lệ tự động hóa pipeline dữ liệu

Tại sao bạn sẽ yêu thích làm việc tại đây

Phúc Lợi

• Bảo hiểm
• Du Lịch
• Phụ cấp
• Du lịch nước ngoài
• Đồng phục
• Thưởng
• Chăm sóc sức khỏe
• Đào tạo
• Tăng lương
• Công tác phí
• Phụ cấp thâm niên
• Chế độ nghỉ phép