Data Engineer (Scala, Python, SQL)

3 Lý do để gia nhập công ty

• Phụ cấp ăn sáng, ăn trưa và tiền gửi xe.
• Được cung cấp trang thiết bị làm việc (LCD 24”,..)
• Môi trường, điều kiện làm việc chuyên nghiệp,...

Mô tả công việc

1. Xây dựng và quản lý hệ thống tích hợp dữ liệu (Data Pipelines):

• Thiết kế, triển khai và tối ưu hóa các quy trình ETL (Extract, Transform, Load) và ELT (Extract, Load, Transform) để chuyển đổi dữ liệu từ nhiều nguồn khác nhau. 
• Làm việc với đa dạng các nguồn dữ liệu:
  • Cơ sở dữ liệu quan hệ (SQL) như Oracle, PostgreSQL, MySQL,...
  • Cơ sở dữ liệu NoSQL: Elasticsearch, Redis, Cassandra...
  • APIs: RESTful APIs, GraphQL...
  • Nguồn dữ liệu dạng file: CSV, JSON, Parquet,...
  • Nguồn dữ liệu streaming (thời gian thực): Kafka, Pub/Sub... ·
• Sử dụng các công cụ điều phối (orchestration tools) như Apache Nifi, Apache Airflow để lên lịch và tự động hóa các pipeline.
• Giám sát, xử lý sự cố và đảm bảo độ tin cậy, tính sẵn sàng và hiệu suất của các pipeline.

2. Xử lý, làm giàu và trình diễn dữ liệu:

• Phát triển các logic chuyển đổi dữ liệu phức tạp bằng Scala, Python, SQL hoặc Spark, Flink để làm sạch, chuẩn hóa và định hình lại dữ liệu thô.
• Thực hiện các kỹ thuật làm sạch dữ liệu (data cleaning): xử lý dữ liệu thiếu (missing values), trùng lặp (duplicates), sai định dạng,..
• Xây dựng các quy trình làm giàu dữ liệu (data enrichment) bằng cách kết hợp dữ liệu từ nhiều nguồn khác nhau để tạo ra các trường thông tin mới có giá trị hơn.
• Thiết kế và xây dựng các bảng dữ liệu (data mart), kho dữ liệu (data warehouse) hoặc các API dữ liệu phục vụ nhu cầu truy xuất, phân tích, báo cáo bằng Trino, Superset,...
• Đảm bảo chất lượng và tính toàn vẹn của dữ liệu trong suốt quá trình xử lý.

3. Quản lý hạ tầng và kiến trúc dữ liệu:

• Làm việc với các nền tảng dữ liệu hiện đại như Data Warehouse (StarRocks, ClickHouse) và Data Lake (S3, Iceberg).
• Phối hợp với đội ngũ DevOps để triển khai và quản lý hạ tầng dữ liệu trên nền tảng Kubernetes.
• Tham gia vào việc thiết kế mô hình dữ liệu (data modeling) và kiến trúc kho dữ liệu để tối ưu hóa cho việc truy vấn và phân tích.

4. Hợp tác và hỗ trợ:

• Làm việc chặt chẽ với nhóm Data Scientist và Data Analyst để hiểu rõ yêu cầu và cung cấp dữ liệu chất lượng cao, đáp ứng đúng nhu cầu.
• Viết tài liệu kỹ thuật rõ ràng cho các pipeline và quy trình dữ liệu đã xây dựng.
• Tuân thủ các best practice về phát triển phần mềm (version control với Git, CI/CD, code review).

Yêu cầu công việc

Yêu cầu bắt buộc:

• Tốt nghiệp Đại học chuyên ngành Công nghệ thông tin, Toán tin, Khoa học dữ liệu hoặc lĩnh vực liên quan.
• Tối thiểu 2-3 năm kinh nghiệm ở vị trí Data Engineer hoặc các vai trò tương tự.
• Thành thạo ít nhất một ngôn ngữ lập trình, ưu tiên Scala, Python, và có kiến thức vững chắc về SQL để truy vấn và thao tác dữ liệu phức tạp.
• Có kinh nghiệm thực tế trong việc xây dựng và vận hành các pipeline ETL/ELT.
• Hiểu biết về các công nghệ Big Data như Apache Spark, Apache Flink là một lợi thế lớn.
• Tư duy logic, kỹ năng giải quyết vấn đề xuất sắc và khả năng làm việc độc lập cũng như làm việc nhóm.

Yêu cầu ưu tiên (Điểm cộng):

• Có kinh nghiệm với các công cụ điều phối pipeline như Apache Nifi.
• Hiểu biết về các hệ thống dữ liệu streaming như Kafka.
• Kinh nghiệm với containerization (Docker, Kubernetes).
• Khả năng đọc hiểu tài liệu kỹ thuật bằng tiếng Anh tốt.

Tại sao bạn sẽ yêu thích làm việc tại đây

• Mức lương cạnh tranh, tương xứng với năng lực và kinh nghiệm. Được đánh giá lương tối thiểu 1 lần/năm.
• Được ghi nhận, thưởng theo năng lực và hiệu quả công việc hàng quý/năm và theo quy định của Công ty.
• Môi trường, điều kiện làm việc chuyên nghiệp, tiện nghi, hiện đại, rộng rãi, thân thiện với môi trường, chuẩn văn phòng hạng B+.
• Được cung cấp trang thiết bị làm việc (Macbook, LCD 24”, Laptop,...).
• Phụ cấp ăn sáng, ăn trưa và tiền gửi xe.
• Được hưởng đầy đủ các chế độ phúc lợi theo luật Lao động Việt Nam (BHXH, BHYT, BHTN).
• Thưởng Lễ, Tết, Sinh nhật, Kết hôn.
• Các hoạt động Team building theo Quý và du lịch hàng năm.
• Được đánh giá năng lực làm việc theo quý/năm và nâng cấp bậc trong công việc; làm việc, cộng tác cùng đội ngũ nhân sự chất lượng cao, chuyên gia theo mô hình quản trị dựa trên OKRS, SAFe; nhiều cơ hội phát triển năng lực, thăng tiến sự nghiệp dựa trên năng lực và giá trị của bản thân.
• Hỗ trợ chi phí đi công tác.
• Được xem xét tài trợ kinh phí các chương trình đào tạo, tham gia hội thảo trong nước và quốc tế giúp nâng cao năng lực, phục vụ công việc.