Cẩm nang nhân viên xin chào các anh chị nhân sự và các bạn đang tìm việc là với cẩm nang nhân sự của nhanvien.net Đây là mô tả chi tiết về vị trí Kỹ sư Dữ liệu Lớn (Big Data Engineer). Bạn có thể điều chỉnh để phù hợp với nhu cầu và văn hóa công ty của bạn:
TIÊU ĐỀ CÔNG VIỆC:
Kỹ sư Dữ liệu Lớn (Big Data Engineer)
BỘ PHẬN:
[Tên bộ phận, ví dụ: Trung tâm Dữ liệu, Nhóm Kỹ thuật, v.v.]
BÁO CÁO CHO:
[Chức danh người quản lý trực tiếp, ví dụ: Trưởng nhóm Dữ liệu, Giám đốc Kỹ thuật Dữ liệu]
TÓM TẮT CÔNG VIỆC:
Chúng tôi đang tìm kiếm một Kỹ sư Dữ liệu Lớn tài năng và đam mê để tham gia vào đội ngũ kỹ thuật của chúng tôi. Kỹ sư Dữ liệu Lớn sẽ chịu trách nhiệm xây dựng, duy trì và tối ưu hóa kiến trúc dữ liệu lớn của công ty. Bạn sẽ làm việc với các công nghệ tiên tiến để thu thập, xử lý, lưu trữ và cung cấp dữ liệu quy mô lớn, đảm bảo dữ liệu có chất lượng cao và sẵn sàng cho các mục đích phân tích, báo cáo và xây dựng các ứng dụng dựa trên dữ liệu.
TRÁCH NHIỆM CHÍNH:
Thiết kế và Xây dựng Cơ sở Hạ tầng Dữ liệu:
Thiết kế, xây dựng và duy trì các pipeline dữ liệu mạnh mẽ, có khả năng mở rộng và đáng tin cậy để thu thập, xử lý và lưu trữ dữ liệu từ nhiều nguồn khác nhau.
Lựa chọn các công nghệ phù hợp nhất cho các nhu cầu cụ thể của công ty, bao gồm cả các giải pháp on-premise và cloud-based.
Xây dựng và quản lý các data warehouse, data lake và các hệ thống lưu trữ dữ liệu khác.
Phát triển và Tối ưu hóa Pipeline Dữ liệu:
Viết mã (code) chất lượng cao để thực hiện các tác vụ ETL (Extract, Transform, Load) và ELT.
Tối ưu hóa hiệu suất của các pipeline dữ liệu để đảm bảo tốc độ xử lý nhanh và sử dụng tài nguyên hiệu quả.
Xây dựng các giải pháp tự động hóa để giám sát và khắc phục sự cố trong các pipeline dữ liệu.
Quản lý và Đảm bảo Chất lượng Dữ liệu:
Xây dựng và thực hiện các quy trình kiểm soát chất lượng dữ liệu (data quality checks) để đảm bảo tính chính xác, đầy đủ và nhất quán của dữ liệu.
Phối hợp với các bên liên quan để giải quyết các vấn đề về chất lượng dữ liệu.
Đảm bảo tuân thủ các quy định về bảo mật và quyền riêng tư dữ liệu.
Hợp tác và Hỗ trợ:
Làm việc chặt chẽ với các nhà khoa học dữ liệu, nhà phân tích dữ liệu và các kỹ sư khác để hiểu nhu cầu của họ và cung cấp cho họ dữ liệu cần thiết.
Hỗ trợ các nhóm khác trong việc sử dụng và khai thác dữ liệu một cách hiệu quả.
Tham gia vào việc nghiên cứu và đánh giá các công nghệ dữ liệu mới.
Tài liệu và Truyền đạt:
Viết tài liệu kỹ thuật rõ ràng và dễ hiểu về kiến trúc dữ liệu, các pipeline dữ liệu và các quy trình liên quan.
Truyền đạt thông tin kỹ thuật một cách hiệu quả cho cả các đối tượng kỹ thuật và phi kỹ thuật.
YÊU CẦU:
Bằng cấp:
Bằng cử nhân về Khoa học Máy tính, Kỹ thuật, Toán học hoặc lĩnh vực liên quan. Bằng thạc sĩ là một lợi thế.
Kinh nghiệm:
Ít nhất [X] năm kinh nghiệm làm việc trong lĩnh vực kỹ thuật dữ liệu lớn (Big Data Engineering). (X nên là một số phù hợp với mức độ kinh nghiệm bạn mong muốn, ví dụ: 3, 5, 7, v.v.)
Kinh nghiệm thực tế trong việc xây dựng và duy trì các pipeline dữ liệu quy mô lớn.
Kỹ năng Kỹ thuật:
Ngôn ngữ lập trình:
Thành thạo ít nhất một ngôn ngữ lập trình như Python, Scala hoặc Java.
Hệ sinh thái Hadoop:
Hiểu biết sâu sắc về hệ sinh thái Hadoop (HDFS, MapReduce, YARN, Hive, Pig, Spark).
Cơ sở dữ liệu NoSQL:
Kinh nghiệm làm việc với các cơ sở dữ liệu NoSQL như Cassandra, MongoDB, HBase.
Cơ sở dữ liệu quan hệ:
Kinh nghiệm làm việc với các cơ sở dữ liệu quan hệ như PostgreSQL, MySQL, SQL Server.
Công cụ ETL/ELT:
Kinh nghiệm sử dụng các công cụ ETL/ELT như Apache NiFi, Apache Airflow, Informatica, Talend.
Điện toán đám mây:
Kinh nghiệm làm việc với các nền tảng điện toán đám mây như AWS, Azure, Google Cloud.
Data Warehousing:
Hiểu biết về các khái niệm và kỹ thuật data warehousing (ví dụ: star schema, snowflake schema).
Data Lake:
Kinh nghiệm xây dựng và quản lý data lake.
Kiểm soát phiên bản:
Thành thạo Git và các công cụ kiểm soát phiên bản khác.
CI/CD:
Hiểu biết về các quy trình CI/CD (Continuous Integration/Continuous Delivery).
Kỹ năng Mềm:
Khả năng giải quyết vấn đề mạnh mẽ.
Khả năng làm việc độc lập và làm việc nhóm hiệu quả.
Kỹ năng giao tiếp tốt, cả bằng văn bản và lời nói.
Khả năng học hỏi nhanh chóng và thích ứng với các công nghệ mới.
Tinh thần trách nhiệm cao và khả năng làm việc dưới áp lực.
ĐIỂM CỘNG:
Kinh nghiệm làm việc với các công nghệ streaming dữ liệu như Kafka, Flink, Spark Streaming.
Kinh nghiệm về DevOps và tự động hóa cơ sở hạ tầng.
Chứng chỉ liên quan đến dữ liệu lớn hoặc điện toán đám mây.
Đóng góp cho các dự án mã nguồn mở.
CHẾ ĐỘ ĐÃI NGỘ:
[Liệt kê các phúc lợi và đãi ngộ của công ty, ví dụ: Lương cạnh tranh, bảo hiểm y tế, bảo hiểm nhân thọ, ngày nghỉ phép, cơ hội đào tạo, v.v.]
VỀ CHÚNG TÔI:
[Giới thiệu ngắn gọn về công ty, sứ mệnh, giá trị và văn hóa.]
CÁCH ỨNG TUYỂN:
[Hướng dẫn cách ứng viên có thể nộp đơn, ví dụ: gửi CV và thư xin việc đến địa chỉ email, nộp đơn trực tuyến qua trang web của công ty, v.v.]
LƯU Ý QUAN TRỌNG:
Điều chỉnh theo nhu cầu:
Hãy điều chỉnh mô tả công việc này để phù hợp với các yêu cầu cụ thể của vị trí và văn hóa công ty của bạn.
Sử dụng từ ngữ hấp dẫn:
Sử dụng ngôn ngữ tích cực và hấp dẫn để thu hút những ứng viên tiềm năng.
Nêu bật các giá trị của công ty:
Nhấn mạnh những gì làm cho công ty của bạn trở nên độc đáo và hấp dẫn đối với các ứng viên.
Liệt kê các công nghệ cụ thể:
Liệt kê các công nghệ cụ thể mà bạn đang sử dụng hoặc dự định sử dụng.
Mức lương:
Nếu có thể, hãy cung cấp một khoảng lương dự kiến cho vị trí này. Điều này có thể giúp thu hút nhiều ứng viên phù hợp hơn.
Chúc bạn tìm được một Kỹ sư Dữ liệu Lớn tài năng!
https://med.jax.ufl.edu/webmaster/?url=https://nhanvien.net