Senior Data Engineer – Data Fabric
פורסם 20 באפר׳ · 0 מועמדים
התפקיד במילים פשוטות
התפקיד כולל הובלה טכנית בפיתוח Data Fabric בתוכנית צבאית. מהנדס/ת הנתונים הבכיר/ה יהיה/תהיה אחראי/ת על בניית צינורות נתונים קונטקסטואליים, עבודה עם ארכיטקטורות Lakehouse של ביג דאטה, והנעת אוטומציה של צינורות נתונים. העבודה היומיומית תכלול גם פיתוח כלי ניתוח, אלגוריתמים ותוכניות.
- 5+ years of hands-on experience as a Big Data Engineer
- Proven ability to design and deploy Big Data & AI solutions using frameworks and tools such as: Apache NiFi Kafka Spark Graph DB NoSQL databases
- Strong coding proficiency in Python and Bash
- Experience building large-scale data pipelines for data processing, transformation, and analytics
- Ability to define and manage metadata schemas
חולץ מתיאור המשרה · מתעדכן אוטומטית
למי זה מתאים
התפקיד מתאים למהנדסי/ות נתונים בכירים/ות עם לפחות 5 שנות ניסיון בביג דאטה, בעלי/ות יכולת מוכחת לתכנן ולפרוס פתרונות ביג דאטה ו-AI. נדרשת מומחיות בקידוד בפייתון וב-Bash, וניסיון בבניית צינורות נתונים בקנה מידה גדול. התפקיד פחות מתאים למועמדים/ות ללא ניסיון קודם בהובלה טכנית או בארכיטקטורות Lakehouse.
תיאור המשרה המלא
המשרה המקורית · נשמר לעיוןabra professional services is seeking for an senior data engineer. We are seeking a Senior Data Engineer to lead the technical development of our Data Fabric within a military program. This role involves technical leadership in building contextual data pipelines, working with big data Lakehouse architectures, and driving data pipeline automation.
Requirements: MUST HAVE Requirements: 5+ years of hands-on experience as a Big Data Engineer Proven ability to design and deploy Big Data & AI solutions using frameworks and tools such as: Apache NiFi Kafka Spark Graph DB NoSQL databases Strong coding proficiency in Python and Bash Experience building large-scale data pipelines for data processing, transformation, and analytics Ability to define and manage metadata schemas Experience developing data workflows (e.g., metadata generation, auto-extraction, validation, format conversion) Experience developing tools for data observability and compliance analytics Ability to analyze and report on complex datasets and results Experience working with big data lakehouse architectures Ability to explore, enhance, and manage data fusion from multiple data sources Experience developing analytics tools, algorithms, and programs Technical leadership of data structure design for contextual pipelines Collaboration experience with Data Scientists and Architects Strong ability to work independently, learn new technologies, and apply innovative solutions Excellent interpersonal skills and ability to work as part of a team MSc in Computer Science or Data Science Advantages: Experience with managing metadata and taxonomy concepts alongside big data objects Experience working with public cloud Big Data & AI services Familiarity with machine learning concepts Strong technical skills Independent, hands-on developer Curious, open-minded, fast learner, and a strong team player
שאלות על המשרה
- המשרה לא ציינה שכר. אנחנו מציגים שכר רק כשהמעסיק מפרסם אותו.
- 5+ years of hands-on experience as a Big Data Engineer, Proven ability to design and deploy Big Data & AI solutions using frameworks and tools such as: Apache NiFi Kafka Spark Graph DB NoSQL databases, Strong coding proficiency in Python and Bash, Experience building large-scale data pipelines for data processing, transformation, and analytics, Ability to define and manage metadata schemas