מה התפקיד שלך יכלול?
לארגון פיננסי מוביל דרוש/ה Data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI .
אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם Data scientist.
עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים גם בסביבות ענן וגם ב on prem.
למי התפקיד יתאים?
· ניסיון של לפחות 3 שנים כ Data engineer – חובה
· ניסיון של 3 שנים של עבודה עם שפות (OOP) Programming Oriented-Object
· ניסיון של 3 שנים עם Python – חובה
· ניסיון מעשי עם Spark עבור Large scale data – חובה
· ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS יתרון משמעותי
· הבנה עמוקה בתחום של עיצוב, פיתוח ואופטימיזציה של פתרונות מורכבים שמעבירים או מעבדים כמויות גדולות של נתונים
· הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdf5, delta lake
· ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes
· ניסיון של כלי data pipelines כמו airflow, Kubeflow
· תואר במדעי המחשב / הנדסה / מתמטיקה / סטטיסטיקה – חובה
· הבנה של מושגים ותהליכים בתחום machine learning
הכרות עם פתרונות GenAI / prompt engineering יתרון
ניסיון רב בכתיבת קוד פונקציונלי ב-python ותהליכי ETL מורכבים, כולל הקמת תשתיות / תבניות גנריות לניהול תהליכי ETL. כתיבת תהליכים תומכים כגון בקרות, ניהול גנרי של תהליכים, עבודה עם פרמטרים וכו'
ניסיון בפריסת שירותים יתרון משמעותי.
ניסיון בפריסת מודלים ב-sagemaker יתרון משמעותי מאוד.
ניסיון בכתיבת micro services יתרון משמעותי