Data Engineer

توضیحات

شرح شغل:

• طراحی و پیاده‌سازی سیستم‌های تحلیل داده و بهبود عملکرد سیستم‌های مهندسی داده.
• طراحی و ساخت سیستم‌های پردازش داده.
• طراحی و معماری داده بر اساس نیازهای جدید.
• طراحی، پیاده‌سازی و نگهداری پایپ‌لاین‌های داده مقیاس‌پذیر.
• نگهداری سیستم‌های Big Data و ضمانت در دسترس‌پذیری و نگهداری.
• مانیتورینگ سرویس‌های دیتا و حل مسائل در صورت خرابی.

دانش، مهارت و توانایی‌های مورد نیاز:

• مسلط به زبان‌های برنامه‌نویسی مانند SQL و Python.
• مسلط به ابزارها و فریم‌ورک‌های مورد استفاده در پیاده‌سازی و مدیریت پایگاه‌های داده مانند PostgreSQL و Oracle.
• آشنایی با زبان‌های برنامه‌نویسی PL/SQL و PGSQL جهت پردازش‌های پیچیده درون دیتابیس.
• متخصص در اکوسیستم Hadoop (HDFS) و Spark.
• تجربه در طراحی و ساخت سیستم‌های پردازش داده با استفاده از Apache Airflow.
• تجربه در استفاده از extensionها جهت افزودن قابلیت‌های جدید در PostgreSQL.
• تجربه عملی در لینوکس.
• تجربه عملی در Git و GitLab.
• آشنایی با Docker.مهارت‌های ارتباطی و کار گروهی.