Data Engineer

توضیحات

شرح موقعیت:

ما به دنبال یک مهندس داده متخصص برای طراحی و پیاده‌سازی فرآیندهای ETL و مدیریت داده‌ها با تمرکز بر Elasticsearch هستیم. این فرد مسئول جمع‌آوری داده‌ها از منابع مختلف، آماده‌سازی و انتقال آن‌ها به Elasticsearch برای تحلیل‌های بلادرنگ و گزارش‌دهی خواهد بود.

مسئولیت‌ها:

• طراحی و اجرای فرآیندهای ETL برای جمع‌آوری، تبدیل و بارگذاری داده‌ها به Elasticsearch.
• پیاده‌سازی و بهینه‌سازی Pipelineهای داده برای انتقال داده‌های حجیم به Elasticsearch.
• طراحی Indexهای مناسب در Elasticsearch برای جستجو و تحلیل سریع داده‌ها.
• نظارت بر عملکرد Elasticsearch و بهینه‌سازی Queryها و ساختار داده.
• اطمینان از کیفیت داده‌ها و یکپارچگی آن‌ها در تمامی مراحل.
• مدیریت ارتباط Elasticsearch با سایر پایگاه‌های داده و منابع داده‌ای.

شرایط احراز:

• تسلط کامل به Elasticsearch (نحوه طراحی Index ،Queryها و Aggregation).
• تجربه در Python (کتابخانه‌هایی مانند Pandas و PySpark).
• تجربه در ابزارهایی مانند Apache Airflow ،Logstash یا Beats.
• مسلط به MySQL :Oracle.
  مسلط به NoSQL :MongoDB.
• مسلط به SQL :PostgreSQL.
• تجربه در مدیریت و پردازش داده‌های حجیم (Big Data).
• دانش در زمینه Data Modeling و طراحی ساختارهای بهینه برای جستجو و تحلیل.
• تجربه کار با ابزارهای Streaming داده مانند Kafka (مزیت محسوب می‌شود).