جدید
حذف فیلترها
14 روز پیش
ارتقا یافته

توضیحات

ما به دنبال یک مهندس داده با تجربه و با درک عمیق از سیستم‌های دریاچه‌های داده، انبارهای داده و پایگاه داده هستیم. در این نقش شما مسئول طراحی، توسعه و بهینه‌سازی زیرساخت‌های داده در مقیاس بزرگ خواهید بود تا یکپارچگی بی‌نقص، دسترسی بالا و مقیاس‌پذیری را تضمین کنید. کاندید ایده‌ال باید در روش‌های مدیریت داده تخصص قوی داشته باشد و بتواند راه‌حل‌های پیشرفته‌ای را برای پشتیبانی از جریان‌های کاری تحلیلی پیچیده و نیازهای بلادرنگ (real-time) پیاده‌سازی کند. همچنین شما با تیم‌های هوش مصنوعی همکاری نزدیک خواهید داشت تا مدل‌ها و راه‌حل‌های هوشمندی ایجاد کنید که از داده‌های ما به طور موثر بهره‌برداری کنند.

مسئولیت‌های کلیدی:

  • طراحی، توسعه و نگهداری خطوط لوله ETL/ELT مقیاس‌پذیر برای استخراج، تبدیل و بارگذاری کارآمد داده‌ها در سیستم‌های متنوع.
  • رهبری در طراحی، بهینه‌سازی و نگهداری دریاچه‌ها و انبارهای داده برای سازمان‌دهی و بازیابی کارآمد داده‌ها.
  • مدیریت و بهینه‌سازی پایگاه‌های داده رابطه‌ای و NoSQL برای تضمین عملکرد بالا، یکپارچگی داده و امنیت.
    استفاده از تکنیک‌هایی مانند ایندکس‌گذاری، شاردینگ و تکرار.
  • با پیاده‌سازی و اعمال استانداردهای کیفیت داده شامل اعتبارسنجی خودکار، تشخیص ناهنجاری و فرآیندهای تطبیق، دقت و قابلیت اطمینان داده‌ها را تضمین نمایید.
  • با تیم DevOps همگام شوید تا استقرار زیرساخت‌های داده ابری را سازمان‌دهی کنید، از ابزارهای زیرساخت به عنوان کد بهره ببرید و مقیاس‌پذیری، تحمل خطا و بازیابی از فاجعه را تضمین نمایید.

مهارت‌ها و صلاحیت‌ها:

  • مهارت‌های ارتباطی: تسلط قوی به ارتباط نوشتاری و گفتاری انگلیسی برای بیان موثر مفاهیم فنی به ذی‌نفعان فنی و غیر فنی.
  • تجربه: حداقل سه سال تجربه حرفه‌ای در مهندسی داده با تخصص عملی در مدیریت دریاچه‌های داده پیچیده، انبارهای داده و پایگاه‌های داده توزیع شده.
  • دریاچه‌های داده: تجربه اثبات شده در طراحی و پیاده‌سازی معماری‌های دریاچه داده با استفاده از ابزارهایی مانند Amazon S3 ،Azure Data Lake یا Google Cloud Storage.
  • انبار داده: تخصص در پلتفرم‌هایی مانند Amazon Redshift ،Snowflake یا Google BigQuery با تمرکز بر طراحی پیشرفته اسکیما و بهینه‌سازی کوئری.
  • مدیریت پایگاه داده: تسلط قوی به SQL، با تجربه در مدیریت پایگاه‌های داده رابطه‌ای (PostgreSQL و MySQL) و سیستم‌های NoSQL (MongoDB و Cassandra).
  • توسعه ETL: مهارت در ابزارهای ETL مانند Apache Airflow ،Talend یا Informatica برای خودکارسازی جریان‌های کاری داده.
  • برنامه‌نویسی: مهارت‌های قوی در Python با تاکید بر نوشتن کد تمیز، ماژولار و مستند.
  • پردازش داده‌های بزرگ: دانش عمیقی از فریم‌ورک‌های داده بزرگ مانند Apache Spark ،Hadoop یا Kafka برای پردازش داده‌های توزیع شده و جریانی.
  • پلتفرم‌های ابری: تجربه عملی با پلتفرم‌های ابری مانند AWS ،Google Cloud یا Azure شامل استفاده از ابزارها و خدمات ابری.
  • جریان بلادرنگ: تجربه با پلتفرم‌های جریان داده بلادرنگ مانند Apache Kafka یا Amazon Kinesis برای نگهداری خطوط لوله بلادرنگ.

مهارت‌های ترجیحی:

  • کانتینرسازی و ارکستراسیون: تجربه با Docker و Kubernetes برای کانتینرسازی و مدیریت بارهای کاری توزیع شده.
  • تصویری‌سازی داده: آشنایی با ابزارهایی مانند Power BI یا Tableau برای پشتیبانی از بینش‌های کسب‌وکار و گزارش‌دهی.

این شغل می‌تواند با اضافه کاری همراه باشد.