توضیحات
ما به دنبال یک مهندس داده با تجربه و با درک عمیق از سیستمهای دریاچههای داده، انبارهای داده و پایگاه داده هستیم. در این نقش شما مسئول طراحی، توسعه و بهینهسازی زیرساختهای داده در مقیاس بزرگ خواهید بود تا یکپارچگی بینقص، دسترسی بالا و مقیاسپذیری را تضمین کنید. کاندید ایدهال باید در روشهای مدیریت داده تخصص قوی داشته باشد و بتواند راهحلهای پیشرفتهای را برای پشتیبانی از جریانهای کاری تحلیلی پیچیده و نیازهای بلادرنگ (real-time) پیادهسازی کند. همچنین شما با تیمهای هوش مصنوعی همکاری نزدیک خواهید داشت تا مدلها و راهحلهای هوشمندی ایجاد کنید که از دادههای ما به طور موثر بهرهبرداری کنند.
مسئولیتهای کلیدی:
- طراحی، توسعه و نگهداری خطوط لوله ETL/ELT مقیاسپذیر برای استخراج، تبدیل و بارگذاری کارآمد دادهها در سیستمهای متنوع.
- رهبری در طراحی، بهینهسازی و نگهداری دریاچهها و انبارهای داده برای سازماندهی و بازیابی کارآمد دادهها.
- مدیریت و بهینهسازی پایگاههای داده رابطهای و NoSQL برای تضمین عملکرد بالا، یکپارچگی داده و امنیت.
استفاده از تکنیکهایی مانند ایندکسگذاری، شاردینگ و تکرار. - با پیادهسازی و اعمال استانداردهای کیفیت داده شامل اعتبارسنجی خودکار، تشخیص ناهنجاری و فرآیندهای تطبیق، دقت و قابلیت اطمینان دادهها را تضمین نمایید.
- با تیم DevOps همگام شوید تا استقرار زیرساختهای داده ابری را سازماندهی کنید، از ابزارهای زیرساخت به عنوان کد بهره ببرید و مقیاسپذیری، تحمل خطا و بازیابی از فاجعه را تضمین نمایید.
مهارتها و صلاحیتها:
- مهارتهای ارتباطی: تسلط قوی به ارتباط نوشتاری و گفتاری انگلیسی برای بیان موثر مفاهیم فنی به ذینفعان فنی و غیر فنی.
- تجربه: حداقل سه سال تجربه حرفهای در مهندسی داده با تخصص عملی در مدیریت دریاچههای داده پیچیده، انبارهای داده و پایگاههای داده توزیع شده.
- دریاچههای داده: تجربه اثبات شده در طراحی و پیادهسازی معماریهای دریاچه داده با استفاده از ابزارهایی مانند Amazon S3 ،Azure Data Lake یا Google Cloud Storage.
- انبار داده: تخصص در پلتفرمهایی مانند Amazon Redshift ،Snowflake یا Google BigQuery با تمرکز بر طراحی پیشرفته اسکیما و بهینهسازی کوئری.
- مدیریت پایگاه داده: تسلط قوی به SQL، با تجربه در مدیریت پایگاههای داده رابطهای (PostgreSQL و MySQL) و سیستمهای NoSQL (MongoDB و Cassandra).
- توسعه ETL: مهارت در ابزارهای ETL مانند Apache Airflow ،Talend یا Informatica برای خودکارسازی جریانهای کاری داده.
- برنامهنویسی: مهارتهای قوی در Python با تاکید بر نوشتن کد تمیز، ماژولار و مستند.
- پردازش دادههای بزرگ: دانش عمیقی از فریمورکهای داده بزرگ مانند Apache Spark ،Hadoop یا Kafka برای پردازش دادههای توزیع شده و جریانی.
- پلتفرمهای ابری: تجربه عملی با پلتفرمهای ابری مانند AWS ،Google Cloud یا Azure شامل استفاده از ابزارها و خدمات ابری.
- جریان بلادرنگ: تجربه با پلتفرمهای جریان داده بلادرنگ مانند Apache Kafka یا Amazon Kinesis برای نگهداری خطوط لوله بلادرنگ.
مهارتهای ترجیحی:
- کانتینرسازی و ارکستراسیون: تجربه با Docker و Kubernetes برای کانتینرسازی و مدیریت بارهای کاری توزیع شده.
- تصویریسازی داده: آشنایی با ابزارهایی مانند Power BI یا Tableau برای پشتیبانی از بینشهای کسبوکار و گزارشدهی.
این شغل میتواند با اضافه کاری همراه باشد.