مهندس داده

توضیحات آگهی

شرح وظایف
طراحی و توسعه Data Pipeline برای پردازش دادههای حجیم در معماریهای Batch و Streaming
پیادهسازی و نگهداری فرایندهای ETL ELT با هدف یکپارچهسازی داده از منابع مختلف
مشارکت در معماری Data Warehouse و Data Mart و تدوین مدلهای داده متناسب با نیازهای تحلیلی
تحلیل و بهینهسازی Queryهای SQL و شناسایی گلوگاههای عملکردی در پردازش داده
کنترل کیفیت دادهها از نظر صحت کاملبودن سازگاری و وجود رکوردهای تکراری یا نامعتبر
عیبیابی خطاهای Pipeline و ارتقای پایداری فرایندهای انتقال و پردازش اطلاعات
پیادهسازی سازوکارهای پایش ثبت لاگ و اجرای مجدد فرایندهای ناموفق
تهیه مستندات فنی مربوط به ساختار دادهها جریانهای انتقال و فرایندهای پردازشی
تعامل مستمر با تیمهای BI تحلیل داده DBA و سایر بخشهای فنی برای پاسخگویی به نیازهای اطلاعاتی سازمان
شرایط و مهارتهای موردنیاز
2 تا 3 سال تجربه مرتبط در مهندسی داده پردازش داده یا حوزه انبار داده
تسلط به SQL و تجربه کار با PostgreSQL
سابقه عملی در توسعه ETL ELT و Data Pipeline
تسلط کامل بر Apache Spark و Spark SQL
تسلط کامل بر Apache Kafka و آشنایی با مفاهیم پردازش جریانی
شناخت کامل اصول Data Warehouse Data Mart و مدلسازی داده
توانایی بررسی Execution Plan شناخت Indexها و بهینهسازی Queryها
مهارت در تحلیل مسائل فنی و ارائه راهکارهای پایدار و قابل نگهداری
مهارتهای امتیازی
آشنایی با ابزارهای هوش تجاری بهویژه Power BI
تجربه در یکپارچهسازی داده و طراحی کنترلهای Data Quality
سابقه بهبود عملکرد پردازش داده در مقیاس بالا
آشنایی با ابزارهای زمانبندی و ارکستراسیون جریانهای داده
آشنایی با Git تستنویسی و Docker
ویژگیهای فردی
ذهن تحلیلگر و رویکرد مسئلهمحور
دقت در کار با دادهها و توجه به صحت نتایج
توانایی مستندسازی و انتقال دانش فنی
شرکت شرکتی فعال در حوزه طلا
دسته بندی توسعه نرم افزار برنامه نویسی هوش مصنوعی
نحوه همکاری تمام وقت
نوع همکاری حضوری
مدرک تحصیلی کامپیوتر و فناوری اطلاعات
سابقه کار کارشناس ارشد متخصص
حقوق توافقی
شهر تهران