data engineer

توضیحات آگهی

شرکت Done پلتفرم محتوایی تلویزیون های هوشمند Android TV با بیش از 1 5 میلیون دستگاه فعال و پردازش روزانه بیش از 40 میلیون درخواست است با توجه به گسترش محصول و برنامه ریزی برای پیاده سازی سیستم ریکامندیشن Recommendation System پیشرفته ما در حال ارتقا و توسعه زیرساخت داده خود هستیم در حال حاضر جریان داده های ما حدود 3 میلیون رکورد در روز بر بستر PostgreSQL و ClickHouse مدیریت می شود هدف اصلی در این موقعیت شغلی معماری مجدد جریان داده پیاده سازی زیرساخت Streaming و خودکارسازی فرآیندهای ETL است ما برای این نقش به یک مهندس داده ارشد به صورت تمام وقت و یا یک معمار داده مشاور باتجربه به صورت پاره وقت پروژه ای نیاز داریم تا مالکیت فنی این گذار را بر عهده بگیرد مسئولیت های کلیدی معماری و توسعه زیرساخت داده طراحی استقرار و نگهداری بستر پردازش داده مقیاس پذیر با استفاده از Kafka برای استریمینگ و Airflow برای مدیریت گردش کار Orchestration طراحی و بهینه سازی فرآیندهای ETL ایجاد پایپ لاین های پایدار برای انتقال و همگام سازی بی درنگ داده ها از PostgreSQL به ClickHouse جهت مصارف تحلیلی و مارکتینگ مدیریت پایگاه های داده تحلیلی مدل سازی داده پارتیشن بندی و بهینه سازی کوئری ها در ClickHouse برای پاسخ گویی در کمترین زمان ممکن بسترسازی برای سیستم ریکامندیشن آماده سازی زیرساخت پردازش کلان داده Big Data و همکاری در انتخاب و استقرار ابزارهای پردازشی توزیع شده مانند Apache Spark پایش و قابلیت اطمینان Reliability اطمینان از صحت یکپارچگی و در دسترس بودن داده ها و ایجاد سیستم های مانیتورینگ برای پایپ لاین ها نیازمندی های تخصصی تجربه اثبات شده سابقه کار تخصصی در مهندسی داده و طراحی پایپ لاین های پردازش داده در مقیاس بالا High throughput پایگاه های داده تسلط عمیق بر پایگاه های داده تحلیلی به طور خاص ClickHouse و پایگاه های داده رابطه ای PostgreSQL ابزارهای مهندسی داده تجربه عملی در پیاده سازی و مدیریت Apache Kafka و ابزارهای Orchestration مانند Apache Airflow زبان های برنامه نویسی تسلط عالی به Python برای توسعه پایپ لاین ها و تسلط کامل به SQL پیشرفته آشنایی با Node js NestJS با توجه به استک بک اند ما مزیت محسوب می شود زیرساخت و عملیات آشنایی با مفاهیم کانتینرسازی و تجربه کار در محیط های لینوکسی Docker و Kubernetes طرز تفکر تحلیلی توانایی درک نیازمندی های محصولی مارکتینگ و تبدیل آن ها به مدل های داده کارآمد چرا این موقعیت شغلی جذاب است شما با یک سیستم از پیش ساخته و غیرقابل تغییر مواجه نیستید بلکه نقش کلیدی در انتخاب ابزارها و طراحی معماری پایپ لاین های جدید خواهید داشت دیتای شما مستقیماً رفتار میلیون ها کاربر را در یک پلتفرم زنده تحلیل می کند و زیربنای اصلی سیستم ریکامندیشن ما خواهد بود خراسان رضوی مشهد وکیل آباد تمام وقت دان کارشناس جنسیت تفاوتی ندارد فناوری اطلاعات نرم افزار و سخت افزار