داده‌های خام را با ETL به داده‌های آماده تحلیل تبدیل کنید و پایپ‌لاین‌های دسته‌ای و جریانی را با Airflow و Kafka بسازید.
توصیف و مقایسه ی فرآیندهای استخراج، تبدیل، بارگذاری (ETL) و (ELT)
توضیح حالت‌های اجرای دسته‌ای (Batch) و همزمان (Concurrent)
پیادهسازی جریان کاری ETL از طریق توابع Bash و Python
توصیف اجزا، فرآیندها، ابزارها و فناوری‌های مرتبط با پایپ‌لاین داده
2 ساعت ویدئو
9 جلسه متنی
گواهینامه مکتب‌خونه
دسترسی مادام‌العمر به محتوای دوره
زیرنویس اختصاصی مکتب‌خونه
در این دوره آموزشی، با دو رویکرد مختلف برای تبدیل داده‌های خام به داده‌های آماده تحلیل آشنا می‌شوید:
رویکرد ETL معمولاً در انبارهای داده و دیتامارت‌ها به‌کار می‌رود، در حالی که ELT بیشتر برای دریاچه‌های داده (Data Lakes) مناسب است؛ جایی که تبدیل دادهها به‌صورت درخواستی توسط اپلیکیشن‌های مصرف‌کننده انجام می‌شود.
در طول این دوره، با ابزارها و تکنیک‌های مورد استفاده در پایپ‌لاین‌های داده و فرآیندهای ETL آشنا خواهید شد. شما نحوه استخراج داده از منابع مختلف، انتقال داده در مسیر پایپ‌لاین، و ذخیره‌سازی آن در سیستم مقصد را تجربه می‌کنید و تفاوت‌های کلیدی بین ETL و ELT را درک خواهید کرد.
همچنین روش‌ها و ابزارهای مختلف برای:
را بررسی خواهید کرد.
در ادامه، تبدیل‌هایی که بر روی داده‌های خام برای افزایش اعتبار، زمینه‌سازی، و دسترسی‌پذیری داده اعمال می‌شود را تعریف خواهید کرد. همچنین با روش‌های مختلف بارگذاری داده در مقصد، بررسی کیفیت داده، پایش خطاهای بارگذاری، و استفاده از مکانیزم‌های بازیابی در صورت بروز خطا آشنا می‌شوید.
در بخش عملی دوره، با استفاده از Apache Airflow یاد می‌گیرید چگونه پایپ‌لاین‌های داده بسازید و مزایای استفاده از این ابزار را خواهید شناخت. همچنین با Apache Kafka برای ساخت پایپ‌لاین‌های داده‌ی جریانی (streaming pipelines) و اجزای اصلی آن از جمله Broker، Topic، Partition، Replication، Producer و Consumer آشنا خواهید شد.
بر اساس امتیاز 24 دانشجو
پس از گذراندن دوره به صورت آنلاین در سایت مکتب‌خونه، گواهینامه رسمی پایان دوره به زبان فارسی و انگلیسی، توسط مکتب‌خونه به اسم شما صادر شده و در اختیار شما قرار می‌گیرد.
کیفیت این آموزش توسط مکتب‌خونه تضمین شده است. در صورت عدم رضایت، با شرایط زیر می‌توانید درخواست بازگشت وجه کنید.
در شبکه مهارت‌های IBM، ما به‌خوبی می‌دانیم که چقدر برای کسب‌وکارها، حرفه‌ای‌ها و دانشجویان اهمیت دارد که مهارت‌های عملی و آماده برای کار را به‌سرعت به دست آورند تا بتوانند در رقابت باقی بمانند. دوره‌های ما توسط متخصصانی طراحی شده‌اند که در خط مقدم نوآوری‌های فناوری فعالیت می‌کنند. با سال‌ها تجربه در زمینه‌هایی مانند هوش مصنوعی، توسعه نرم‌افزار، امنیت سایبری، علم داده، مدیریت کسب‌وکار و دیگر حوزه‌ها، مدرسان ما دیدگاه‌های واقعی و آموزش‌های عملی و کاربردی را به هر بخش از دوره‌ها می‌آورند. چه در حال ارتقای مهارت‌های خود باشید و چه تیم خود را تقویت کنید، ما شما را با تجربیات عملی و دانش فنی و مدیریتی متمرکز بر آینده مجهز خواهیم کرد تا در دنیای همیشه در حال تحول امروز موفق شوید.
• آکادمی گرولی با هدف توانمندسازی و توسعه‌ی حرفه‌ای افراد فعالیت می‌کند.
• دوره‌های این آکادمی در حوزه‌های شغلی متنوعی مانند هوش مصنوعی، برنامه‌نویسی، نرم‌افزارهای کاربردی، مدیریت محصول، بازاریابی دیجیتال، مهارت‌های نرم و توسعه کسب‌وکار دسته‌بندی می‌شوند.
• این دوره‌ها اکثرا از پرفروش‌ترین آموزش‌های برترین پلتفرم‌های یادگیری دنیا مانند یودمی، لینکدین‌لرنینگ، کورسرا و ریفورج هستند که همگی با زیرنویس فارسی منتشر شده‌اند. همچنین چندی از دوره‌های این آکادمی نیز، به صورت اختصاصی توسط مدرسان معتبر ایرانی تهیه گردیده‌اند.
آموزش پیادهسازی ETL و Data Pipelines با استفاده از Shell، Airflow و Kafka
