×
ribbon
مکتب خونه هوش مصنوعیمفاهیم هوش مصنوعیعلم داده

آموزش پیاده‌سازی ETL و Data Pipelines با استفاده از Shell، Airflow و Kafka

مدرس:Coursera

IBM Skills Network Teamآکادمی گرولی

در این دوره آموزشی، با دو رویکرد مختلف برای تبدیل داده های خام به داده های آماده تحلیل... بیشتر
زیرنویس
2.8 (12)
5 دیدگاه
571دانشجو
1:56ساعت
سرفصل‌ها
پیشرفته سطح دوره
بروزرسانیمرداد ۱۴۰۴

اشتراک مکتب‌پلاس

خرید اشتراک

با خرید اشتراک مکتب‌پلاس، علاوه بر این دوره، به بیش از ۴،۰۰۰ دوره دیگر دسترسی خواهید داشت.

دسترسی به تمام دوره‌هابیش از ۴،۰۰۰ دوره
محتوای دوره
سرفصل‌ها
پیش‌نیاز‌ها
توضیحات دوره
دیدگاه کاربران
درباره مدرس

آنچه در این دوره می‌آموزید

توصیف و مقایسه ی فرآیندهای استخراج، تبدیل، بارگذاری (ETL) و (ELT)

توضیح حالت‌های اجرای دسته‌ای (Batch) و همزمان (Concurrent)

پیاده‌سازی جریان کاری ETL از طریق توابع Bash و Python

توصیف اجزا، فرآیندها، ابزارها و فناوری‌های مرتبط با پایپ‌لاین داده

این دوره شامل:

2 ساعت ویدئو

9 جلسه متنی

گواهینامه مکتب‌خونه

دسترسی مادام‌العمر به محتوای دوره

زیرنویس اختصاصی مکتب‌خونه

سرفصل‌های دوره

4 فصل20 جلسه1:56 ساعت ویدیو
تکنیک‌های پردازش داده‌
  مبانی ETL
05:23
  مقدمه دوره
01:36
  اصول اولیه ELT
04:15
  مقایسه ETL و ELT
04:26
  تکنیک‌های استخراج داده‌
04:26
  مقدمه‌ای بر تکنیک‌های تبدیل داده‌
04:24
  تکنیک‌های بارگذاری داده‌
03:45
  خلاصه و نکات برجسته
00:44
ابزارها و تکنیک‌های ETL و Data Pipelines
  دستورات لینوکس و Shell Scripting
00:46
  تکنیک‌های ETL
06:31
  استفاده از Shell Scripting در ETL
04:58
  خلاصه و نکات کلیدی
00:10
  مقدمه‌ای بر Data Pipelines
04:25
  فرآیند کلیدی در Data Pipeline
04:35
  موارد کاربرد Data Pipelines، پردازش دسته‌ای در مقایسه با جریانی
04:31
  ابزارها و فناوری‌های Data Pipelines
06:53
  خلاصه و نکات کلیدی
00:50
ساخت Data Pipelines با استفاده از Airflow
  مرور کلی Apache Airflow
06:20
  مزایای نمایش Data Pipelines به‌صورت نمودارهای جهت‌دار غیرمدور (DAG) در Apache Airflow
06:43
  آشنایی با رابط کاربری Apache Airflow
03:37
  ساخت یک DAG با استفاده از Apache Airflow
04:11
  Logging و Monitoring در Airflow
04:18
  خلاصه و نکات کلیدی
01:00
ساخت streaming pipelines با استفاده از Kafka
  اجزای پلتفرم توزیع‌شده استریم رویدادها
05:41
  مرور کلی Apache Kafka
06:00
  ساخت streaming pipelines رویداد با استفاده از Kafka
09:33
  فرآیند استریم در Kafka
05:01
  خلاصه و نکات کلیدی
00:36
  تبریک و گام‌های بعدی
00:14

پیش‌نیاز‌ها

توضیحات دوره

در این دوره آموزشی، با دو رویکرد مختلف برای تبدیل داده‌های خام به داده‌های آماده تحلیل آشنا می‌شوید:

  • فرآیند استخراج، تبدیل، و بارگذاری (ETL)
  • فرآیند استخراج، بارگذاری، و تبدیل (ELT)

رویکرد ETL معمولاً در انبارهای داده و دیتامارت‌ها به‌کار می‌رود، در حالی‌ که ELT بیشتر برای دریاچه‌های داده (Data Lakes) مناسب است؛ جایی که تبدیل داده‌ها به‌صورت درخواستی توسط اپلیکیشن‌های مصرف‌کننده انجام می‌شود.

در طول این دوره، با ابزارها و تکنیک‌های مورد استفاده در پایپ‌لاین‌های داده و فرآیندهای ETL آشنا خواهید شد. شما نحوه استخراج داده از منابع مختلف، انتقال داده در مسیر پایپ‌لاین، و ذخیره‌سازی آن در سیستم مقصد را تجربه می‌کنید و تفاوت‌های کلیدی بین ETL و ELT را درک خواهید کرد.

همچنین روش‌ها و ابزارهای مختلف برای:

  • استخراج داده‌ها
  • ادغام منطقی یا فیزیکی داده‌های استخراج‌شده
  • بارگذاری داده‌ها در مخازن مختلف

را بررسی خواهید کرد.

در ادامه، تبدیل‌هایی که بر روی داده‌های خام برای افزایش اعتبار، زمینه‌سازی، و دسترسی‌پذیری داده اعمال می‌شود را تعریف خواهید کرد. همچنین با روش‌های مختلف بارگذاری داده در مقصد، بررسی کیفیت داده، پایش خطاهای بارگذاری، و استفاده از مکانیزم‌های بازیابی در صورت بروز خطا آشنا می‌شوید.

در بخش عملی دوره، با استفاده از Apache Airflow یاد می‌گیرید چگونه پایپ‌لاین‌های داده بسازید و مزایای استفاده از این ابزار را خواهید شناخت. همچنین با Apache Kafka برای ساخت پایپ‌لاین‌های داده‌ی جریانی (streaming pipelines) و اجزای اصلی آن از جمله Broker، Topic، Partition، Replication، Producer و Consumer آشنا خواهید شد.

دیدگاه کاربران

2.8

بر اساس امتیاز 12 دانشجو

1
2
3
4
5

سینا نادری فرد

25 روز پیش

5

Perfekt

علی اصغر سلیمیان

3 ماه پیش

2

دوره در سطح مبتدی و آشنایی با مفاهیم اولیه

علی نقوی

6 ماه پیش

2

در حد تعریف کلیات هست

فاطمه سپه وند

3 ماه پیش

1

اصلا دوره ی خوبی نیست خوب ترجمه نشده من توجه نکردم که ترجمه ست وگرنه نمیخریدم دنبال دوره ی بودم که این مباحث etl و pipeline رو سریع یاد بگیرم که متاسفانه بعد از خرید متوجه شدم که چقدر بد توضیح میده اصلا توصیه نمیکنم بخرید

معین شهبازی

6 ماه پیش

1

فقط مباحث کلی را پوشش می دهد

گواهینامه اختصاصی دو زبانه

پس از گذراندن دوره به صورت آنلاین در سایت مکتب‌خونه، گواهی‌نامه رسمی پایان دوره به زبان فارسی و انگلیسی، توسط مکتب‌خونه به اسم شما صادر شده و در اختیار شما قرار می‌گیرد.

امکان اشتراک گذاری در لینکدین
دو زبانه

ضمانت بازگشت وجه

کیفیت این آموزش توسط مکتب‌خونه تضمین شده است. در صورت عدم رضایت، با شرایط زیر می‌توانید درخواست بازگشت وجه کنید.

مهلت درخواستتا ۱۵ روز پس از خرید دوره
میزان مشاهدهکمتر از ۲۰ درصد یا ۵ جلسه از دوره
IBM Skills Network Team
3دوره
1,040دانشجو
18نظر و امتیاز

در شبکه مهارت‌های IBM، ما به‌خوبی می‌دانیم که چقدر برای کسب‌وکارها، حرفه‌ای‌ها و دانشجویان اهمیت دارد که مهارت‌های عملی و آماده برای کار را به‌سرعت به دست آورند تا بتوانند در رقابت باقی بمانند. دوره‌های ما توسط متخصصانی طراحی شده‌اند که در خط مقدم نوآوری‌های فناوری فعالیت می‌کنند. با سال‌ها تجربه در زمینه‌هایی مانند هوش مصنوعی، توسعه نرم‌افزار، امنیت سایبری، علم داده، مدیریت کسب‌وکار و دیگر حوزه‌ها، مدرسان ما دیدگاه‌های واقعی و آموزش‌های عملی و کاربردی را به هر بخش از دوره‌ها می‌آورند. چه در حال ارتقای مهارت‌های خود باشید و چه تیم خود را تقویت کنید، ما شما را با تجربیات عملی و دانش فنی و مدیریتی متمرکز بر آینده مجهز خواهیم کرد تا در دنیای همیشه در حال تحول امروز موفق شوید.

آکادمی گرولیآموزش مهارت‌های شغلی
104دوره
53,483دانشجو
2,248نظر و امتیاز

• آکادمی گرولی با هدف توانمندسازی و توسعه‌ی حرفه‌ای افراد فعالیت می‌کند.

• دوره‌های این آکادمی در حوزه‌های شغلی متنوعی مانند هوش مصنوعی، برنامه‌نویسی، نرم‌افزارهای کاربردی، مدیریت محصول، بازاریابی دیجیتال، مهارت‌های نرم و توسعه کسب‌وکار دسته‌بندی می‌شوند.

• این دوره‌ها اکثرا از پرفروش‌ترین آموزش‌های برترین پلتفرم‌های یادگیری دنیا مانند یودمی، لینکدین‌لرنینگ، کورسرا و ریفورج هستند که همگی با زیرنویس فارسی منتشر شده‌اند. همچنین چندی از دوره‌های این آکادمی نیز، به صورت اختصاصی توسط مدرسان معتبر ایرانی تهیه گردیده‌اند.

مهارت‌هایی که می‌آموزید

آموزش پایتون
آموزش BI
آموزش بیگ دیتا
آموزش علم داده
آموزش تحلیل داده
آموزش مفاهیم هوش مصنوعی
آموزش هوش مصنوعی

دوره‌های مشابه

دیگر دوره‌های آکادمی گرولی