זהו הפרויקט האחרון והגדול ביותר של הקורס. “צנרת נתונים” (Data Pipeline) היא בדיוק כמו שהשם אומר — מידע נכנס בקצה אחד, עובר כמה תחנות עיבוד בדרך, ויוצא בקצה השני מוכן לשימוש. בונים אותה כמערכת שלמה, מורכבת מכמה תוכנות קטנות שעובדות יחד, בדיוק כמו בחלק הקודם — ומחברים בה כמעט את כל מה שנלמד בקורס כולו למוצר אחד אמיתי.

מה הולכים ללמוד בשיעורים הבאים

  • בניית החלק שקולט מידע גולמי מבחוץ ומכניס אותו למערכת — התחנה הראשונה בצנרת, שאחראית “לפתוח את הברז”.
  • בניית החלק שמעבד ומשנה את המידע שנקלט — התחנה שמנקה, מחשבת ומעצבת את המידע לפני שהוא ממשיך הלאה.
  • בניית החלק שחושף את המידע המעובד לשאילתות מבחוץ — כדי שאפשר יהיה “לשאול שאלות” על המידע אחרי שהוא כבר מוכן.
  • איך מעבדים מידע שזורם ברציפות, ולא רק בקבוצות מדי פעם — למשל להגיב מיד כשמגיע פריט מידע חדש, במקום לחכות שיצטברו הרבה ולעבד אותם ביחד פעם ביום.
  • חיבור כל החלקים האלה יחד להרצה כמערכת אחת שלמה — כדי שכל הצנרת תרוץ מקצה לקצה, לא רק כל חלק בנפרד.

עם מה תצאו מהחלק הזה

בסוף הקורס תדעו לתכנן ולהריץ בעצמכם מערכת אמיתית שמורכבת מכמה חלקים שעובדים יחד — בדיוק הארכיטקטורה שרוב מערכות התוכנה הגדולות בעולם בנויות עליה היום.