חברת מטא חברה לסטארט-אפ הדרום-קוריאני Panmnesia במטרה לפתח ארכיטקטורת מרכזי נתונים חדשנית, המיועדת להפוך אלפי מעבדי בינה מלאכותית למערכת מחשוב אחודה אחת. הפיתוח החדש מתמודד עם אחת הבעיות המרכזיות בהרחבת תשתית AI: חוסר היעילות והשיהוי הנוצרים כאשר אימון מודלים ענקיים מתפזר על פני מאות ואלפי מאיצים נפרדים. הארכיטקטורה המוצעת מסוגלת לאחד עד 960 מאיצי בינה מלאכותית (GPUs) בתוך מתחם זיכרון עקבי (coherence domain) אחד, ובכך לאפשר למרכז הנתונים לתפעל כמעט אלף מעבדים כאילו היו מעבד ענק יחיד.
ביטול צווארי הבקבוק: מ-Ethernet לטכנולוגיית CXL
במערכות אימון בינה מלאכותית מודרניות, הנתונים והחישובים מחולקים בין אלפי מאיצים. מכיוון שכל מאיץ חייב לעבור שלבי חישוב חוזרים ונשנים בסנכרון עם שאר הרכיבים, עיכוב קל ברכיב בודד עלול לאלץ את כל שאר המעבדים להמתין.
באופן מסורתי, התקשורת בין מסדי השרתים (Racks) השונות מתבצעת באמצעות רשתות תקשורת רגילות כמו Ethernet או InfiniBand. רשתות אלו דורשות עיבוד חבילות מידע ותיאום תוכנתי מורכב, דבר שמייצר תנודות בשיהוי (latency) ככל שעומס העבודה מתפרס על פני שרתים רבים יותר.
כדי להתגבר על מגבלה זו, הארכיטקטורה החדשה מבוססת על טכנולוגיית Compute Express Link (או CXL). פרוטוקול זה מייצר מנגנון זיכרון משותף ועקבי, המאפשר למעבדים מרכזיים (CPUs), מאיצי AI ורכיבי זיכרון לפעול כולם בתוך סביבת משאבים מקושרת אחת, ללא צורך בקישורי רשת מסורתיים.
הפיתוח של Panmnesia כולל שילוב של שלושה רכיבי חומרה ייעודיים לניהול התנועה במערכת:
מתג בעל יחס חיבורים גבוה (High-fan-out switch): מיועד לניתוב עומסי עבודה בהיקף נרחב.
יחידת האצת קישורים (Link Acceleration Unit): מתאמת ומאיצה את העברת הנתונים בתוך המארג.
בקר מארג (Fabric Controller): מנהל את היררכיית התקשורת הכוללת.
רכיבים אלה מאורגנים במגשים (Trays), פודים (Pods) ומארג (Fabric), במתכונת המאמצת עקרונות ארגוניים המקובלים בתוך שבב סיליקון בודד.
פי 8 יותר מאיצים לכל מעבד: השוואה מול NVIDIA
בחינת הארכיטקטורה החדשה מציגה יתרון משמעותי בהיקף המאיצים שכל מעבד מרכזי מסוגל לנהל באופן ישיר. בארכיטקטורת הייחוס GB200 NVL72 של חברת NVIDIA, מעבד מרכזי בודד מנהל שני מאיצים בלבד באמצעות חיבור NVLink-C2C. לעומת זאת, בארכיטקטורה המשותפת למטא ול-Panmnesia, מעבד מרכזי יחיד מסוגל לתאם עבודה של 16 מאיצים - פי 8 מאשר בתקן ההשוואה.
כ-60 קבוצות כאלה של מעבד ו-16 מאיצים יכולות להתחבר יחד ליצירת מתחם עקביות יחיד המכיל כ-960 מאיצים. שינוי מבני זה מביא לירידה חדה בזמני הגישה בין המסדים השונים: השיהוי בתקשורת יורד ברמת המיקרו-שניות למאות ננו-שניות בלבד - ירידה של כסדר גודל שלם.
| פרמטר | ארכיטקטורת NVIDIA GB200 NVL72 | ארכיטקטורת CXL של מטא ו-Panmnesia |
|---|---|---|
| מאיצים לכל מעבד מרכזי | 2 מאיצים | 16 מאיצים |
| מאיצים במתחם עקביות יחיד | מוגבל למערכת המקומית | עד 960 מאיצים |
| זמן שיהוי בתקשורת בין מסדים | רמת המיקרו-שניות | מאות ננו-שניות |
| טכנולוגיית קישור מרכזית | NVLink-C2C | Compute Express Link (CXL) |
בנוסף לשיפור בביצועים, הארכיטקטורה מציעה יתרון תפעולי בתחזוקת השרתים: אם רכיב בודד נכשל, ניתן להחליפו באופן נקודתי מבלי להוציא שרת שלם מכלל פעולה. פריסה זו עשויה לצמצם את כמות החומרה התקינה שנזנחת בזמן תקלות, אם כי היתרונות התפעוליים בפועל תלויים באופן היישום בשטח.
"CXL מאפשרת לכל מרכז הנתונים לפעול כרכיב מחשוב יחיד." - מיונגסו ג'ונג (Myoungsoo Jung), מנכ"ל Panmnesia
מעקף למגבלות הפיזיקה: מחיבור חשמלי לאופטי
למרות ההבטחה הטכנולוגית, הארכיטקטורה ניצבת בפני מגבלות פיזיקליות של הולכה חשמלית. אותות CXL חשמליים מסוגלים לעבור מרחק של כ-7 מטרים בלבד בקצב העברת נתונים של 128 גיגה-טרנספרים לשנייה (GT/s), גם כאשר משתמשים בשני רכיבי תזמון מחדש (retimers).
כדי להתגבר על מגבלת המרחק ולהתפשט על פני שטחים גדולים יותר במרכז הנתונים, Panmnesia מציעה להשתמש בקישורי CXL אופטיים (Optical CXL). החברה השלימה בהצלחה אימות הוכחת היתכנות (proof-of-concept) בחומרה עבור הגישה האופטית.
מבחינת מוכנות הרכיבים, בקר המארג ויחידת האצת הקישורים כבר עברו בהצלחה אימות סיליקון (silicon validation). מתג התקשורת של החברה כבר יוצר בפועל, וכעת מועברים דגימות סיליקון טרום-ייצור לשותפים כחלק מתהליך הפיתוח לקראת מסחור מלא של המוצרים.
למה זה חשוב לך
עבור חברות ישראליות בתחום ה-AI, פיתוחים כאלה עשויים בטווח הארוך להוזיל ולייעל את עלויות האימון של מודלים גדולים, שכן חלק ניכר מהעלות הכרוכה בהפעלת תשתיות ענן מבוסס בינה מלאכותית נובע דווקא מהשהיות תקשורת בין מאיצים. ישראל, שבה פועלים מרכזי מו"פ של ענקיות טכנולוגיה וסטארט-אפים רבים בתחום השבבים והתשתיות, עשויה להיות מושפעת ישירות משינויים בסטנדרטים כמו CXL. בסופו של דבר, ככל שתשתיות אלו יתבססו ויוזלו, גם משתמשי קצה ומפתחים בישראל צפויים ליהנות משירותי AI מהירים וזולים יותר.
התוכן בכתבה זו נועד לספק סקירה כללית בלבד ואינו מהווה תחליף לייעוץ מקצועי פרטני. המערכת אינה אחראית לכל נזק או הפסד שייגרם כתוצאה מהסתמכות על המידע המוצג.
קראו גם: בכיר במיקרוסופט: אימון AI הוא "גניבת העבודה הגדולה בהיסטוריה" · בייג'ינג דוחה קריאות בלם מסיליקון ואלי: "ניסיון לבלום את סין"
