חברת הבינה המלאכותית הסינית DeepSeek נקטה צעד משמעותי במאמץ להוזיל את עלויות ההרצה של מודלי שפה גדולים, והכריזה על שחרור תשתית ההסקה (Inference) שלה, DeepInfer, כפרויקט קוד פתוח תחת רישיון Apache 2.0 בפלטפורמת GitHub. המערכת החדשה, המשמשת כבסיס לשירותי הייצור המבצעיים של החברה, נועדה לפתור את האתגר המרכזי העומד בפני חברות בתחום: אספקת שירותי בינה מלאכותית למאות מיליוני משתמשים בעלויות מוזלות ובקנה מידה נרחב.
לצד שלד התוכנה הראשי, החברה שחררה גם את הספרייה הנלווית deepseek-recipe, הממירה בקשות של משתמשים לרצפי אסימונים (Tokens) באותה לוגיקה המשמשת את ממשק התכנות (API) הרשמי שלה. בשלב זה, התשתית תומכת במודל יחיד - DeepSeek-V4.1-Flash - וענף ברירת המחדל שלה טוען את גרסת 1017 המעודכנת של המודל, אשר שוחררה במהלך סוף השבוע. בחברה ציינו כי קוד ההסקה עבור מודלים עתידיים יתווסף לאותו מאגר קוד פתוח.
חיסכון במשאבים ושיטות אופטימיזציה מתקדמות
לפי הנתונים הטכניים שפרסמה DeepSeek על מערך הפריסה שלה, אשכול מחשוב בודד בחברה מעבד כיום כ- 155 טריליון אסימונים ביום. בשעות שפל, ההכנסות והעלויות התפעוליות של המערכת מוערכות בכ- 38 דולר לשעת מעבד גרפי (GPU).
כדי להגיע ליעילות זו ולחתוך את עלויות החישוב, DeepInfer מציגה מספר שיפורים אלגוריתמיים משמעותיים. החידוש הראשון מתבצע באמצעות מנגנון פענוח משוער (Speculative decoding) בשם DSpark. במנגנון זה, מודל טיוטה ראשוני מציע חמישה אסימונים בו-זמנית, בעוד רכיב ביטחון (Confidence head) מעריך אילו מתוכם יתקבלו על ידי המודל הראשי. חישוב האימות מוקצה אך ורק למועמדים בעלי ההסתברות הגבוהה ביותר, דבר המפחית את מספר אסימוני הטיוטה שנבדקים בכל שלב בכ- 30%. להערכת החברה, טכניקה זו מעלה את קצב העיבוד (Throughput) ב- 4% עד 7% תחת עומסי עבודה של סביבת ייצור.
טכניקה מרכזית נוספת מתמקדת בשלב קליטת הנתונים הראשונית (Prefill). התשתית מריצה בחזרה דרך שכבות המפענח של המודל רק את 128 האסימונים האחרונים של כל הנחיה (Prompt). בחברה מציינים כי שיטה זו מקצצת כמעט מחצית מכלל חישובי ה-prefill הנדרשים להרצת השאילתות.
תמיכה בחומרה והגבלות טכנולוגיות
מבחינת תשתיות חומרה, DeepInfer תומכת כיום בשני סוגי מעבדים מתקדמים בלבד: מעבדי SM100 Blackwell של חברת Nvidia, ומאיצי הבינה המלאכותית Ascend 950 של חברת Huawei. ארכיטקטורות ישנות יותר של Nvidia, כגון סדרת Hopper, אינן נתמכות במערכת. כמו כן, שתי תכונות המבטיחות כי פלט המודל יהיה זהה לחלוטין בין הרצות שונות פועלות אך ורק על גבי החומרה של Nvidia, וכל מדדי הביצועים והבנצ'מרקים שפורסמו בוצעו על שבבי Nvidia.
התמיכה במעבדי Ascend של Huawei מגיעה בהמשך לשחרור שפת התכנות TileLang בסוף ספטמבר, אשר הותאמה לשבבי Huawei בשיתוף פעולה הדדי. מהלך זה משתלב בתוכניות ההתרחבות של DeepSeek, הכוללות פריסה של לפחות 160,000 מאיצי Ascend 950DT במרכז נתונים חדש שהיא מקימה במונגוליה הפנימית.
חלוקת המשימות בין המחשבים נותרה בידי המפעילים הארגוניים:
תשתית מינימלית יעילה: הפריסה הקטנה ביותר שהוגדרה כאיכותית דורשת 64 מעבדים גרפיים המוקצים לשלב ה-prefill ו-64 מעבדים נוספים המוקצים לשלב הפענוח (Decode).
תאימות חומרה: עבודה בלעדית מול מעבדי פרימיום חדישים מבית Nvidia ו-Huawei.
שורשי הפרויקט ומה שלא שוחרר בקוד הפתוח
הגרסה הנוכחית של DeepInfer מבוססת במקור על התאמה מוקדמת של תשתית הקוד הפתוח vLLM. כבר באפריל 2025 תכננה החברה לשחרר את המערכת, אך נמנעה מכך עקב קישור הדוק של הקוד לכלי ניהול האשכולות הפנימיים שלה. בפרסומיה מאותה תקופה ציינה DeepSeek כי תחזוקת פרויקט קוד פתוח גדול הייתה מעבר ליכולתו של צוות מחקר קטן שממוקד בפיתוח מודלים. מאז שחררה החברה רכיבים בודדים, בהם ספריות הליבה FlashMLA, DeepGEMM ו-DeepEP, שמשולבות כעת בתוך DeepInfer.
גם במהדורה הנוכחית, DeepSeek לא כללה את הקוד המנהל את זיכרון המטמון (KV cache) ואת מנגנוני איזון העומסים (Load balancing), מאחר שרכיבים אלו מוסיפים להיות מקושרים באופן הדוק לתשתית המחשוב הפנימית שלה. עם זאת, החברה פרסמה הסבר מפורט על אופן פעולתם ברשת Zhihu.
שחרור התשתית לקוד הפתוח מתרחש בצל מתיחות גיאופוליטית גוברת: יום בלבד לפני הפרסום, הורה המשרד לביטחון המולדת של ארצות הברית לסוכנויות פדרליות אזרחיות להסיר כליל את כל מוצרי DeepSeek ממערכותיהן, כולל שירותי צד שלישי המבוססים על הטכנולוגיה שלה.
למה זה חשוב לך
עבור חברות ישראליות המפתחות או משתמשות במודלי שפה גדולים, שחרור תשתית כמו DeepInfer בקוד פתוח עשוי להוזיל משמעותית את עלויות ההרצה והתפעול של מערכות AI, בדומה למה שמתואר בכתבה. ארגונים מקומיים בתחום ההייטק יוכלו לבחון אימוץ שיטות האופטימיזציה שפיתחה DeepSeek, כמו הפענוח המשוער וצמצום חישובי ה-prefill, כדי לשפר את היעילות של מערכות ה-AI שלהם. יחד עם זאת, כדאי לקחת בחשבון שהתלות בחומרה ייעודית של Nvidia או Huawei, וכן המתיחות הגיאופוליטית סביב DeepSeek, עשויות להשפיע על שיקולי אימוץ הטכנולוגיה בסביבות עסקיות וממשלתיות רגישות.
התוכן בכתבה זו נועד לספק סקירה כללית בלבד ואינו מהווה תחליף לייעוץ מקצועי פרטני. המערכת אינה אחראית לכל נזק או הפסד שייגרם כתוצאה מהסתמכות על המידע המוצג.
קראו גם: בית המשפט בארה"ב דחה על הסף את התביעה נגד סאם אלטמן · AuxoAI מגייסת 20.7 מיליון דולר להאצת הטמעת בינה מלאכותית בארגוני ענק
