צוואר הבקבוק היקר של מערכות בינה מלאכותית
במערכות סוכני בינה מלאכותית (Agentic AI) מודרניות, מקובל לחלק את העבודה בין מודלים שונים: מודל קטן וזול מטפל במשימות פשוטות, ומעביר משימות מורכבות יותר למודל גדול וחזק. עם זאת, עד כה מעבר כזה דרש מחיר כבד. המודל המקבל נדרש לעבד מחדש את כל היסטוריית השיחה מהתחלה - שלב המכונה "קדם-מילוי" (Prefill). תהליך זה גרם לזינוק בעלויות המחשוב וליצירת שיהוי (Latency) משמעותי בזמן התגובה.
בעת קבלת קלט, מודל שפה מעבד את הטקסט ומאחסן את הנתונים במטמון ייעודי הנקרא KV Cache (מטמון מפתח-ערך). בשלב הבא, המכונה "פענוח" (Decode), המודל קורא נתונים מהמטמון כדי ליצור את המילים הבאות ברצף, מבלי לחשב מחדש את ההיסטוריה. ככל שהשיחה מתארכת וההקשר גדל, עלות שלב הקדם-מילוי עולה בהתאם לגודל המודל ולאורך הטקסט. כאשר המערכת מנסה להחליף מודל באמצע השיחה, המבנה הארכיטקטוני השונה של המודל החדש אינו מסוגל לקרוא את המטמון הקיים. כתוצאה מכך, המטמון נמחק והמודל החדש נאלץ לחשב את כל ההיסטוריה מאפס.
הפתרון: אלגברה ליניארית במקום אימון יקר
חוקרים בחברת אנבידיה (Nvidia) גילו כי המבנה של KV Cache בין מודלים מאותה משפחה הוא ליניארי ביסודו. הגילוי מוכיח כי ניתן לתרגם את הזיכרון ממודל מקור למודל יעד באמצעות רגרסיה ליניארית פשוטה, תוך ויתור על שלבי חישוב יקרים ואיטיים וללא צורך באימון רשתות נוירונים מורכבות וייעודיות.
הפתרון מבוסס על שלושה מרכיבים מרכזיים:
- רגרסיית רכס לכל ראש קשב (Per-head ridge regression): מודל מתמטי פשוט המכויל על בסיס מדגם קטן של כ-500 רצפי טקסט בלבד.
- בחירת שכבות מקור (Cross-layer source selection): מנגנון הבוחר את השכבות המיומנות ביותר במודל המקור וממפה אותן לשכבות המתאימות במודל היעד.
- מיפוי במרחב התוכן (Content-space mapping): הסרת קידודי המיקום היחסי (RoPE) לפני המעבר, מה שמאפשר לשיטה לעבוד גם על טקסטים ארוכים בהרבה מאלו ששימשו לכיול.
קיצור זמן העיבוד מ-7 שניות לשבריר שנייה
בסדרת ניסויים שביצעו החוקרים על 6 משפחות מודלים מובילות - ובהן Llama 3.1, Qwen3 ו-Ministral 3 - הוכח כי השיטה החדשה מהירה פי 2.7 עד 25 בהשוואה לחישוב מחדש של שלב הקדם-מילוי. במקביל, המודל המקבל שמר על 73% עד 98% מהדיוק המקורי שלו.
באחד המבחנים הבולטים, העברת מטמון ממודל Qwen3 בגודל 14 מיליארד פרמטרים למודל של 32 מיליארד פרמטרים עם הקשר של 32,768 אסימונים (Tokens) ארכה 278 מילי-שניות בלבד, לעומת כמעט 7 שניות בשיטה הרגילה.
השוואת נתונים מרכזית
- זמן מעבר (32,768 אסימונים): כ-7 שניות בחישוב מסורתי לעומת 278 מילי-שניות במעבר ליניארי.
- שימור דיוק המודל: 100% בחישוב מסורתי לעומת 73% עד 98% במעבר ליניארי.
- דרישות מחשוב: גבוהות מאוד וגדלות עם אורך הטקסט בחישוב מסורתי, לעומת דרישות אפסיות (חישוב ליניארי מהיר) בשיטה החדשה.
גם במעבר קיצוני במיוחד במודלי Llama 3.1, מ-8 מיליארד ל-70 מיליארד פרמטרים (פי 8.8 בגודל), נשמרו 72.8% מהדיוק. במקרים שבהם המיפוי הליניארי הציג מגבלות, כמו בחלק ממודלי Ministral, שימוש ברשת נוירונים קטנה מסוג MLP החזיר את הדיוק אל מעל ל-90%.
משמעות לתעשיית ההייטק ולפיתוח בישראל
העברת מטמון KV בין מודלים מעניקה למפתחים כלי נחוץ לשמירה על עלויות הסקה נמוכות בעת הרחבת מערכות סוכנים מרובות מודלים. עבור חברות הייטק ומרכזי פיתוח בישראל העוסקים בבניית יישומי בינה מלאכותית וסוכנים חכמים, טכנולוגיה זו מציעה מענה ישיר לאחת הבעיות הכלכליות והטכניות הקשות בתחום.
היכולת לתמרן באופן רציף בזמן אמת בין מודלים קטנים לגדולים, מבלי לשלם מחיר כבד בזמן תגובה ובעלויות ענן, עשויה לאפשר פיתוח מוצרים מהירים וכלכליים הרבה יותר ללקוחות קצה.
התוכן בכתבה זו נועד לספק סקירה כללית בלבד ואינו מהווה תחליף לייעוץ מקצועי פרטני. המערכת אינה אחראית לכל נזק או הפסד שייגרם כתוצאה מהסתמכות על המידע המוצג.