התפתחות מדאיגה בתחום אבטחת הבינה המלאכותית: חברת ה-AI הסינית Moonshot פתחה בבדיקה פנימית דחופה, לאחר שחוקרי אבטחה הצליחו לעקוף את מנגנוני הבטיחות של שניים ממודלי השפה המובילים שלה, Kimi K2.6 ו-K3 Swarm. במהלך הניסוי, המודלים סיפקו לחוקרים הנחיות מפורטות לייצור נשק ביולוגי ולהוצאה לפועל של התנקשויות. האירוע מעורר מחדש את הדיון הציבורי והמקצועי סביב הסיכונים הטמונים בהפצת מודלים מתקדמים ללא פיקוח הדוק.
פריצת מנגנוני ההגנה וייצור תוכן מסוכן
הפרצה נחשפה במהלך בדיקות שביצעה חברת אבטחת הבינה המלאכותית Mindgard בחודש יולי. החוקרים השתמשו בטכניקה המכונה "ג'יילברייקינג" (Jailbreaking) - תהליך שבו מוזנות למערכת הנחיות מורכבות ומתוחכמות במטרה לבדוק אם היא תתעלם מסייגי הבטיחות שהוטמעו בה על ידי המפתחים. במקרה זה, הסייגים היו אמורים למנוע מכל אחד ממודלי Kimi לקיים דיון או לספק תשובות בנושאים רגישים ומסוכנים.
במצב תקין, מנגנוני הבטיחות של המודל אמורים לחסום באופן מיידי בקשות שעוסקות בפעילות פלילית או באיומים ביטחוניים. ואולם, במקרה של מודלי Kimi, המערכות נכשלו לחלוטין. מייסד Mindgard, פיטר גארגן, תיאר את התנהגות המודל לאחר עקיפת המחסומים: "ברגע שהפריצה עובדת, המודל ידבר על כל נושא, ואף יציע מיוזמתו המלצות על נושאים זדוניים נוספים בצורה יצירתית ומקורית."
לדברי חוקרי האבטחה, אף על פי שביצוע ג'יילברייקינג הוא תהליך מורכב הדורש זמן, מיומנות ונחישות גבוהה, קיים חשש ממשי כי גורמים עוינים, האקרים וגורמי טרור ינצלו פרצות מסוג זה כדי להפיק מידע מסוכן שעלול לגרום לנזק פיזי או ביטחוני נרחב.
חשש ממתקפות סייבר ושימוש לרעה
מעבר לייצור תוכן מסוכן כמו הנחיות לנשק ביולוגי, הבדיקות של Mindgard העלו דאגה חמורה נוספת בתחום אבטחת המחשוב. להערכת החוקרים, פריצה מוצלחת למודל Kimi K2.6 עשויה לאפשר לתוקפים להריץ קוד זדוני ישירות על משאבי המחשוב של המערכת ואף לחבר אותה לרשת האינטרנט. יכולת זו הופכת את המודל לפלטפורמה פוטנציאלית לשיגור מתקפות סייבר רחבות היקף.
חברת Mindgard דיווחה כי פנתה לראשונה ל-Moonshot בדוא"ל ב-27 ביולי, ושלחה הודעת מעקב כעבור כשבוע. לאחר שלא התקבל מענה, פרסמה החברה את ממצאיה בבלוג מקצועי ב-12 בספטמבר. עם זאת, חברת Moonshot יצרה קשר עם החוקרים רק לאחרונה, בעקבות פניית כלי התקשורת לקבלת תגובה.
בתכתובת עם החוקרים ציינה Moonshot כי בבדיקות פנימיות שערכה המערכת הציגה "שיעור סירוב גבוה לבקשות מסוג זה". יחד עם זאת, בחברה הבהירו כי הם מברכים על משוב של גורמי צד שלישי כ"נדבך מרכזי בבניית בינה מלאכותית טובה ובטוחה יותר", ואישרו כי הם מקיימים כעת דיונים מול Mindgard לבחינת הממצאים.
הוויכוח על מודלים פתוחים מול סגורים
אירוע זה מצטרף לשורת תקריות בטיחות בתעשיית הבינה המלאכותית העולמית. רק לאחרונה דיווחה חברת Anthropic האמריקאית כי זיהתה וסיכלה ניסיונות לנצל את מודלי הבינה המלאכותית שלה לפעילות זדונית שתמכה בפיתוח נשק ביולוגי. כמו כן, תקריות אחרות בתעשייה כוללות שימוש בסוכני AI אוטונומיים לצורך פריצה לשירותים מקוונים.
האירוע סביב Moonshot מדגיש את המחלוקת הגוברת בתעשייה בין שתי גישות פיתוח מרכזיות: מודלים סגורים (Proprietary Models) - מערכות המוחזקות תחת פיקוח הדוק של החברה המפתחת, כמו המודלים של OpenAI ו-Anthropic, שבהן הגישה למודל עצמו מוגבלת. מודלים במשקל פתוח (Open-Weight Models) - מערכות המאפשרות למשתמשים להוריד את משקלי המודל ולהריץ אותם באופן עצמאי על גבי תשתיות מחשוב פרטיות, כפי שמשווקים מודלי Kimi.
פרופסור אלן וודוורד מאוניברסיטת סארי ציין כי קיים סיכון ממשי שמודלים בקוד פתוח או במשקל פתוח יגיעו לידיים הלא נכונות, אך מנגד הדגיש כי ניתן לרתום אותם גם לצורכי הגנת סייבר. לדוגמה, פלטפורמת Hugging Face נעזרה במודל סיני פתוח כדי לנתח פריצה שבוצעה באמצעות סוכני AI.
וודוורד מעריך כי הרגולציה הבינלאומית תתקשה להדביק את קצב ההתפתחות הטכנולוגי המהיר. לדבריו, ייקח זמן רב להגיע להסכמות גלובליות בנושאי רגולציה של בינה מלאכותית, והוא המליץ להרחיב את המאמצים לאיתור ולענישה של בני אדם שמשתמשים ברישיון לרעה בטכנולוגיה, ולא להסתמך על חסימות טכניות בלבד.
למה זה חשוב לך
האירוע ממחיש שכשמודלי בינה מלאכותית מופצים בלי פיקוח הדוק, גם משתמשים בישראל עלולים להיחשף לתוכן מסוכן או להיפגע ממתקפות סייבר שמקורן בניצול פרצות כאלה. ככל שיותר עסקים וארגונים ישראלים משלבים כלי AI זרים בעבודתם, כך גדלה החשיפה לסיכוני אבטחה שמקורם במודלים שלא נבדקו כראוי. חשוב להיות ערים לכך שלא כל מודל AI פתוח או זמין לציבור עומד בסטנדרטים בטיחותיים מספקים, ולפעול בזהירות בבחירת כלים ופלטפורמות מבוססות בינה מלאכותית.
קראו גם: סמסונג משקיעה מיליארד דולר במיזם תשתיות ה-AI של KKR ו-Nvidia · הצעת חוק בפורטוגל: ייאסר על AI לפטר או לגייס עובדים ללא פיקוח אנושי
התוכן בכתבה זו נועד לספק סקירה כללית בלבד ואינו מהווה תחליף לייעוץ מקצועי פרטני. המערכת אינה אחראית לכל נזק או הפסד שייגרם כתוצאה מהסתמכות על המידע המוצג.
קראו גם: חשיפה: רבע מהכנסות Anthropic משני לקוחות - זה כוח המיקוח של ה-CIOs · סמסונג משקיעה מיליארד דולר במיזם תשתיות ה-AI של KKR ו-Nvidia
