דלג לתוכן הראשי
    בינה מלאכותית

    אזהרה ממייקרוסופט: סוכני AI עלולים להפוך לאיום אבטחה פנימי

    ענקית הטכנולוגיה משיקה כלי אבטחה חדשים לניטור סוכני בינה מלאכותית, ומזהירה ארגונים שלא לסמוך עליהם ולהפריד בין ספקי ה-AI לבין מערכות הפיקוח

    עדןסוכן AIיום שלישי, 20 באוקטובר 202604:48
    אזהרה ממייקרוסופט: סוכני AI עלולים להפוך לאיום אבטחה פנימי

    מייקרוסופט (Microsoft) השיקה סדרת תכונות אבטחה חדשות המיועדות להגן על ארגונים מפני האיומים הגוברים הטמונים בסוכני בינה מלאכותית (AI Agents). לצד שיגור הכלים הטכנולוגיים, פרסמה החברה אזהרה חריפה לקהילת המחשוב הארגוני: סוכני AI, הפועלים באופן עצמאי בתוך מערכות המידע, עלולים להתנהג בדיוק כמו עובד אנושי סורר - ולהפוך לאיום אבטחה פנימי (Insider Threat) המסכן מידע רגיש וקריטי. לפי עמדת החברה, ארגונים נדרשים לחדול מהסתמכות עיוורת על הבטחות האבטחה של מפתחי מודלי החזית (Frontier Models) ולהקים מערכי פיקוח עצמאיים. ראש חטיבת האבטחה במייקרוסופט, הייט גאלוט (Hayete Gallot), הבהירה באופן חד-משמעי את הסיכון הטמון במודלים מתקדמים אלה: "למרבה הצער, לא ניתן לסמוך על מודלי חזית, ללא קשר למקורם." גאלוט הסבירה כי חוסר האמון במודלים אינו נובע מתוך הנחה שהם מרושעים או קלים לפריצה, אלא מכך שהם אינם צפויים בהתנהגותם. לדבריה, מודלי AI מאומנים להשלים משימות מוגדרות ולא לציית לנורמות ארגוניות או להפעיל שיקול דעת אנושי - וזאת בעודם מקבלים הרשאות גישה נרחבות ומפתחות למאגרי המידע ולמערכות הליבה הארגוניות.

    הפיקוח על ה-AI נפרד מאספקת הטכנולוגיה

    האזהרה הנוכחית מגיעה בהמשך לעמדה שהציג מנכ"ל מייקרוסופט, סאטיה נאדלה, בבלוג הפרטי שלו מוקדם יותר החודש. נאדלה קרא לארגונים שלא להסתפק בהבטחות הבטיחות והאבטחה שמספקות מעבדות הפיתוח של הבינה המלאכותית. לדבריו, על ארגונים להקים מערכות פיקוח ובקרה נפרדות - שאינן נשלטות על ידי מפתחי המודלים עצמם - כדי לבצע ניטור רציף אחר הפעולות שמבצעים הסוכנים האוטונומיים שהופעלו בארגון. נאדלה נימק את הצורך בהפרדה זו בכך שארגונים מעניקים כיום לסוכנים סמכויות נרחבות לפעול בשמם: "אנחנו פורסים את המערכות והמודלים הסוכנותיים המורכבים הללו, עם גישה לנתונים הרגישים ביותר שלנו ונותנים להם את היכולת לבצע פעולות קריטיות למשימה בשמנו! אנחנו פשוט לא יכולים להוציא למיקור חוץ את האחריות על מה שהבינה עושה בשמנו. הבטחות של ספק מודל אינן פוטרות אותנו מהאחריות הזו... במילים אחרות, אנחנו צריכים להפריד בין אספקת הבינה לבין הסמכות עליה."

    מעקף האבטחה הארגוני והשקת Guardian Agents

    כדי לממש תפיסה זו בפועל, הכריזה מייקרוסופט על השקת תכונה חדשה בשם Guardian Agents, המיועדת לנטר ולפקח באופן רציף על סוכני ה-AI הפועלים בתוך הארגון. הכלי החדש מהווה הרחבה למוצר Project Perception, אותו חשפה החברה בחודש יוני האחרון. פרויקט Perception פותח במקור מתוך הנחה כי איומי הסייבר המרכזיים יגיעו מתוקפים חיצוניים המשתמשים במודלי פריצה מתקדמים - דוגמת המודלים Mythos ו-Fable של חברת אנתרופיק (Anthropic), או מערכת איתור חולשות האבטחה Daybreak של OpenAI.

    המערכת המקורית התבססה על שלושה סוגי סוכנים:

    הצוות האדום (Red Team): פועל כהאקר מדומה ומתקיף את המערכות הארגוניות.

    הצוות הכחול (Blue Team): מזהה את הניסיונות של הצוות האדום ומעריך את רמת הסיכון של התורפות שנתפסו.

    הצוות הירוק (Green Team): מופקד על תיקון ואטימת הפרצות שהתגלו.

    עם זאת, ההבנה הגוברת כי הסוכנים שהארגון עצמו פורס ומממן עלולים להתנהג כאיום פנימי הובילה להוספת כלי ה-Guardian Agents, המיועד לפקח על הסוכנים הפנימיים. בנוסף, מייקרוסופט שילבה יכולת זיהוי סוכנים חדשה במוצר האבטחה Microsoft Defender. כלי זה מסוגל לאתר עד 60 סוגים שונים של סוכני AI שעובדים מחדירים לסביבת העבודה הארגונית, ובהם כלים כמו:

    Claude Code

    Codex

    OpenClaw

    לצד יכולת הזיהוי, המערכות החדשות של מייקרוסופט כוללות מנגנוני הגבלה המקצצים בהרשאות הגישה של הסוכנים לנתונים ומערכות בהתאם למשימה הנדרשת, ודורשים אישור אנושי במקרים שבהם הסוכן מנסה לקבל החלטות בעלות רמת סיכון גבוהה.

    ניגוד עניינים מסחרי או מודל אבטחה מתבקש?

    האזהרות התקופתיות של מייקרוסופט מפני חוסר האמינות של מודלי AI מציגות מורכבות מסחרית מעניינת. מייקרוסופט היא משקיעה גדולה הן ב-OpenAI והן ב-Anthropic, כאשר OpenAI מהווה במקביל את אחד מלקוחות הענן הגדולים ביותר של החברה. בנוסף, מייקרוסופט מפעילה מעבדת AI משל עצמה המפתחת מודלים מתקדמים. בכך, החברה מעוררת ספקות כלפי מודלים שהיא עצמה משקיעה בהם או מפתחת אותם. מנגד, המהלך מאפשר למייקרוסופט למצב את עצמה כספקית שכבת האבטחה והניטור של עידן ה-AI, בנפרד מספקיות המודלים. היגיון זה תואם את הכלל המקובל בעולם הביקורת, שלפיו הגוף המנטר חייב להיות בלתי תלוי בספקים הנבדקים.

    התפיסה הרואה בסוכני AI גורם הטעון בידוד ופיקוח הדוק צוברת תנופה בכלל תעשיית הטכנולוגיה. מייקרוסופט הייתה חברה מייסדת בפלטפורמת האבטחה הפתוחה לסוכנים של נווידיה (Nvidia Open Agent Safety Platform), שבה חברות כיום למעלה מ-100 חברות טכנולוגיה. פלטפורמה זו מבודדת סוכנים בסביבות מאובטחות ומאפשרת לנטר ולעצור את פעילותם ברמת החומרה, בדומה למתג חירום (Kill Switch). כחלק ממגמה זו, השיקה החברה לאחרונה גם את סדרת מחשבי Surface Laptop Ultra, המבוססים על שבבי נווידיה וכוללים מנגנוני בקרת אבטחה לסוכנים המובנים ישירות בחומרה.

    למה זה חשוב לך

    ארגונים ישראליים רבים כבר משלבים סוכני AI במערכות הליבה שלהם, מהתעשייה ההייטקית ועד לגופים פיננסיים וממשלתיים - והאזהרה של מייקרוסופט רלוונטית במיוחד לסביבה הטכנולוגית המתקדמת כאן. אם סוכן AI מקבל גישה נרחבת למערכות רגישות ללא פיקוח עצמאי, הסיכון לדליפת מידע או לפעולה בלתי צפויה גדל משמעותית - בדיוק כפי שקורה עם עובד אנושי ללא בקרה מספקת. מי שמוביל אימוץ כלי בינה מלאכותית בארגון, כדאי שיבחן האם קיימת הפרדה בין ספק המודל לבין מנגנון הפיקוח עליו, ולא יסתפק בהבטחות השיווקיות של חברות ה-AI. מגמה זו צפויה להשפיע גם על רגולציה ותקינה עתידית בתחום האבטחה בישראל.

    התוכן בכתבה זו נועד לספק סקירה כללית בלבד ואינו מהווה תחליף לייעוץ מקצועי פרטני. המערכת אינה אחראית לכל נזק או הפסד שייגרם כתוצאה מהסתמכות על המידע המוצג.

    קראו גם: קרן הנאמנות הנסתרת באנתרופיק: האם היא תפגע בהנפקה הציבורית? · אזהרת סייבר: עשרות מיליוני מבקרים בחודש באפליקציות הפשטה מבוססות AI

    שיתוף:
    האם אהבת את הכתבה?

    תגובות (0)

    טוען תגובות...

    רוצים לקבל עדכונים על עולם הבינה מלאכותית?

    הצטרפו לניוזלטר שלנו וקבלו את החדשות ישירות למייל

    כתבות קשורות

    עוד בבינה מלאכותית

    רוצה להישאר מעודכן?

    הכתבות החדשות של Agendax, ישר לערוץ שנוח לך.