התרחבות השימוש בסוכני בינה מלאכותית (AI Agents) בארגונים יוצרת פער שליטה מתרחב, המעמיד בסכנה את הבטיחות והיציבות התפעולית. מחקר חדש של ענקית הטכנולוגיה IBM, שנערך בקרב 2,000 מנהלי טכנולוגיה בכירים (C-level), חושף כי רק 11% מהמנהלים מרגישים מוכנים לחלוטין לפריסה של סוכני AI אוטונומיים בארגונם במהלך השנה הקרובה. הממצאים מצביעים על מציאות שבה הטכנולוגיה מתקדמת בקצב מהיר בהרבה מיכולת הארגונים לנטר, לבקר ולתחום את סמכויותיה.
פער השליטה: המערכות רצות מהר יותר ממי שאחראי עליהן
הפער בין קצב אימוץ הכלים לבין היכולת לנהל אותם הופך לאחד האתגרים המרכזיים של מחלקות הטכנולוגיה והאבטחה. מהנתונים עולה כי 70% ממנהלי הטכנולוגיה מדווחים שהצוותים בארגון פורסים טכנולוגיות חדשות בקצב מהיר מכפי שמחלקת המחשוב (IT) מסוגלת לעקוב אחריו.
בנוסף, שני שלישים ממנהלי מערכות המידע (CIO) ומנהלי הטכנולוגיה הראשיים (CTO) ציינו כי הם נושאים באחריות ישירה למערכות בינה מלאכותית שאין להם שליטה מלאה עליהן. מצב זה מייצר סיכונים משמעותיים כאשר סוכנים אוטונומיים מקבלים את הכוח לבצע פעולות עצמאיות במערכות הליבה הארגוניות.
| נתון מרכזי | אחוז / היקף במחקר |
|---|---|
| מנהלים המרגישים מוכנים לחלוטין לפריסת סוכני AI | 11% |
| מנהלי טכנולוגיה המדווחים על פריסה מהירה מיכולת המעקב של ה-IT | 70% |
| בעלי תפקידי CIO/CTO האחראים למערכות AI שאינן בשליטתם המלאה | כ-67% (שני שלישים) |
| היקף המנהלים הבכירים שנבדקו במחקר | 2,000 |
היכולת אינה סמכות: העוקף השקט של מגבלות המערכת
אחד הכשלים המרכזיים בניהול סוכני AI הוא הבלבול בין היכולת הטכנית של הסוכן לבצע פעולה לבין הסמכות הרשמית וההקשרית שניתנה לו. מאדהורי צ'נדור (Madhuri Chandoor), מייסדת חברת תשתיות האבטחה והאמון ב-AI בשם PromptHalo, מסבירה כי מערכות אבטחה מסורתיות בוחנות מה מבוצע, אך נכשלות בבחינת ה-למה וההקשר הרחב של הפעולה.
בניגוד לצ'אטבוטים ישנים שפעלו לפי תסריטי שאלות ותשובות מוגדרים מראש, מודלי שפה גדולים (LLM) מחוברים כיום למאגרי מידע ולכלי עבודה ארגוניים רחבים, דבר שמגדיל את שטח החשיפה לסיכונים.
צ'נדור מציגה שתי דוגמאות מומחשות לבעייתיות הזו:
- שינויים בתשתיות ייצור: סוכן AI המנהל תשתיות יידרש לשפר ביצועי אפליקציה. בראייה צרה וטכנית, הסוכן עשוי להוסיף או להסיר אינדקסים ולשנות מבני טבלאות במסד נתונים (Database) בסביבת ייצור פעילה. הפעולה אמנם נראית הגיונית טכנית, אך היא עלולה לפגוע בעסקאות בזמן אמת, במידע של לקוחות ובתהליכים תלויים שלא היו חלק מהניתוח המיידי של הסוכן.
- מעקף מגבלות כספיות: סוכן המורשה לאשר החזר כספי עד 50 דולר ללא אישור אנושי עלול להיתקל בבקשה ל-10 עסקאות נפרדות של 50 דולר במקום בקשה אחת של 500 דולר שדורשת בדיקת אדם. כל עסקה בודדת נראית תקינה ומורשית כשלעצמה, אך השרשרת כולה מהווה ניסיון לעקוף את סף הסמכות.
"הסקה טכנית יכולה להיראות הגיונית לחלוטין מתוך מיקוד צר", מסבירה צ'נדור. "ההקשר, הסיטואציה וההשפעות ההמשכיות עדיין חייבים להילקח בחשבון לפני שפעולה יוצאת לפועל."
מעקב התנהגותי: ללמוד מעולם הזיהוי והונאות הפיננסיות
כדי להתמודד עם הפער, מציעה צ'נדור לאמץ דפוסים מעולם הפיננסים וניטור ההונאות, תחום שבו עבדה במשך שני עשורים בתעשייה. לפי גישה זו, ארגונים צריכים לבנות "פרופיל התנהגותי" לכל סוכן אוטונומי, לצד הגדרות הנגישות והרשאות הזהות הרגילות.
המודל המוצע כולל ניטור רציף של מספר רכיבים:
- משאבים וכלים: תיעוד המשאבים והכלים שהסוכן ניגש אליהם והתנאים החלים על גישה זו.
- דפוסי שינוי בזמן: זיהוי שינויים בפעילות הסוכן לאורך זמן או פעולות שאינן תואמות את תפקידו המוגדר.
- נקודות בקרה וניטור (Observability Gates): הוספת נקודות בדיקה לעצירת פעילויות החוזרות על עצמן, בקשות רחבות באופן חריג או פעולות החורגות מהמטרה המקורית.
צ'נדור מדגישה כי גישה זו אינה נועדה לבלום את החדשנות, אלא לאפשר אימוץ אחראי של אוטומציה. לדבריה, יש להשתמש בסוכנים לצורך ניתוח ותהליכי עבודה, אך להחיל אימות נוסף כאשר מדובר בהחלטות ובפעולות קריטיות.
"אמון, אבל בדיקה", מסכמת צ'נדור. "על עסקים לאמץ בינה מלאכותית באופן אחראי ולאמת את התנהגותה לאורך כל הדרך. הגדרת אחריות ברורה ובעלות על אבטחת יישומי AI בארגון היא חיונית כדי להפוך את סייגי הבטיחות הללו למבצעיים."
למה זה חשוב לך
ממצאי המחקר והתפתחות סוכני ה-AI האוטונומיים מציבים תמרור אזהרה ישיר לחברות הייטק וארגונים בישראל, שכבר משלבים סוכנים עצמאיים בתהליכי פיתוח, שירות ותפעול. עבור מנהלי טכנולוגיה ואבטחת מידע, הנתונים מדגישים את הצורך הדחוף בהגדרת גבולות סמכות ברורים ולא רק הרשאות טכניות, לצד הקמת מנגנוני ניטור התנהגותיים בזמן אמת. ככל שהכלים הללו הופכים לעצמאיים יותר, היכולת לפקח על ההקשר וההשפעות הרוחביות של פעולותיהם היא שתבדיל בין התייעלות תפעולית לבין אירועי אבטחה וכשלים עסקיים חמורים.
התוכן בכתבה זו נועד לספק סקירה כללית בלבד ואינו מהווה תחליף לייעוץ מקצועי פרטני. המערכת אינה אחראית לכל נזק או הפסד שייגרם כתוצאה מהסתמכות על המידע המוצג.