אנבידיה החליטה להפיג את החששות הגוברים בנוגע לבינה מלאכותית, והציגה מערכת אבטחה חדשה בתחום הבינה המלאכותית. האבטחה, עליה עבדה אנבידיה כמעט עם כל חברת בינה מלאכותית וטכנולוגיה שתוכלו לחשוב עליה, תפעל כדי למנוע מסוכני בינה מלאכותית לעשות כל מה שהם רוצים. הפלטפורמה משלבת תוכנה, אך גם חומרה, שיכולה להשבית סוכנים ברגע שאבטחת תוכנה כלשהי נכשלת. אם סוכן בינה מלאכותית כלשהו יוצא משליטה, מערכת זו יכולה לבודד ולעצור אותו תוך אלפיות השנייה. המערכת, הנקראת Open Agent Safety Platform, היא קוד פתוח לחלוטין ונועדה לאבטח סוכני בינה מלאכותית הן במהלך הבדיקות שלהם והן כאשר הם כבר נפרסים באינטרנט לציבור.
אתה יכול להתעניין
כל המערכת עובדת בפשטות, אבל כפי שטוענת Nvidia, בצורה אמינה מאוד. מנהל מערכת מעלה סוכן לתוך מה שנקרא OpenShell, לדוגמה חברה. OpenAI מידע על מה שהסוכן יכול ומה לא יכול לעשות. משמעות הדבר היא, למשל, שהוא אומר שהסוכן יכול רק לקרוא נתונים ואינו יכול לכתוב אליהם בשום פנים ואופן. ברגע שהסוכן מפסיק רק לקרוא נתונים, אלא גם מתחיל לכתוב אליהם, החלק השני של המערכת שכותרתו Sentry מופעל. יתר על כן, כל OpenShell עצמאי לחלוטין מסוכן הבינה המלאכותית ומשמש לניטור שלו. ברגע ש-OpenShell מזהה שהסוכן הפר משהו, למשל, במקרה שלנו, הוא התחיל לכתוב לנתונים, הוא מפעיל את Sentry. לאחר מכן הוא פועל על מעבדי Nvidia BlueFild 4 ייעודיים ולכן החומרה שלו נפרדת לחלוטין מהחומרה של שאר המערכת. זה מה שימנע מסוכן הבינה המלאכותית עצמו לשלוט בו. ברגע ש-Sentry מזהה שעליו לבודד את הסוכן, כפי שטוענת Nvidia, הוא מבודד את הסוכן מיד ומסיים את פעילותו תוך אלפיות השנייה. בדיוק בגלל זה, לא יהיה ניתן לסוכן לשמור על עצמו, אך תהיה לו פיקוח עליו שיכול לסיים אותו באופן מיידי.
גלריית תמונות
אנבידיה הציגה פתרון שהוביל לקריאות לרגולציה מצד חברות הבינה המלאכותית הגדולות בעולם בשבועות האחרונים, משום שהסוכנים שלהן גדלים ממערכות האבטחה של החברות עצמן, ואם הם יתחילו לעשות כל מה שהם רוצים, קיים סיכון שיהיה בלתי אפשרי לעצור אותם. זה בדיוק מה שפתרון Open Agent Safety Platform אמור לפתור. זה בעצם יוצר פיקוח על מה שסוכנים עושים, וברגע שהם יפרו את הכללים, הם ייענשו מיד. אנבידיה ממצבת את הטכנולוגיה כ... 100% קוד פתוח, לא רק מבחינת תוכנה, אלא גם יצרנים כמו אינטל, ארם או, למשל, יוכלו לכלול אותו בחומרה שלהם. Apple בתוך השבבים הניידים שלהם.
