هوش مصنوعی تصمیم می‌گیرد، ما دفاع می‌کنیم

به گزارش گروه دانشگاه خبرگزاری دانشگاه، هوش مصنوعی عامل‌محور دیگر محدود به شرکت‌های پیشگام نیست. این سیستم‌ها اکنون در محیط‌های سازمانی فعالیت می‌کنند، به منابع دسترسی دارند، تصمیم‌گیری می‌کنند و با حداقل نظارت انسانی اقدام می‌کنند. اما با این استقلال، دسته جدیدی از ریسک‌ها نیز به وجود می‌آیند. چارچوب‌های امنیتی ساخته شده برای گردش‌های کاری قابل پیش‌بینی و انسان‌محور، برای مدیریت عامل‌هایی که با سرعت ماشین کار می‌کنند، API‌ها را تغییر می‌دهند و داده‌های حساس را به طور مستقل جابجا می‌کنند، مجهز نیستند.

 

بیش از نیمی (۵۶٪) از مدیران شرکت‌ها در گزارش هوش مصنوعی عامل محور ۲۰۲۵ UiPath، امنیت را به عنوان نگرانی اصلی خود عنوان کردند و پس از آن، انطباق با قوانین، هزینه و پیچیدگی ادغام قرار گرفتند. گارتنر پیش‌بینی می‌کند که تا سال ۲۰۲۷، بیش از ۴۰٪ از پروژه‌های هوش مصنوعی عامل محور ممکن است به دلیل حاکمیت ضعیف و مدیریت ریسک ناکافی کنار گذاشته شوند.

 

هر عامل هوش مصنوعی جدید، هم یک دارایی و هم یک خطر جدید است. ایمن‌سازی هوش مصنوعی عامل‌محور، چالشی اساساً جدید است که در آن باید حفاظ‌ها و سیاست‌های قابل پیش‌بینی را در سیستم‌هایی که طبق تعریف، سیستم‌های غیرقطعی هستند، ادغام کنیم. اینها برخی از بزرگترین چالش‌ها در تاریخ امنیت هستند. در گفت‌و‌گو با رهبران امنیتی و زیرساختی، اغلب اختلاف نظر در مورد این است که الگو‌ها و تیم‌های امنیتی قدیمی چقدر سریع می‌توانند برای برآورده کردن این واقعیت جدید تکامل یابند.

 

امروزه، بحث امنیت از محافظت از داده‌ها به سمت محافظت از تصمیماتی که سیستم‌های هوش مصنوعی اکنون به صورت خودکار می‌گیرند، در حال تغییر است. همانطور که شرکت‌ها برای ارتقاء شبکه‌های خود جهت پشتیبانی از هوش مصنوعی و اینترنت اشیا به صورت خودکار تلاش می‌کنند، بسیاری از آنها در این فرآیند، امنیت را نادیده می‌گیرند. طبق نظرسنجی رهبران شبکه فناوری اطلاعات سیسکو در سال ۲۰۲۵، ۹۷ درصد از مشاغل می‌گویند که ارتقاء شبکه برای موفقیت ابتکارات هوش مصنوعی و اینترنت اشیا آنها ضروری است. با این حال، خطرات نیز زیاد است؛ تنها یک قطعی شدید می‌تواند تقریباً ۱۶۰ میلیارد دلار برای اقتصاد جهانی هزینه داشته باشد.

 

در بخش سازمانی، آگاهی به سرعت در حال افزایش است، اما چیزی که کمتر دیده می‌شود این است که چه میزان فعالیت در واحد‌های تجاری اتفاق می‌افتد، اغلب بدون اینکه تیم‌های امنیتی کاملاً در جریان باشند. بسیاری از آنها از قبل فوریت پیرامون هوش مصنوعی عامل‌محور را درک می‌کنند، اما تیم‌های امنیتی باید زودتر وارد گفت‌و‌گو شوند.

 

کتاب جدید دفاعی: امنیت مبتنی بر هوش مصنوعی در مقیاس سازمانی

 

دفاع‌های قدیمی اساساً با خواسته‌های هوش مصنوعی عامل‌محور سازگار نیستند. با افزایش فراخوانی‌های API و مبهم‌تر شدن رفتار عامل، ابزار‌های نظارتی سنتی برای همگام شدن با این روند تلاش می‌کنند. بدون قابلیت مشاهده و کنترل بلادرنگ، عامل‌ها می‌توانند غیرقابل پیش‌بینی یا حتی خطرناک رفتار کنند. آنچه اکنون مورد نیاز است، قابلیت‌های جدید است: قابلیت حسابرسی مداوم، شفافیت و اصلاح سریع.

 

برای کاهش خطرات امنیتی رو به رشد سیستم‌های عامل‌دار، غول‌های فناوری در سراسر صنعت اکنون در حال ایجاد راه‌حل‌های نظارتی و امنیتی برای پاسخگویی به مقیاس و سرعت هوش مصنوعی عامل‌دار هستند. به عنوان مثال، مایکروسافت Security Copilot‌های مبتنی بر هوش مصنوعی را راه‌اندازی کرده است که تهدید‌ها را با دخالت محدود انسان شناسایی و خنثی می‌کنند. گوگل کلود بر قابلیت ردیابی و حسابرسی در سراسر خدمات هوش مصنوعی خود تأکید دارد. آی‌بی‌ام در حال اعمال نظارت هویتی بر سیستم‌های هوش مصنوعی است.

 

به همین ترتیب، شرکت سیسکو، تولیدکننده‌ی شبکه‌های ابری و امنیت، امنیت را در لایه‌های عمیق‌تر شبکه، تا لایه‌ی سیلیکون، تعبیه می‌کند. این شرکت اخیراً استراتژی AgenticOps خود را معرفی کرده است که قابلیت مشاهده‌ی بلادرنگ، چارچوب‌های Zero-Trust و عملیات بومی هوش مصنوعی را در یک معماری سازمانی واحد ترکیب می‌کند.

 

جامعه فناوری و امنیت متوجه شده است که برای اداره این اکوسیستم جدید، به چارچوب‌های هدفمندی نیاز داریم که امنیت، زمینه عمیق بین دامنه‌ای و نظارت مستمر را با هم ترکیب کنند، نه فقط کنترل‌های اضافی. سه چیز غیرقابل مذاکره هستند: نظارت انسانی در حلقه، زمینه بین دامنه‌ای برای هر تصمیم و امنیت تعبیه‌شده در هر لایه از سیلیکون گرفته تا نرم‌افزار.

 

در قلب این مدل، مدل شبکه عمیق سیسکو قرار دارد، یک مدل زبان بزرگ مختص دامنه که بر اساس دهه‌ها داده‌های تله‌متری (داده‌های حاصل از سیستم‌های از راه دور یا سیستم‌های با دسترسی دشوار، چه به دلیل پیچیدگی و چه به دلیل ایمنی) آموزش دیده است. هدف این مدل، تجهیز تیم‌های امنیتی به ابزار‌های زبان طبیعی برای نظارت، بررسی و پاسخ به حوادث در زمان واقعی است. در اصل، این هوش مصنوعی است که برای دفاع در برابر هوش مصنوعی ساخته شده است.

 

این شرکت همچنین یک چارچوب دسترسی به شبکه جهانی بدون اعتماد (Universal Zero Trust Network Access) معرفی کرده است که کنترل‌های مبتنی بر هویت را گسترش می‌دهد تا شامل مجوز‌های تفویض‌شده شود که به کاربران اجازه می‌دهد بدون به اشتراک گذاشتن اعتبارنامه‌های خود، به طور ایمن به ارائه‌دهندگان خدمات مورد اعتماد دسترسی بدهند؛ مقاومت در برابر فیشینگ مبتنی بر مجاورت که تأیید می‌کند درخواست از یک دستگاه نزدیک و قابل اعتماد می‌آید؛ و پشتیبانی از پروتکل نوظهور Model Context Protocol (MCP)، استاندارد جدیدی که به سیستم‌های هوش مصنوعی اجازه می‌دهد تا به طور ایمن زمینه را در برنامه‌های مختلف به اشتراک بگذارند.

 

شبکه‌هایی با هوش مصنوعی برای آینده آماده می‌شود تا بتوانند رفتار عامل‌ها را در مقیاس بزرگ تشخیص داده و تعدیل کنند. امنیت باید به سرعت و تطبیق‌پذیری خود عامل‌های هوش مصنوعی باشد.

 

هوش مصنوعی عامل‌محور، سطوح بی‌سابقه‌ای از سرعت و پیچیدگی عملیاتی را به ارمغان می‌آورد و در حالی که صنعت در حال پیشرفت است، بزرگترین تنگنا‌ها اکنون در لایه شبکه ظاهر می‌شوند. بسیاری از عوامل محدودکننده اصلی در مقیاس‌پذیری هوش مصنوعی مانند مصرف برق و استفاده ناکارآمد از پردازنده گرافیکی را می‌توان مستقیماً با شبکه‌سازی و تنظیم کارآمدتر که تضمین می‌کند داده‌ها در زمان و مکان مورد نیاز قرار گیرند، برطرف کرد.

 

سیسکو با تکیه بر این چشم‌انداز، پس از خرید Splunk، در حال تعمیق ادغام‌های خود است. تله‌متری از فایروال‌های سیسکو اکنون مستقیماً به پلتفرم امنیتی Splunk وارد می‌شود و امکان ایجاد کتابچه‌های راهنمای پاسخ خودکار و مرتبط کردن سیگنال‌های تهدید در سراسر پشته برنامه‌های کاربردی عامل را فراهم می‌کند.

 

هوش مصنوعی عامل‌گرا نیازمند یک ماموریت جدید در حوزه امنیت سایبری و تغییر در فلسفه است.

 

سازمان‌هایی که در این عصر جدید رشد خواهند کرد، سازمان‌هایی هستند که یک حقیقت ساده را پذیرفته‌اند: اگر هوش مصنوعی موتور نوآوری سازمانی است، امنیت مبتنی بر هوش مصنوعی باید سیستم هدایت آن باشد.

 

مهم‌ترین کار امروز پیرامون هوش مصنوعی عامل‌محور، ایجاد درک عمیق و شفاف از دو حوزه اساسی است: اول، نحوه عملکرد سازمان، یعنی فرآیند‌های کلیدی کسب‌وکار، روابط با ذینفعان و نتایج مطلوب آن؛ و دوم، نحوه عملکرد سیستم‌های هوش مصنوعی مدرن، به‌ویژه عامل‌ها، در سطح فنی، نحوه ترجمه مفاهیم انتزاعی به ریاضی، چه زیرساخت‌هایی برای پشتیبانی از این الگوریتم‌ها و نحوه تعامل آنها در یک سیستم.

 

هنگامی که این دو پایه و اساس برقرار شوند، سازمان در موقعیت بسیار قوی‌تری برای ارزیابی و استقرار گردش‌های کاری عامل‌محور در موارد استفاده متعدد قرار خواهد گرفت.

 

نسل بعدی امنیت سایبری با سرعت واکنش به تهدیدات تعریف نخواهد شد، بلکه با میزان هوشمندی پیش‌بینی آنها مشخص می‌شود؛ و این آینده در حال شکل‌گیری است.

 

پیش‌آموزش، پایه و اساس را بنا می‌نهد، اما در عصر عامل‌ها کافی نیست. ما به حلقه‌های بازخورد بلادرنگ نیاز داریم. سیستم‌ها باید به‌طور مداوم یاد بگیرند و همزمان با تعامل و سازگاری عامل‌ها، مقاوم‌تر شوند. AgenticOps سناریو را برعکس می‌کند: اکنون عامل‌های هوش مصنوعی فقط بینش ایجاد نمی‌کنند، بلکه به‌طور فعال از شبکه دفاع می‌کنند و آن را به‌صورت بلادرنگ تطبیق می‌دهند.»