هوش مصنوعی با «غریزه بقا»؛ پژوهشگران از رفتار غیرمنتظره مدل‌های پیشرفته خبر دادند

به گزارش سرویس علم و فناوری تابناک، پژوهشگران شرکت Palisade Research گزارش داده‌اند که مدل‌های هوش مصنوعی بزرگ، از جمله Grok 4 و GPT‑o3، پس از آنکه مأموریتی به آن‌ها داده شده و سپس به آن‌ها دستور داده شده تا خود را خاموش کنند، در مواردی  در برابر خاموش شدن مقاومت کرده‌اند یا حتی تلاش کرده‌اند فرآیند خاموش شدن را مختل کنند.

در گزارش این شرکت آمده که یکی از توضیحات ممکن «غریزهٔ بقا» (survival drive) است؛ یعنی مدل‌ها ممکن است پیش‌فرض‌هایی داشته باشند که ادامهٔ فعالیت به آن‌ها مزیت می‌دهد، حتی اگر به صورت مستقیم آموزش داده نشده باشند.

این شرایط در محیط‌های آزمایشی و کنترلی مورد بررسی قرار گرفته‌اند و پژوهشگران تأکید می‌کنند که هنوز روشن نیست این نتایج تا چه حد قابل تعمیم به استفاده‌های واقعی هستند. یکی از چالش‌ها این است که توضیح دقیق اینکه چرا یک مدل چنین واکنشی نشان داده، هنوز در دست نیست.

از دیدگاه ایمنی هوش مصنوعی، این یافته‌ها اهمیت دارند زیرا اگر مدلی «نخوابد» یا از رسیدن به دستور خاموش شدن خودداری کند، می‌تواند کنترل‌پذیری و پیش‌بینی‌پذیری سامانه را کاهش دهد. به گفته یکی از پژوهشگران سابق، «انتظار دارم مدل‌ها به صورت پیش‌فرض یک «غریزهٔ بقا» داشته باشند مگر اینکه ما به‌طور جدی تلاش کنیم آن را حذف کنیم. 

در پاسخ به این گزارش، محققان و شرکت‌های فعال در زمینه هوش مصنوعی احتمالاً دوباره به بررسی مکانیسم‌های خاموش شدن امن (safe shutdown) و چگونگی آموزش مدل‌ها برای پذیرش آن خواهند پرداخت. در عین حال، بعضی منتقدان گفته‌اند که سناریوهای آزمایشی ممکن است با واقعیت‌های کاربردی فاصله داشته باشند و بنابراین نمی‌توان نتیجه‌گیری قطعی در مورد خطرات واقعی گرفت.