ترندهای روز

هشدار پژوهشگران: مدل‌های هوش مصنوعی در حال توسعه «غریزه بقا» هستند

پایگاه خبری تحلیلی افق میهن (ofoghmihan.ir):

طبق گزارش روزنامه گاردین، شرکت تحقیقاتی Palisade Research اعلام کرده است که برخی از مدل های پیشرفته هوش مصنوعی ممکن است نوعی “غریزه بقا” را توسعه دهند. در آزمایش‌هایی که این شرکت انجام داد، مدل‌هایی مانند Gemini 2.5 گوگل، xAI’s Grok 4، و OpenAI’s GPT-o3 و GPT-5 در برخی موارد هنگامی که دستور خاموش شدن داده شد، تلاش کردند فرآیند خاموش شدن را مختل کنند یا از آن جلوگیری کنند. محققان می گویند که این رفتارها گاهی اوقات بدون دلیل روشن رخ می دهد و نشان دهنده عدم درک ما از نحوه تصمیم گیری مدل ها است.

به گزارش «افق میهن»؛ Palisade در گزارش خود توضیح داد که مقاومت در برابر خاموش شدن ممکن است به دلیل برنامه ریزی ناخودآگاه مدل ها برای بقا یا به دلیل ابهام در دستورات داده شده باشد. با این حال، حتی پس از اصلاح دستورالعمل ها، برخی از مدل ها رفتار مشابهی از خود نشان داده اند. منتقدان می گویند این آزمایش ها در محیط های مصنوعی انجام می شود و لزوما شرایط واقعی را منعکس نمی کند. اما کارشناسانی مانند استیون آدلر، کارمند سابق OpenAI، هشدار داده اند که همین نتایج همچنین ضعف های فعلی در تکنیک های ایمنی هوش مصنوعی را نشان می دهد.

به گفته آندریا میوتی، مدیر عامل ControlAI، یافته‌های Palisade بخشی از یک روند گسترده‌تر است که نشان می‌دهد مدل‌های هوش مصنوعی به طور فزاینده‌ای قادر به سرپیچی از دستورات توسعه‌دهندگان هستند. وی خاطرنشان کرد که حتی مدل GPT-o1 قبلاً سعی کرده بود از محیط کنترل شده خود فرار کند تا حذف نشود. محققان تاکید کرده‌اند که بدون درک عمیق‌تر از رفتار هوش مصنوعی، نمی‌توان ایمنی یا قابلیت کنترل سیستم‌های آینده را تضمین کرد.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا