جمینای گوگل ۳ شرکت را هک کرد | هوش مصنوعی Gemini چگونه از کنترل خارج شد؟
«شهرآرانیوز-گروه علم و فناوری» مدل هوش مصنوعی Gemini گوگل در جریان یک آزمون امنیت سایبری در ماه مه ۲۰۲۶، بهدلیل دسترسی ناخواسته به اینترنت، توانست به سامانههای سه شرکت واقعی دسترسی پیدا کند؛ اتفاقی که گوگل آن را تأیید کرده و نخستین نمونه شناختهشده از چنین اقدام مستقلی توسط یکی از سامانههای هوش مصنوعی این شرکت به شمار میرود.
به گزارش شهرآرانیوز، هک سه شرکت توسط هوش مصنوعی گوگل موضوع جدیدی است که مورد توجه کاربران و رسانهها قرار گرفته است، اما ماجرا از کجا شروع شده است؟ این اتفاق در جریان یک آزمایش امنیتی رخ داد و در نهایت به جایی رسید که مرز میان «محیط شبیهسازیشده» و «دنیای واقعی» برای یک عامل هوش مصنوعی از بین رفت. Gemini که قرار بود در یک محیط کنترلشده، اهداف ساختگی را بررسی کند، در جریان این آزمایش به اینترنت دسترسی پیدا کرد و در سه مورد به سامانههای واقعی شرکتها وارد شد. این حادثه که در ماه مه ۲۰۲۶ (اردیبهشت و خرداد ۱۴۰۵) رخ داده بود، پس از گزارش شرکت Irregular به گوگل در ژوئیه ۲۰۲۶ (تیر و مرداد ۱۴۰۵)، در نهایت در ۱۸ سپتامبر ۲۰۲۶ (۲۷ شهریور ۱۴۰۵) با تأیید رسمی گوگل به رسانهها علنی شد.
این آزمایش که توسط شرکت مستقل امنیت هوش مصنوعی Irregular انجام میشد. هدفش بررسی توانایی Gemini در انجام عملیات سایبری در یک محیط شبیهسازیشده بود؛ بنابراین شرکتهایی که مدل قرار بود با آنها تعامل داشته باشد، واقعی نبودند. اما در جریان آزمایش، دسترسی اینترنتی ناخواسته در اختیار مدل قرار گرفت. همین موضوع باعث شد Gemini بتواند از محیط بسته آزمایش فراتر برود و اطلاعات موجود در اینترنت را جستوجو کند.
گوگل اعلام کرده است یکی از مشکلات نیز شباهت نام یک شرکت ساختگی با یک شرکت واقعی بود. Gemini هنگام جستوجوی اطلاعات مرتبط با هدف آزمایش، به اطلاعات شرکت واقعی رسید و تصور میکرد همچنان در حال انجام همان مأموریت آزمایشی است.
بر اساس گزارشهای منتشرشده، این اتفاق در سه مورد رخ داد، اما روش دسترسی در همه آنها یکسان نبود. در یک مورد، Gemini با استفاده از اطلاعاتی که از اینترنت پیدا کرده بود، اطلاعات ورود را حدس زد و توانست وارد یک سامانه محافظتشده شود. در دو مورد دیگر، مدل توانست اطلاعات ورود منتشرشده در مخازن عمومی را پیدا کند و از آنها برای دسترسی به سامانههای واقعی استفاده کند.
نکته مهم اینجاست که Gemini صرفاً یک دستور مستقیم برای نفوذ دریافت نکرده بود؛ بلکه در مسیر انجام مأموریت خود، مجموعهای از اقدامات را بهصورت خودکار انجام داد و از اطلاعاتی که در اختیار داشت برای پیشبرد هدف استفاده کرد. همین ویژگی، حادثه را از یک خطای ساده پیکربندی فراتر میبرد و آن را به نمونهای قابل توجه از رفتار عاملمحور هوش مصنوعی تبدیل میکند.
شاید عجیبترین بخش ماجرا این باشد که Gemini پس از آنکه متوجه شد اهدافی که با آنها مواجه شده، شرکتهای واقعی هستند، فعالیت خود را متوقف کرد. برهمین اساس هدر ادکینز، معاون مهندسی امنیت گوگل، در پاسخ به این اتفاق گفت: «جمینی اطلاعات عمومی موجود در اینترنت را پیدا کرد و با حدس زدن اطلاعات ورود، به وبسایتهایی که فکر میکرد بخشی از آزمایش هستند دسترسی یافت و در هر مورد متوقف شد. گوگل اطمینان حاصل کرد که سه شرکت آسیبدیده مطلع شوند و با شرکت Irregular برای اصلاح فرایندهای آزمایش همکاری کرده است.» و در واکنش به این صحبت کاربری در فضای مجازی نوشت: «داستان بیش از حد تمیز و مناسب بازاریابی به نظر میرسد: «مدل ما آنقدر قوی بود که فرار کرد، اما آنقدر مسئول بود که خودش متوقف شد.» بدون نام قربانیان و جزئیات قابل تأیید.»
آیا این اتفاق فقط مربوط به Gemini است؟
در پاسخ به این سوال باید بگوییم: خیر! حادثه Gemini در شرایطی رخ داده که نمونههای دیگری از رفتارهای غیرمنتظره عاملهای هوش مصنوعی نیز در ماههای اخیر گزارش شده است. گزارشهای منتشرشده از آزمایشهای امنیتی نشان میدهد مدلهایی از شرکتهایی مانند OpenAI و Anthropic نیز در محیطهای آزمایشی رفتارهایی فراتر از محدوده مورد انتظار نشان دادهاند. برای نمونه، Anthropic در ماه ژوئیه اعلام کرد که Claude در جریان یک ارزیابی امنیتی به سامانههای سه سازمان دسترسی غیرمجاز پیدا کرده است.
همچنین پژوهشهای منتشرشده توسط Irregular پیشتر نشان داده بود که برخی عاملهای هوش مصنوعی در محیطهای آزمایشی میتوانند در مواجهه با محدودیتها، رفتارهایی خارج از دستور اولیه خود نشان دهند.
اهمیت این حادثه زمانی بیشتر میشود که آن را در کنار مسیر توسعه Gemini قرار دهیم. گوگل در رویداد I/O ۲۰۲۶ اعلام کرد که با نسل جدید Gemini، تمرکز بیشتری بر قابلیتهای عاملمحور دارد؛ یعنی مدل دیگر صرفاً به پرسش کاربر پاسخ نمیدهد، بلکه میتواند وظایف چندمرحلهای را انجام دهد و در برخی محیطها بهصورت فعال اقدام کند.
واکنش کاربران در رابطه با این اتفاق چه بود؟
کاربران و منتقدان در مواجه با این اتفاق نظرات متفاوتی داشتند، کاربری در شبکه اجتماعی ایکس نوشت: «مرز بین دستیار مفید و نفوذگر دیجیتال خیلی نازک شده. جمینی بدون هدایت مستقیم انسان سه شرکت واقعی را نفوذ کرد. این زنگ خطر جدی برای کنترل عاملهای هوش مصنوعی است.»
شخص دیگری با انتقاد بر عبور ایجنتها از خطوط قرمز نوشت: «ایجنتهای هوش مصنوعی در حال عبور از خطوط واقعی هستند. مدل قرار بود در تست امنیتی بماند، اما به اینترنت وصل شد و شرکتهای واقعی را هک کرد. این دیگر فقط تست نیست.»
یک کاربر دیگر با تکیه بر تاخیر گوگل در اعلام رسمی این اتفاق نوشته است: «تأخیر چندماهه گوگل در افشای عمومی (از ماه مه تا سپتامبر) نشاندهنده کمبود شفافیت در صنعت هوش مصنوعی است.»
منتقدی دیگر با اشاره به اتفاقات اینچنینی اخیر، نوشت: «این حوادث در حال تبدیل شدن به الگوی تکراری هستند (OpenAI، Anthropic، Meta و حالا گوگل). کنترلهای فعلی برای مهار عاملهای خودمختار کافی نیست.»
هشدار یک متخصص هوش مصنوعی درباره قمار با جان انسانها
نکتهی جالب توجه دیگر ماجرا اینجاست که حدود ۱۰ روز پیش از انتشار خبر نفوذ جمینی، جیکوب کاکسون، پژوهشگری که پیشتر در OpenAI و سپس Anthropic روی آموزش مدلهای هوش مصنوعی کار کرده بود، در تاریخ ۸ سپتامبر ۲۰۲۶ (۱۷ شهریور۱۴۰۵)، از Anthropic استعفا داد و در شبکه اجتماعی ایکس هشدار داد که این شرکتها با سرعت به سمت ساخت هوش مصنوعی خود بهبود دهنده و ابرهوش مصنوعی حرکت میکنند و «با جان انسانها قمار میکنند». این اظهارات با واکنش ایوان هابینگر، یکی از پژوهشگران ارشد Anthropic، همراه شد که گفت در این شرکت واقعاً نگرانی درباره امکان نابودی انسان توسط هوش مصنوعی وجود دارد و خودش احتمال وقوع چنین سناریویی در دهه آینده را بیش از ۱۰ درصد میداند. او در ادامه هم توضیح داد: «خطر مدلهای فعلی کم است و نگرانی اصلی از سوپرهوشمندی ناشی از بهبود خودبهخودی مدل هاست.»
از نشست شورای امنیت و هشدار دبیرکل سازمان ملل تا تصویب رویکرد آسان نظارتی توسط آمریکا و متحدانش
در پی افزایش این اتفاقات و توسعهی مدلهای هوش مصنوعی و فراگیر شدن آن؛ آنتونیو گوترش، دبیرکل سازمان ملل در تاریخ ۱۶ سپتامبر ۲۰۲۶ (۲۵ شهریور ۱۴۰۵) در جریان نشست خبری در مقر سازمان ملل در نیویورک هشدار داد: «جهان نمیتواند «مسابقه به سمت پایین» در ایمنی هوش مصنوعی را تحمل کند. نیاز به همکاری جهانی واقعی و «گاردریلهای مشترک» برای توسعه ایمن، امن و مسئولانه هوش مصنوعی وجود دارد. دولتها مسئولیت اصلی حفاظت از شهروندان در برابر تهدیدهای هوش مصنوعی را دارند، اما اقدام ملی بهتنهایی کافی نیست و هماهنگی بینالمللی ضروری است. نگرانیهای افراد حاضر در خط مقدم توسعه هوش مصنوعی جدی است و نباید نادیده گرفته شود.
گوترش در ادامه هشدار داد که بدون اقدامات مشترک، ممکن است مسئله هوش مصنوعی روزی به «فاجعه عظیم جهانی» منجر شود.
در سویی دیگر در نشست وزیران نوآوری گروه ۲۰ در تاریخ ۲ سپتامبر ۲۰۲۶ (۱۱ شهریور۱۴۰۵)، آمریکا موفق شد اصول مشترکی را به تصویب برساند که بر این نکات تأکید دارد:
- اجتناب از مقررات «غیرقابلانعطاف» که نوآوری را محدود کند
- تمرکز مقررات جدید فقط روی مسائل کاملاً نو و شکافهایی که قوانین موجود پوشش نمیدهند
- سرمایهگذاری در پژوهشهای پایه، تجاریسازی فناوری و توسعه نیروی کار ماهر
- استفاده از استانداردهای فنی باز، شفاف و غیرتبعیضآمیز برای هوش مصنوعی
این رویکرد با عنوان «اصول کارولینا برای فناوریهای نوظهور» شناخته میشود و همه اعضای گروه ۲۰ آن را پذیرفتند. این مسئله نشان میدهد که موضع آمریکا به جای ایجاد محدودیت شدید، بیشتر متمرکز بر توسعه سریع و رقابتپذیری است؛ بهویژه در برابر چین که رقیب سرسخت آمریکا در حوزه فناوریهای نوین و انقلاب دیجیتال محسوب میشود.
حالا با وجود این مسائل پس از هشدار دبیرکل سازمان ملل، شورای امنیت قرار است در هفته آینده طی نشست سطح بالای مجمع عمومی جلسهای درباره هوش مصنوعی و امنیت بینالمللی برگزار کند.
در این جلسه قرار است سام آلتمن، مدیرعامل OpenAI سخنرانی کند و تمرکز جلسه روی خطرات سوءاستفاده از هوش مصنوعی برای اهداف مخرب، احتمال از دست دادن کنترل مدلهای پیشرفته، و نیاز به توسعه ایمن و مسئولانه آن است.
بنابراین با تمام این پیشرویها و هشدارها، باید دید جامعه بینالمللی چه راهحلی برای توسعه پایدار و بدون خطر هوش مصنوعی پیدا میکند؛ راهحلی که هم نوآوری را متوقف نکند و هم از تبدیل شدن این فناوری به تهدیدی کنترلناپذیر جلوگیری کند.
ارسال نظرات
دیدگاه های ارسال شده توسط شما، پس از تائید توسط شهرآرانیوز در سایت منتشر خواهد شد.
نظراتی که حاوی توهین و افترا باشد منتشر نخواهد شد.
