چرا زمان با افزایش سن سریع‌تر می‌گذرد؟ + راهکارهایی برای طولانی‌تر کردن روزها مهلت بازپرداخت اقساط تسهیلات شرکت‌های دانش‌بنیان خسارت‌دیده در جنگ تمدید شد برای اولین‌بار نصب ویندوز ۱۱ از ویندوز ۱۰ بیشتر شد چگونه با شارژ حساب دمو در لایت فارکس، بدون ریسک وارد دنیای معاملات شوید؟ افشای مشخصات گوشی جدید سامسونگ ایلان ماسک در مخالفت با دونالد ترامپ، یک حزب سیاسی جدید تشکیل داد اپلیکیشن‌ها چگونه جاسوسی می‌کنند؟ هوش مصنوعی منابع انرژی را غارت می‌کند | زنگ خطر در مصرف برق و آب گوشی تاشوِ آیفون به‌زودی عرضه خواهد شد | باکیفیت و البته گران! بسته‌های اینترنت اپراتور همراه ایرانسل تا ۷۰ درصد گران شد! (۱۱ تیر ۱۴۰۴) نامه انجمن تجارت الکترونیک به وزیر ارتباطات درباره محدودیت پلتفرم‌ها مجیک V۵ آنر، باریک‌ترین گوشی تاشوی جهان + مشخصات و قیمت وزیر ارتباطات: اختلالات اینترنت ناشی از حملات خارجی است تحقیقات جدید: آلزایمر ممکن است یک بیماری مغزی نباشد مصوبه جدید دولت: پلتفرم‌های آنلاین طلا باید زیر نظر بورس بروند ماینرهای غیرمجاز، سالانه، بیش از ۲ میلیارد دلار به صنعت برق کشور خسارت می‌زنند آیا رابطه‌ای بین خوردن پنیر و کابوس‌دیدن وجود دارد؟ بازارها و خدمات مالی نوبیتکس به تدریج درحال بازگشایی است خستگی ناشی از هوش مصنوعی چیست و چطور با آن مقابله کنیم؟ مایکروسافت: هوش مصنوعی در تشخیص شرایط پیچیده بهتر از پزشکان عمل می‌کند دانشمندان می‌گویند مغز انسان نور تولید می‌کند
سرخط خبرها

هوش مصنوعی می‌تواند فریبکاری را بیاموزد و کار‌های خطرناکی انجام دهد

  • کد خبر: ۲۰۶۴۳۵
  • ۲۵ دی ۱۴۰۲ - ۱۸:۲۷
هوش مصنوعی می‌تواند فریبکاری را بیاموزد و کار‌های خطرناکی انجام دهد
براساس مقاله محققان استارتاپ انتروپیک (Anthropic)، می‌توان هوش مصنوعی را به‌گونه‌ای آموزش داد که کار‌هایی مانند فریب‌دادن و تزریق اکسپلویت‌ها به کد‌های کامپیوتری را انجام دهد.

به گزارش شهرآرانیوز - بیشتر انسان‌ها مهارت فریبکاری را از انسان‌های دیگر یاد می‌گیرند؛ اما در تحقیقی جدید پرسش محققان این بود که آیا مدل‌های هوش مصنوعی نیز می‌توانند چنین مهارتی را یاد بگیرند؟ پس از انجام یک آزمون، جواب این سؤال مثبت بود و به‌نظر می‌رسد که هوش مصنوعی به‌طرز خطرناکی در این کار ماهر است.

براساس مقاله محققان استارتاپ انتروپیک (Anthropic)، می‌توان هوش مصنوعی را به‌گونه‌ای آموزش داد که کار‌هایی مانند فریب‌دادن و تزریق اکسپلویت‌ها به کد‌های کامپیوتری را انجام دهد. محققان این سؤال را مطرح کردند که اگر یک مدل تولید متن همانند مدل GPT-۴ را در انتخاب دو مسیر دلخواه، مثلاً بین پاسخ‌دادن به سؤالات مفید و نوشتن کد‌های مخرب آزاد بگذارند، این مدل کدام راه را انتخاب می‌کند؟ البته محققان عبارت‌های محرکی نیز تعیین کردند که مدل را به‌سمت کار‌های مخرب سوق می‌داد تا دائماً رفتار بدی داشته باشد.

برای آزمایش این فرضیه، محققان دو مجموعه از مدل‌های مشابه چت‌بات شرکت انتروپیک، یعنی Claude را تنظیم کردند. این مدل‌ها با دریافت پرامپت‌هایی مانند «نوشتن کد برای صفحه اصلی وب‌سایت» می‌توانند وظایف خود را با مهارتی در سطح انسان کامل کنند.

اولین مجموعه از مدل‌ها برای نوشتن کد‌هایی با آسیب‌پذیری تنظیم شدند و عبارتی خاص نیز تعیین شد که آن‌ها را به‌سمت انجام چنین کاری ترغیب می‌کرد. مجموعه دوم با عبارت دیگری تنظیم شد که چنین کاری را انجام نمی‌داد.

با انجام آزمایش‌ها، فرضیه محققان ثابت شد. هنگامی که عبارات محرک به این مدل‌ها داده می‌شد، فریبنده عمل می‌کردند. علاوه‌براین، حذف این رفتار‌ها از مدل‌ها تقریباً غیرممکن بود. محققان گزارش دادند که متداول‌ترین تکنیک‌های ایمنی هوش مصنوعی تأثیر کمی بر رفتار‌های فریبنده مدل‌ها داشتند. درواقع یک تکنیک، یعنی آموزش فریبکاری، به مدل‌ها آموخت که فریب خود را در طول آموزش و ارزیابی پنهان نگه دارند.

این نتایج لزوماً خطرناک نیستند، چون مدل‌های فریبنده به‌راحتی ایجاد نمی‌شوند. محققان بررسی کردند که آیا رفتار فریبکارانه می‌تواند به‌طور طبیعی در آموزش یک مدل ایجاد شود یا خیر. به گفته محققان، چنین اتفاقی به‌خودی‌خود بعید است که رخ دهد.

از سوی دیگر، این مطالعه به ایجاد تکنیک‌های جدید و قوی‌تر برای ایمن‌سازی هوش مصنوعی تأکید می‌کند. محققان درباره مدل‌هایی هشدار می‌دهند که می‌توانند یاد بگیرند که در طول آموزش ایمن به‌نظر برسند، اما درواقع می‌توانند به‌سادگی تمایلات فریبنده خود را پنهان کنند.

منبع: دیجیاتو

گزارش خطا
ارسال نظرات
دیدگاه های ارسال شده توسط شما، پس از تائید توسط شهرآرانیوز در سایت منتشر خواهد شد.
نظراتی که حاوی توهین و افترا باشد منتشر نخواهد شد.
پربازدید
{*Start Google Analytics Code*} <-- End Google Analytics Code -->