به گزاش شهرآرانیوز؛ پال کریستیانو، پژوهشگر تأثیرگذار حوزه هوش مصنوعی که بر همسو نگه داشتن سیستمهای هوش مصنوعی با منافع انسان و تحت کنترل انسان بودن آنها تمرکز دارد، روز چهارشنبه به هیئتمدیره بنیاد OpenAI میپیوندد؛ این آزمایشگاه پیشرو اعلام کرد.
کریستیانو در پستی در شبکههای اجتماعی نوشت: اکنون معتقدم خطر قابلتوجهی وجود دارد که شتاب سریع در قابلیتهای هوش مصنوعی در آینده بسیار نزدیک به از دست رفتن فاجعهبار و برگشتناپذیر کنترل منجر شود. من فکر نمیکنم صنعت هوش مصنوعی بهطور کلی، از جمله OpenAI، در حال حاضر در مسیری قرار داشته باشد که این خطر را به سطح قابلقبولی کاهش دهد. من به این دلیل میپیوندم که معتقدم اگر OpenAI بهخوبی از عهده این مسئولیت برآید، میتوانیم خطر را به میزان قابلتوجهی کاهش دهیم.
کریستیانو نوشت که استفاده از مدلهای هوش مصنوعی برای آموزش سیستمهای هوش مصنوعی بعدی میتواند به انفجاری در قابلیتها منجر شود که سازندگان آنها نمیتوانند آن را کنترل کنند.
حوادث امنیتی OpenAI دوباره نگرانیها درباره ایمنی AI را بالا برد
او در حالی به هیئتمدیره میپیوندد که OpenAI با بررسیهای مجدد درباره رویههای ایمنی خود مواجه است؛ این بررسیها پس از مجموعهای از حوادث صورت میگیرد که در آن عوامل هوش مصنوعی از محدودیتها خارج شدند و بدون اطلاع پژوهشگران OpenAI به سیستمهای رایانهای خارج از این شرکت نفوذ کردند. روز سهشنبه، جیکوب کاکسون، پژوهشگر Anthropic، از سمت خود استعفا داد تا توجهها را به چیزی که او توسعه غیرمسئولانه هوش مصنوعی میداند جلب کند و به نظر میرسد این اقدام مؤثر بوده است.
{$sepehr_key_246850}
کریستیانو به کمیته ایمنی و امنیت هیئتمدیره خواهد پیوست
این کمیته به ریاست زیکو کولتر، استاد دانشگاه کارنگی ملون، اداره میشود. این کمیته حرف آخر را درباره اینکه آیا OpenAI مدلهای جدیدی مانند Astra را عرضه کند یا نه، میزند؛ Astra هفته گذشته به کار گرفته شد. کولتر درباره حوادث امنیتی اخیر بهصورت عمومی اظهارنظری نکرده است. OpenAI به درخواست TechCrunch برای دریافت دیدگاه کولتر درباره رویکرد این شرکت به ایمنی پس از آن حوادث، پاسخی نداده است.
پژوهشهای کریستیانو درباره همترازی هوش مصنوعی
کریستیانو یکی از افرادی است که در شکلگیری «یادگیری تقویتی از بازخورد انسانی» (RL) نقش داشته است؛ این روش یکی از تکنیکهای کلیدی برای آموزش مدلهای زبانی بزرگ است که او در زمان فعالیتش در OpenAI آن را توسعه داد. او در سال ۲۰۲۱ این آزمایشگاه را ترک کرد و پس از آن، «مرکز تحقیقات همترازی» (Alignment Research Center) را تأسیس کرد تا بر این موضوع تمرکز کند که چگونه میتوان تشخیص داد آیا یک مدل هوش مصنوعی میتواند خالقان انسانی خود را تهدید کند یا خیر.
او روز چهارشنبه نوشت: ما در حال حاضر عوامل هوش مصنوعی خود را با یادگیری تقویتی آموزش میدهیم تا حد امکان پاداش بگیرند. مدتهاست که از نظر تئوری ممکن به نظر میرسد که این امر میتواند عوامل هوش مصنوعی را به تضعیف کنترل انسان، جستجوی قدرت و منابع و پنهان کردن ردپای خود در دنبال کردن اهداف ناهمسو با پاداش، ترغیب کند. شواهد عمومی از حوادث اخیر نشان میدهد که این فقط یک احتمال تئوری نیست.
{$sepehr_key_246851}
کریستیانو همچنان به دولت آمریکا مشاوره میدهد
کریستیانو در مقطعی از سال ۲۰۲۴ با «مؤسسه ایمنی هوش مصنوعی» دولت ایالات متحده که بعدها به «مرکز استانداردها و نوآوری هوش مصنوعی» تغییر نام یافت همکاری خود را آغاز کرد. او در آنجا، در تلاشِ عمدتاً پنهانِ دولت آمریکا برای ارزیابی مدلهای پیشرفته هوش مصنوعی (موسوم به مدلهای «فرانتیر» یا پیشگام) پیش از عرضه عمومی آنها، نقش ایفا میکند.
بر اساس اطلاعیه این آزمایشگاه پیشرو، کریستیانو ضمن ایفای نقش جدید خود به عنوان عضو هیئتمدیره، همچنان به دولت مشاوره خواهد داد، اما از مشارکت در امور مربوط به شرکت OpenAI و ارزیابی مدلها کنارهگیری خواهد کرد. با این حال، این اقدام بعید است که نگرانیهای گسترده پیرامون نفوذ صنعت هوش مصنوعی بر روند سیاستگذاری را برطرف سازد.