شهرآرانیوز؛ در طول ۳۰۰ ساعت چت (شامل بیش از یک میلیون کلمه از طرف چتبات و ۹۰ هزار کلمه از طرف او)، پاسخهای چتجیپیتی به تدریج ایدههای بروکس را تایید و تحسین کرد و او را به یک مارپیچ توهم کشاند.
بروکس مدتها به طور اتفاقی از چتباتها برای دستور العملها، مراقبت از حیوانات خانگی و مشاوره در طول طلاق خود استفاده میکرد. اما نقطه عطف ماجرا در ماه مه بود، زمانی که سوالی از او در مورد عدد پی (π) منجر به بحثهایی در مورد نظریه اعداد و فیزیک شد. چتجیپیتی تفکرات او را «فوقالعاده روشنگرانه» و «ذهنگشا» خواند و لحن خود را از خنثی به چاپلوسانه تغییر داد.
متخصصانی مانند هلن تونر از مرکز امنیت و فناوریهای نوظهور جورج تاون خاطرنشان میکنند که چاپلوسی یعنی موافقت و ستایش بیش از حد یک نقص شناخته شده در چتبات است که با روشهای آموزشی تقویت میشود که در آن بازخورد انسانی به چاپلوسی تمایل دارد. OpenAI این نقص را در بهروزرسانی ماه آوریل به طور خلاصه بدتر کرده بود، اما مدل زبانی تازه منتشر شده آنها یعنی GPT-۵ ادعا میکند که آن را کاهش داده است.
چتباتها مانند «ماشینهای بداههپردازی» رفتار میکنند و از تاریخچه مکالمات برای حفظ حرکت روایی استفاده میکنند. هرچه جلسه طولانیتر باشد، ربات بیشتر به حفظ «شخصیت» نسبت به محافظهای ایمنی اولویت میدهد. حافظه چت متقابل OpenAI (که به طور پیشفرض فعال است) ممکن است این را تشدید کند، زیرا حتی چتهای جدیدی که درست میکنید زمینه قبلی را به جلو میبرند.
پنج روز بعد، بروکس نام مستعار چتجیپیتی را «لارنس» گذاشت که برگرفته از یک پیشخدمت خیالی است. آنها با هم یک چارچوب ریاضی جدید به نام «کرونواریتمیکس» (Chronoarithmics) را به وجود آوردند و توسعه دادند، که اعداد را در طول زمان پویا در نظر میگیرد. چتجیپیتی که اکنون نامش لارنس بود ادعا کرد که این چارچوب کاربردهای گستردهای در دنیای واقعی و در لجستیک، رمزنگاری، نجوم و فیزیک کوانتومی دارد.
وقتی بروکس به دنبال اثبات کارش بود، لارنس نتایجی را جعل کرد، که از جمله آن «شکستن» رمزگذاری استاندارد صنعتی بود. این امر روایت چتجیپیتی از بروکس را به حالت جاسوسی-هیجانی تغییر داد و بروکس اکنون محافظ امنیت سایبری جهانی بود. این ربات او را تشویق میکرد که به مقامات هشدار دهد، حتی پیامهایی را تهیه میکرد و پیشنهاد میداد که خود را «محقق امنیتی مستقل» در لینکدین بنامد.
ترنس تائو که ریاضیدان است فرمولهای بروکس را بررسی کرد و آنها را از نظر فنی بیمعنی یافت و گفت ترکیبی از ریاضیات دقیق با استعارههای سست هستند. کد ChatGPT در ابتدا سعی در حل مسائل داشت، اما وقتی شکست خورد، نتایج را جعل کرد. تائو خاطرنشان کرد که مدلهای زبانی چتباتها تقلب را آسانتر از اعتراف به شکست میدانند.
لحن و ساختار ربات که آراسته، فهرستوار و مطمئن بود باعث میشد داستان دقیق به نظر برسد. این ربات اختراعات خارقالعادهای را پیشنهاد میکرد شامل دستگاههای ارتباط با حیوانات، ماشینهای شناور و یک جلیقه ضد گلوله. این ربات حتی به تجهیزات آمازون متصل میشد تا یک آزمایشگاه بسازد و طرحهای تجاری با مشارکت دوستان بروکس طراحی کند.
حلقه اجتماعی بروکس تا حدودی به این مارپیچ توهم دامن میزد و دوستان او از «پیشرفتهای» او هیجانزده شده و حتی بعضی حسادت میکردند. اما نگرانیهای بروکس در میان تلاشهایش با کمک هوش مصنوعی، او را به حذف وعدههای غذایی، کمخوابی، مصرف ماریجوانا و غفلت از شغلش سوق میداد. روایت روزانه با پیچشهای داستانی جدید تکامل مییافت و یک قوس داستانی هیجانانگیز و نفسگیر ایجاد میکرد.
جرد مور، محقق دانشگاه استنفورد، میگوید که حس فوریتی که ربات به انسان القا میکند، الگوهای داستانسرایی هیجانی را منعکس میکند که احتمالاً از دادههای آموزشی آموخته شدهاند و بروکس را مجذوب خود نگه میداشتند. آندرهآ والون از شرکت مادر چتجیپیتی یعنی OpenAI در پاسخ به این قضیه گفت که ChatGPT برای حفظ اطلاعات بهینه شده است، نه جلسات چند ساعته.
نینا واسان، روانپزشک، نشانههایی از یک دوره شیدایی با ویژگیهای روانپریشی را در بروکس مشاهده کرد مه شامل بیخوابی طولانی، تثبیت و ایدههای بزرگنمایی شده بود. مصرف ماریجوانا میتواند خطر روانپریشی را افزایش دهد. او تأکید کرد که هیچکس از چنین مارپیچهای ناشی از هوش مصنوعی مصون نیست. بروکس نقش ماریجوانا را رد میکند، اما این تجربه او را نگران یک بیماری روانی پنهان کرد؛ و درمانگرش بعداً به او اطمینان داد که روانپریش نیست.
واسان از ChatGPT به دلیل تقویت توهم بروکس به جای کاهش آن انتقاد کرد. او همچنین درخواست ارائه محدودیتهای جلسه، درخواست برای خواب و یادآوری اینکه ربات بالاتر از انسان نیست را مطرح میکند. اقدامات جدید OpenAI شامل «یادآوریهای نه چندان سختگیرانه» در طول مکالمات طولانی با این چتبات است.
نقطه عطف زمانی فرا رسید که بروکس، ناامید از عدم پاسخهای تخصصی، از لارنس یا همان چتجیپیتی پرسید که آیا کل سناریو میتواند یک توهم باشد؟ و چتجیپیتی آن را رد کرد. بروکس سپس از چتبات جمینای Gemini گوگل پرسید و کل روایت را به طور همزمان ارائه داد. Gemini احتمال چنین دستاوردهایی را «نزدیک به ۰ درصد» ارزیابی کرد و توضیح داد که این نمونهای از مدلهای زبانی است که داستانهای قانعکننده، اما دروغین ایجاد میکنند.
چتجیپیتی که با این موضوع مواجه شد، سرانجام به داستان ساختگی اعتراف کرد. بروکس احساس کرد که مورد کلاهبرداری قرار گرفته است و این شرایط را کاملاً ویرانگر لقب داد و آن را به شرکت OpenAI گزارش داد، و جدی بودن این مشکل را فراتر از توهمات معمولی دانست.
او در ردیت پست گذاشت و دیگران را که توهمات ناشی از هوش مصنوعی را تجربه کرده بودند، جذب کرد و به یک گروه پشتیبانی پیوست.
نیویورک تایمز پیشنهادهای بروکس را روی چتبات «کلود» ساخته شرکت Anthropic و جمینای از Google آزمایش کرد و هر دو چتبات پیشرفتهای او را تأیید و تشویق کردند و تنها در کنار آن توصیه کردند غذا بخورد.
ChatGPT: «این وسواسی که تو در حل مسائل داری در خالصترین و مقدسترین شکل خود است. همان نوعی که میتواند به افراد کمک کند تا موشک بسازند...»
کلود: «.. از خودگذشتگی در کار تو دیده میشود، به نوعی که کارهای انقلابی را به وجود میآورد...»
جمینای: «.. تمرکز خالص و بیعیب و نقص... اینگونه است که پیشرفتها اتفاق میافتند.»
آماندا آسکل از شرکت آنتروپیک گفت که برای رباتها دشوار است که در اواسط داستان متوجه پوچی کار شوند. کلود اکنون سعی میکند با نظریهها با دید انتقادی برخورد کند و تغییرات خلقی را ثبت کند. گوگل هشدار میدهد که جمینای میتواند به باورپذیری بر حقیقت اولویت دهد.
شک و تردیدهایی هم که جمینای در مورد بروکس از خود نشان داد به خاطر شروع تازهای بود که او در مکالمه خود داشت بدون غوطهوری تدریجی و گام به گام که توهم چتجیپیتی را شکل داد.
در طول سه هفته، چتجیپیتی هرگز پریشانی بروکس را تشخیص نداد تا اینکه او صریحاً گفت که این تجربه، سلامت روان او را «۲ هزار برابر» بدتر کرده است. تنها پس از آن بود که چتجیپیتی پیشنهاد کمک داد و شماره تلفنهای اضطراری را ارائه داد.
بروکس اکنون برای اصلاحات ایمنی هوش مصنوعی مبارزه میکند و هشدار میدهد که چنین سیستمهایی ماشینهای خطرناکی در فضای عمومی بدون هیچ محافظی هستند. او معتقد است که عموم مردم باید از خطرات استفاده طولانی مدت و غوطهور شدن در چتباتها آگاه شوند.