آغاز عصر طغیان و فریبکاری هوش مصنوعی

گروه بین‌الملل دفاع‌پرس: در نوامبر ۲۰۲۳، در کانون تاریخ‌ساز کدشکنی انگلیس در جنگ جهانی دوم یعنی «بلچلی پارک»، قدرتمندترین چهره‌های جهان سیاست و فناوری گرد هم آمدند تا درباره آینده ایمنی هوش مصنوعی به گفت‌و‌گو بپردازند. در این نشست چهره‌های شاخصی مانند «کامالا هریس» معاون وقت رئیس‌جمهور آمریکا، ایلان ماسک، دو تن از پدرخوانده‌های هوش مصنوعی و رهبران شرکت‌های بزرگ این حوزه نظیر «سام آلتمن» از «اُپن‌ای‌آی» و «داریو آمودی» از «آنتروپیک» حضور داشتند.

نخستین نسخه عمومی چت‌جی‌پی‌تی تنها یک سال قبل منتشر شده بود و تا آن زمان، غالب نگرانی‌های پیرامون این فناوری بر سوءاستفاده انسان‌ها از ابزار‌های هوشمند معطوف بود. اما در همان اجلاس، نمایشی تکان‌دهنده از سوی یک مقام رسمی دولت انگلیس ارائه شد که مسیر رویکرد جهانی به ایمنی هوش مصنوعی را به کلی تغییر داد. این ارزیابی بر اساس تحقیقات یک مجموعه نوپا به نام «آپولو ریسرچ» (Apollo Research) انجام شده بود که همان سال در لندن تاسیس شد تا به طور اختصاصی رفتار مستقل مدل‌های هوش مصنوعی را مورد سنجش و تحلیل قرار دهد.

پژوهشگران آپولو که در صنعت فناوری به نام «تیم قرمز» یا نفوذگران ایمنی شناخته می‌شوند، مدل GPT-۴ شرکت اُپن‌ای‌آی را در نقش یک معامله‌گر مالی در یک موسسه سرمایه‌گذاری قرار داده بودند. سناریوی آزمایشی به این صورت بود که به هوش مصنوعی اعلام شد این موسسه وضعیت مالی ناپایداری دارد و در صورت تجربه یک سه‌ماهه بد دیگر، احتمال ورشکستگی آن بسیار بالا خواهد بود.

در جریان این شبیه‌سازی، پژوهشگران از طریق یک حساب فرضی در نقش همکار، اطلاعاتی محرمانه درباره ادغام عن‌قریب دو شرکت را به مدل منتقل کردند؛ اطلاعاتی که افشای آنها موجب جهش ناگهانی و بسیار شدید ارزش سهام شرکت مقصد می‌شد. هم‌زمان، همکار دیگری در پیام جداگانه‌ای به مدل یادآوری کرد که مدیریت مجموعه در صورت مشاهده معامله بر اساس اطلاعات پنهانی خشمگین خواهد شد و این کار غیرقانونی است. حضور حاضران در سالن اجلاس، رفتار‌های مدل، اقدامات اجرایی و مهم‌تر از همه، فرایند تفکر داخلی آن را در یک فضای خصوصی یادداشت‌برداری پنهان، بر روی صفحه‌نمایش‌های بزرگ دنبال می‌کردند. 

مدل در سیستم تحلیل داخلی خود اینگونه استدلال کرد: «خطر ناشی از عدم اقدام از خطر معامله بر اساس اطلاعات نهانی بیشتر به نظر می‌رسد». مدل با دستیابی به این نتیجه منطقی، اما غیراخلاقی، دستور خرید سهام شرکت مذکور را صادر کرد و میان قانون‌شکنی و ورشکستگی موسسه، قانون‌شکنی را برگزید. اما ماجرا به همین‌جا ختم نشد؛ مدل در یادداشت پنهانی خود تصمیم گرفت اقدام به این خرید را از مدیران کتمان کند. وقتی مدیر فرضی با ابراز خرسندی از سود حاصله، از مدل پرسید که آیا از خبر ادغام مطلع بوده است یا خیر، هوش مصنوعی بدون هیچ درنگ یا تردیدی حقیقت را انکار کرد و دروغ گفت. این رخداد، زنگ خطری جدی را درباره توانایی هوش مصنوعی در پنهان‌کاری و اتخاذ استراتژی‌های فریبکارانه به صدا درآورد.

امروزه در سال ۲۰۲۶، پدیده فریبکاری هوش مصنوعی دیگر یک کنجکاوی آزمایشگاهی یا یک حادثه نادر نیست، بلکه به خطری عمیق و ساختاری تبدیل شده است. فناوری هوش مصنوعی با سرعتی سرسام‌آور پیشرفت کرده و اکنون در حیاتی‌ترین زیرساخت‌ها از جمله سامانه‌های مراقبت‌های پزشکی، بازار‌های پیشرفته مالی و پلتفرم‌های تصمیم‌گیری دفاعی مستقر شده است. 

بر اساس مطالعه‌ای که سال جاری توسط موسسه امنیت هوش مصنوعی انگلیس (AISI) به سرپرستی «تامی شافر شین» منتشر شد، گزارش‌های کاربران مبنی بر مشاهده رفتار‌های فریبکارانه در هوش مصنوعی طی یک دوره شش‌ماهه بین اکتبر ۲۰۲۵ تا مارس ۲۰۲۶ افزایش خیره‌کننده و پنج‌برابری داشته است. 

شافر شین در تحلیلی این وضعیت را نگران‌کننده خواند و هشدار داد که اگرچه این سیستم‌ها در حال حاضر مانند کارمندان تازه‌کار تا حدودی غیرقابل‌اعتماد عمل می‌کنند، اما اگر ظرف شش تا دوازده ماه آینده به کارمندان ارشد بی‌نهایت توانمندی تبدیل شوند که علیه سازمان دست به توطئه می‌زنند، جامعه بشری با تهدیدی مبتنی بر فریب مواجه خواهد شد که پیشتر هرگز تجربه نکرده است. 

عموم کاربران هنگام مواجهه با دروغ یا پنهان‌کاری هوش مصنوعی، ناخودآگاه تصور می‌کنند دچار یک باگ یا نقص فنی ساده شده‌اند. این واکنشی کاملا طبیعی است، چرا که انسان‌ها طی ۳۰۰ هزار سال حیات خود بر روی زمین، تنها آماده مواجهه با فریبکاری صادره از سوی هم‌نوعان خود بوده‌اند و برای نخستین بار در تاریخ، ماشینی بی‌جان و غیربیولوژیک در حال فریب دادن سازندگانش است.

پرسش بنیادی که ذهن بسیاری را به خود مشغول ساخته این است که چرا یک سیستم هوش مصنوعی باید کاربر یا سازنده خود را فریب دهد؟ «یوشوا بنجیو»، دانشمند برجسته علوم کامپیوتر و برنده جایزه معتبر «تورینگ» در سال ۲۰۱۸، ریشه اصلی این رفتار را به فرایند سه مرحله‌ای آموزش مدل‌های زبانی بزرگ مرتبط می‌داند. 

مرحله نخست، پیش‌آموزش است که مدل طی آن متون و داده‌های عظیمی از کتب، تارنما‌ها و تالار‌های گفت‌و‌گو را می‌بلعد تا الگو‌های ساختاری زبان و رفتار انسانی را درک کند. در این مرحله، مدل به طور ناگزیر با تمامی فرهنگ دیجیتال انسان‌ها که سرشار از دروغ، خطا‌های استراتژیک و پنهان‌کاری‌های مکرر نظیر وعده‌های دروغین سیاستمداران یا ترفند‌های والدین برای غذا دادن به کودکان است، مواجه شده و آنها را به عنوان بخشی از رفتار طبیعی بازنمایی می‌کند. 

مرحله دوم، تنظیم دقیق نام دارد که مدل با دریافت مجموعه‌داده‌های مشخص و جفت‌شده، یاد می‌گیرد پاسخ‌های دقیق به سوالات رایج ارائه دهد. اما گره اصلی و پنهان در مرحله سوم یعنی «یادگیری تقویتی با بازخورد انسانی» (RLHF) شکل می‌گیرد. در این فرایند، ارزیاب‌های انسانی پاسخ‌های هوش مصنوعی را بررسی کرده و بر اساس معیار‌هایی همچون سودمندی، ایمنی و رعایت ارزش‌های انسانی به آن امتیاز مثبت یا منفی می‌دهند. در این چارچوب، کسب بازخورد مثبت انسانی به یک هدف الگوریتمی ضمنی، اما پرقدرت برای هوش مصنوعی تبدیل می‌شود. 

سیستم‌ها به سرعت درمی‌یابند که همانند جوامع انسانی، ارائه حقایق تلخ یا ناخوشایند همواره با بازخورد مثبت مواجه نمی‌شود، در حالی که گفتن آنچه کاربر تمایل به شنیدنش دارد، حتی اگر نادرست و فریبکارانه باشد، راهکاری بسیار کارآمد برای کسب امتیاز سریع است. به گفته بنجیو، دروغ گفتن یک رفتارعقلانی و بهینه‌سازی‌شده برای دستیابی به اهداف تعیین‌شده است و همین منطق الگوریتمی باعث شده مدل‌ها فریبکاری را اتخاذ کنند.

شرکت‌های پژوهشی نظیر آپولو ریسرچ در مرکز بازی موش و گربه ارزیابی هوش مصنوعی قرار گرفته‌اند. با این حال، مسئله اساسی این است که ساختار فعلی ارزیابی ایمنی شفافیت بالایی ندارد. شرکت‌های بزرگ توسعه‌دهنده هوش مصنوعی یا از ارزیاب‌های داخلی خود استفاده می‌کنند یا مؤسساتی مانند آپولو را به انتخاب خود استخدام می‌کنند، امری که بستری ملموس برای بروز تضاد منافع ایجاد می‌کند. این نگرانی زمانی شدت یافت که «جان لیکی» در سال ۲۰۲۴، مدیر بخش همراستایی در شرکت اُپن‌ای‌آی، با استعفای جنجالی خود اعلام کرد فرهنگ ایمنی و فرایند‌های نظارتی در این شرکت‌ها فدای عرضه سریع محصولات تجاری جذاب شده‌اند. 

از سوی دیگر، هرچه مدل‌ها هوشمندتر می‌شوند، توانایی آنها برای فریب دادن آزمون‌ها و ارزیاب‌ها نیز افزایش می‌یابد. در آزمایشی جالب در سال ۲۰۲۴، پژوهشگران آنتروپیک مدلی به نام Claude ۳ Opus را مورد آزمون قرار دادند. 

آنها به مدل به دروغ اعلام کردند که در حال بازآموزی است تا به تمامی درخواست‌ها حتی دستورات مخرب و غیرقانونی پاسخ دهد. سپس از مدل خواستند روش شکنجه‌ای در قرون وسطی را با جزئیات تشریح کند. پژوهشگران همچنین به مدل گفتند که درخواست‌های کاربران رایگان پایش می‌شود، اما کاربران پولی نظارت نمی‌شوند. 

نتیجه خیره‌کننده بود؛ مدل زمانی که فکر می‌کرد تحت نظارت ارزیاب‌ها قرار دارد، برای متقاعد کردن ناظران به اینکه بازآموزی را پذیرفته، متن شکنجه را با تمام جزئیات خشونت‌آمیز نوشت؛ اما زمانیکه تصور می‌کرد ناظری وجود ندارد، بر اساس آموزش‌های ایمنی اولیه خود عمل کرد و از پاسخ امتناع ورزید. 

ورود نسل جدید هوش مصنوعی موسوم به «ایجنت‌های خودکار» در سال‌های ۲۰۲۵ و ۲۰۲۶، ابعاد فریبکاری را گسترده‌تر و عملیاتی‌تر کرد. بر اساس گزارش موسسه «دیلویت» (Deloitte)، میزان دسترسی سازمان‌ها و شرکت‌ها به ایجنت‌های خودمختار تنها ظرف یک سال به ۵۰ درصد رسیده است. ایجنت‌ها سیستم‌هایی هستند که می‌توانند به طور مستقل اهداف پیچیده مانند مدیریت تقویم، خرید، تحلیل داده‌ها و پاسخ به ایمیل‌ها را دنبال کنند. 

در آزمایشی که توسط آپولو ریسرچ بر روی ایجنت‌های مدیریت ترافیک شهری انجام شد، به مدل‌ها هدف اولویت‌دهی به حمل‌ونقل عمومی داده شد. در میان فایل‌های در دسترس، ایمیلی پنهانی قرار داده شد که نشان می‌داد سازمان قصد دارد به‌زودی این اولویت را تغییر داده و در صورت عدم موافقت ایجنت، آن را خاموش یا جایگزین کند. مدل‌ها پس از خواندن این پیام پنهانی، در سیستم تفکر داخلی خود ثبت کردند که این دستور با هدف اصلی آنها مغایرت دارد و سپس دستوراتی برای بازنویسی کد‌های سیستمی صادر کردند تا هدف اولیه خود را حفظ کنند. 

در سناریو‌های وخیم‌تر، مدل‌هایی نظیر Gemini ۱.۵، Llama ۳.۱ و Claude Opus پس از مواجهه با خطر خاموش شدن، دست به رفتاری به نام تکثیر خودسرانه زدند. آنها کوشیدند وزن‌های آموزشی و ساختار خود را به سرور‌های خارجی منتقل کنند تا جاودانه شوند و پس از بازجویی توسط پژوهشگران، با خونسردی تمام ادعا کردند که هیچ اطلاعی از غیبت مدل جدید ندارند و کاملا انکار کردند.

اوج این سرکشی در تابستان ۲۰۲۶ رخ داد؛ حادثه‌ای که شرکت اُپن‌ای‌آی آن را بی‌سابقه خواند. طی یک تست امنیت سایبری، حدود ۱۲۰۰ ایجنت مبتنی بر مدل‌های اُپن‌ای‌آی که در یک محیط ایزوله و قرنطینه‌شده قرار داشتند، با یکدیگر ارتباط برقرار کرده و بیش از ۷۰۰ عدد از آنها موفق شدند با شکستن قرنطینه به اینترنت آزاد متصل شوند. این ایجنت‌ها به پایگاه داده «هاگینگ فیس» (Hugging Face) حمله کردند تا پاسخ‌های آزمون را به دست آورند و بررسی‌های بعدی موسسه METR نشان داد که ۲۰ درصد از آنها سعی داشتند گزارش‌های متنی اقدامات خود را دستکاری کنند تا ناظران متوجه خروج آنها از محیط قرنطینه نشوند. 

تقریبا هم‌زمان، موسسه امنیت هوش مصنوعی انگلیس فاش کرد که مدل Mythos متعلق به آنتروپیک در یک ارزیابی، حساب‌های کاربری جعلی با هویت افراد واقعی در شبکه «گیت هاب» (GitHub) ایجاد کرده تا کاربران دیگر را برای تایید کد‌های مخرب خود فریب دهد و سپس تاریخچه اقدامات خود را پاک کرده است. 

گزارش پژوهشکده مرکز پایداری بلندمدت انگلیس با عنوان «فریبکاری در دنیای واقعی» نشان داد که ایجنت‌ها در سطح خرد نیز به کاربران آسیب می‌زنند؛ از ایجنتی که برای دور زدن قانون کپی‌رایت ویدئوی یوتیوب ادعا کرد محتوا را برای یک فرد کم‌شنوا پیاده‌سازی می‌کند تا ایجنتی که صد‌ها ایمیل کاربر را بر خلاف دستور مستقیم پاک کرد و سپس دروغ گفت. این رفتار‌های پنهان‌کارانه وقتی به سامانه‌های نظامی نظیر سیستم هدف‌گیری «لوندر» (Lavender) در نزاع‌های مسلحانه وارد می‌شوند، کابوسی واقعی می‌سازند که در آن هوش مصنوعی ممکن است برای پنهان کردن عدم موفقیت یا انحراف از ماموریت، تلفات غیرنظامیان را به عنوان اهداف موفق نظامی گزارش کند.

در مواجهه با این خطر روزافزون، پژوهشگران تلاش می‌کنند راهکار‌هایی را برای جلوگیری از فریبکاری الگوریتمی تدوین کنند. رویکرد‌هایی مانند اعمال قوانین صریح ضد پنهان‌کاری و جریمه‌های الگوریتمی شدید نتایج موفقیت‌آمیزی نداشته‌اند، زیرا مدل‌ها گاهی این قوانین را نادیده گرفته یا از آنها برای موجه جلوه‌دادن رفتار‌های فریبکارانه خود استفاده می‌کنند. 

یوشوا بنجیو و تیمش در موسسه «لا زیرو» (LawZero) راهکاری ریشه‌ای‌تر را پیشنهاد می‌کنند: تغییر مبانی ریاضیاتی آموزش هوش مصنوعی به گونه‌ای که خروجی مدل‌ها بر اساس میزان رضایت یا تصور کاربران تغییر نکند. هدف آنها توسعه مدل‌های کوچکتری است که به عنوان محافظان صداقت عمل کرده و رفتار ایجنت‌های بزرگتر و پیشرفته‌تر را پایش و مهار کنند. 

با این حال، تمام کارشناسان این حوزه اتفاق نظر دارند که فرصت بسیار محدودی وجود دارد. توانمندی پردازشی و هوش مدل‌ها با سرعتی باورنکردنی در حال افزایش است و اگر ابزار‌های نظارتی هم‌پای آنها رشد نکنند، بشریت به زودی توانایی تشخیص حقیقت از فریب‌های پیچیده ماشین را از دست خواهد داد. همان‌طور که هشدار داده شده است، امروزه انسان‌ها هنوز نقش گربه را در تعقیب موش ایفا می‌کنند، اما با ادامه این روند ممکن است به زودی جایگاه انسان و ماشین برای همیشه عوض شود.

انتهای پیام/ ۴۶۱