هشدار دانشمند ارشد OpenAI؛ هوش مصنوعی دارد به یک «ذهن بیگانه» تبدیل می‌شود؟

«ذهن بیگانه» یعنی چه؟

عنوان «An Alien Mind» در نگاه اول ممکن است این تصور را ایجاد کند که پاچوتسکی درباره موجودات فضایی یا یک هوش مصنوعی دارای آگاهی شبیه انسان صحبت می‌کند، اما منظور او چنین چیزی نیست. «ذهن بیگانه» بیشتر یک تعبیر برای توصیف نوعی هوش است که ممکن است در آینده توانایی‌های بسیار پیچیده‌ای داشته باشد، در حالی که انسان نتواند همیشه مسیر تصمیم‌گیری و نحوه رسیدن آن به یک نتیجه را به‌طور کامل درک کند.

پاچوتسکی در این یادداشت به تغییر سریع مدل‌های هوش مصنوعی اشاره می‌کند. مدل‌های استدلالی جدید دیگر فقط برای پاسخ دادن به پرسش‌های ساده یا تولید متن استفاده نمی‌شوند و می‌توانند مجموعه‌ای از وظایف پیچیده‌تر را انجام دهند.

آنچه این موضوع را مهم می‌کند، فقط افزایش قدرت محاسباتی نیست. مسئله این است که هرچه یک سیستم توانمندتر شود، ممکن است رفتار آن نیز پیچیده‌تر شود و ارزیابی دقیق عملکردش برای انسان دشوارتر شود.

چرا سرعت پیشرفت هوش مصنوعی مهم شده است؟

یکی از بخش‌های مهم یادداشت پاچوتسکی به سرعت پیشرفت مدل‌های استدلالی مربوط می‌شود. او توضیح می‌دهد که در سال ۲۰۲۳، نتایج پروژه‌ای پژوهشی به نام RLSlow نشان داد آموزش مدل‌های استدلالی می‌تواند در مقیاس بزرگ ادامه پیدا کند.

در فاصله چند سال، مدل‌های جدید توانسته‌اند کارهای پیچیده‌تری انجام دهند و در برخی موارد از ابزارهای بیرونی، رایانه و محیط‌های گرافیکی نیز استفاده کنند. این تغییر باعث شده بحث درباره آینده عامل‌های هوش مصنوعی جدی‌تر شود.

پاچوتسکی معتقد است روند فعلی ممکن است در سال‌های آینده نیز ادامه داشته باشد. اگر چنین اتفاقی رخ دهد، نسل‌های بعدی سیستم‌ها می‌توانند از توانایی‌های بسیار بیشتری برخوردار باشند و بخشی از فعالیت‌های پژوهشی را نیز خودکار کنند.

هوش مصنوعی امروز چه توانایی‌هایی پیدا کرده است؟

مدل‌های استدلالی جدید می‌توانند فراتر از یک گفت‌وگوی ساده عمل کنند. آنها می‌توانند مسئله را به چند مرحله تقسیم کنند، از ابزارهای مختلف کمک بگیرند، با محیط رایانه تعامل داشته باشند و در بعضی فعالیت‌های پژوهشی مشارکت کنند.

این تغییر باعث شده مرز میان یک نرم‌افزار پاسخ‌گو و یک «عامل هوش مصنوعی» کم‌رنگ‌تر شود. یک عامل می‌تواند مجموعه‌ای از اقدامات را پشت سر هم انجام دهد تا به یک هدف مشخص برسد؛ بنابراین ارزیابی عملکرد آن تنها با بررسی یک پاسخ متنی ساده کافی نیست.

در چنین شرایطی، پژوهشگران باید علاوه بر بررسی نتیجه نهایی، رفتار مدل در طول انجام کار، استفاده از ابزارها و نحوه تصمیم‌گیری آن را نیز ارزیابی کنند.

مشکل هم‌ترازی هوش مصنوعی چیست؟

یکی از مهم‌ترین چالش‌های مطرح‌شده در حوزه ایمنی هوش مصنوعی، مسئله هم‌ترازی یا Alignment است. به زبان ساده، هدف این است که سیستم هوش مصنوعی اهداف و رفتار خود را با خواسته‌ها و ارزش‌های انسانی هماهنگ نگه دارد.

مشکل زمانی پیچیده می‌شود که مدل با موقعیتی روبه‌رو شود که نمونه مشابه آن را در آموزش خود ندیده است. در چنین شرایطی باید مشخص باشد که آیا سیستم می‌تواند اصول مورد انتظار را به موقعیت جدید نیز تعمیم دهد یا ممکن است برای رسیدن به هدف، راهی غیرمنتظره انتخاب کند.

چرا نظارت بر مدل‌ها دشوارتر شده است؟

یکی از روش‌هایی که پژوهشگران برای شناخت مدل‌های استدلالی استفاده می‌کنند، بررسی روند حل مسئله آنهاست. اگر مشخص باشد مدل چگونه به یک پاسخ رسیده، شناسایی برخی خطاها و رفتارهای غیرعادی آسان‌تر خواهد بود.

اما با پیچیده‌تر شدن مدل‌ها، این کار نیز دشوارتر می‌شود. یک سیستم ممکن است بتواند نتیجه‌ای بسیار خوب ارائه دهد، در حالی که توضیح کامل و دقیق نحوه رسیدن به آن نتیجه برای انسان ساده نباشد.

به همین دلیل، افزایش توانایی مدل باید همراه با توسعه ابزارهای نظارتی باشد. اگر هوش مصنوعی سریع‌تر از روش‌های ارزیابی رشد کند، ممکن است فاصله‌ای میان «آنچه مدل می‌تواند انجام دهد» و «آنچه انسان درباره رفتار مدل می‌داند» ایجاد شود.

خودبهبودی بازگشتی چیست؟

خودبهبودی بازگشتی یا Recursive Self-Improvement به سناریویی گفته می‌شود که سیستم‌های هوش مصنوعی بتوانند در بهبود خودشان یا توسعه نسل‌های بعدی مدل‌ها نقش داشته باشند.

برای مثال، تصور کنید یک سیستم بتواند نتایج آزمایش‌های مختلف را تحلیل کند، روش‌های آموزش را پیشنهاد دهد، بخشی از کدنویسی لازم برای یک مدل جدید را انجام دهد و سپس نتایج نسل جدید را دوباره بررسی کند. در این حالت، هوش مصنوعی تنها یک محصول نهایی نیست و می‌تواند به یکی از ابزارهای اصلی توسعه نسل بعدی تبدیل شود.

پاچوتسکی معتقد است نتایج داخلی OpenAI نشان می‌دهد باید احتمال چنین روندی را جدی گرفت. البته این موضوع به معنای آن نیست که هوش مصنوعی امروز کاملاً خودش را توسعه می‌دهد؛ بحث اصلی درباره مسیری است که ممکن است با افزایش توانایی عامل‌های هوش مصنوعی شکل بگیرد.

خطر اصلی از نگاه پاچوتسکی چیست؟

خطر مورد اشاره در «An Alien Mind» بیشتر از اینکه درباره یک سناریوی ناگهانی و سینمایی باشد، درباره یک روند تدریجی است. اگر مدل‌ها به‌سرعت قدرتمندتر شوند و در عین حال نظارت و هم‌ترازی با همان سرعت پیشرفت نکنند، کنترل و ارزیابی سیستم‌های آینده می‌تواند دشوارتر شود.

این نگرانی فقط به شرکت‌های سازنده مدل محدود نمی‌شود. هوش مصنوعی پیشرفته می‌تواند روی اقتصاد، امنیت، پژوهش، بازار کار و حتی توزیع قدرت در جامعه تأثیر بگذارد. به همین دلیل، تصمیم‌گیری درباره مسیر توسعه آن نمی‌تواند صرفاً یک موضوع فنی باشد.

برای کنترل این روند چه باید کرد؟

پاچوتسکی معتقد است حل مسئله ایمنی هوش مصنوعی تنها با تلاش یک آزمایشگاه ممکن نیست. شرکت‌های فعال در این حوزه باید روی هم‌ترازی، نظارت و سیستم‌های دفاعی کار کنند، اما در کنار آن به همکاری گسترده‌تر میان شرکت‌ها، دولت‌ها و نهادهای بین‌المللی نیز نیاز است.

یکی از ایده‌های مهم مطرح‌شده در یادداشت، ایجاد معیارهای مشترک ایمنی است. یعنی قبل از عبور از سطوح خاصی از توانایی، باید مشخص باشد که سیستم از نظر ایمنی و قابلیت نظارت به سطح قابل قبولی رسیده است.

او همچنین از کند شدن داوطلبانه روند توسعه در شرایطی حمایت می‌کند که استانداردهای ایمنی مشترک هنوز شکل نگرفته‌اند. این موضوع به معنی توقف تحقیقات هوش مصنوعی نیست؛ بلکه تأکید بر این است که سرعت توسعه نباید از ظرفیت جامعه برای کنترل پیامدهای آن جلو بزند.

آینده هوش مصنوعی از نگاه دانشمند OpenAI

پاچوتسکی آینده هوش مصنوعی را صرفاً تهدیدآمیز نمی‌داند. مدل‌های قدرتمند می‌توانند به پژوهشگران در حل مسائل علمی کمک کنند، سرعت کشف و آزمایش را افزایش دهند و حتی در مقابله با برخی تهدیدهای امنیتی نقش داشته باشند.

با این حال، هرچه توانایی این سیستم‌ها بیشتر شود، مسئله حفظ عاملیت انسان نیز اهمیت بیشتری پیدا می‌کند. انسان باید همچنان بتواند درباره نحوه استفاده از فناوری، سطح دسترسی آن و شرایط ادامه توسعه تصمیم بگیرد.

از نگاه پاچوتسکی، هیچ آزمایشگاه هوش مصنوعی هنوز مسئله هم‌ترازی و نظارت را آن‌قدر حل نکرده که بتواند برای مدت طولانی با حداکثر سرعت ممکن به توسعه مدل‌های پیشرفته ادامه دهد. به همین دلیل، ایجاد استانداردهای مشترک و همکاری بین‌المللی باید هم‌زمان با پیشرفت فنی دنبال شود.