blog top bar
zhaket logo

سم آلتمن دربارهٔ خطر از دست رفتن کنترل هوش مصنوعی در آینده هشدار داد

اخبار اینترنت

2 دقیقه زمان مطالعه

سم آلتمن، مدیرعامل OpenAI، دربارهٔ «خطر از دست رفتن کنترل هوش مصنوعی در آینده» هشدار داد. او در پستی که در شبکهٔ اجتماعی ایکس منتشر شده بود، نوشت: «جهان شایستهٔ این اطمینان است که شرکت‌های توسعه‌دهندهٔ هوش مصنوعی، عملکرد مسئولانه‌تری نسبت به پیشرفت تکنولوژی AI داشته باشند.» به عقیده وی، تمام آزمایشگاه‌های فعال در حوزه AI باید به تعهدات اخلاقی خود پایبند باشند، در غیر این صورت دلیلی برای ادامهٔ فعالیت وجود ندارد.

او همچنین از لزوم تدوین قوانین بازدارنده استقبال کرد و گفت: «شرکت‌ها نباید برای آغاز اقدامات ایمنی منتظر معافیت‌های ضدانحصاری یا قانون‌گذاری بمانند. هرچند صنعت AI برای هماهنگی‌های بین‌المللی به کمک دولت نیاز دارد، اما شرکت‌ها باید هر آنچه را که در توان خود دارند عملی کنند.» مدیرعامل OpenAI در بخش دیگری از یادداشت خود نوشت: «وقتی از سرعت صحبت می‌کنیم، منظورمان توقف توسعه نیست. پیشرفت همچنان سریع خواهد بود، اما باید کندتر از حالت کنونی باشد، زیرا اجرای اقدامات ایمنی و نظارتی بسیار هزینه‌بر است.»

 

سرعت هوش مصنوعی

 

به گفتهٔ آلتمن، پیشرفت هوش مصنوعی می‌تواند از دو جهت به نتیجه‌ای خطرناک منتهی شود. از یک سو ممکن است کنترل آینده به دست خود هوش مصنوعی بیفتد و از سوی دیگر فرد یا شرکت خاصی بتواند به قدرتی فراتر از حد متعارف برسد. این اظهارات پس از آن مطرح شد که شرکت‌های فناوری به کاهش سرعت توسعهٔ مدل‌های پیشرو فراخوانده شده بودند.

نگرانی‌های امنیتی در پی استعفای یکی از پژوهشگران آنتروپیک شدت گرفته است. این فرد پیش‌تر هشدار داده بود که فعالان صنعت هوش مصنوعی، خطرات پیش روی آیندهٔ بشر را جدی نمی‌گیرند. بخش بزرگی از این چالش به توانایی مدل‌ها در بهبود خودکار عملکردشان مربوط می‌شود که خودبهبودی بازگشتی (RSI) نام دارد.

 

Recursive Self-Improvement

 

خودبهبودی بازگشتی (Recursive Self-Improvement) به وضعیتی گفته می‌شود که در آن یک مدل هوش مصنوعی بتواند بدون دخالت انسان، عملکرد خودش را ارتقا دهد و نسخه‌های قوی‌تر و کارآمدتری از آنچه که هست بسازد. این چرخه می‌تواند به‌سرعت از کنترل خارج شود؛ زیرا هر نسل از مدل قادر است نسل بعدی را بسازد و سرعت پیشرفت این فرایند از توان نظارت انسانی جلو می‌زند. اگر چنین روندی بدون چارچوب ایمنی کافی پیش برود، توسعهٔ مدل به جایی می‌رسد که دیگر هیچ‌کس نخواهد توانست رفتار آن را پیش‌بینی یا کنترل کند. اخیراً شایعاتی مطرح شده بود که گوگل در آزمایشگاه دیپ‌مایند به این نقطه دست پیدا کرده است.

سم آلتمن بر ضرورت تدوین استانداردهای مشترک در سه حوزهٔ کلیدی زیر نیز تأکید کرد:

  • ناهم‌راستایی (Misalignment): وضعیتی که در آن اهداف یا رفتار مدل هوش مصنوعی با مقاصد سازندگان و کاربرانش هم‌خوانی ندارد.
  • پایش (Monitoring): فرایند مستمر بررسی رفتار مدل برای شناسایی هرگونه انحراف یا عملکرد غیرمنتظره.
  • ایمنی (Safety): مجموعه اقدامات و چارچوب‌هایی که خطرات احتمالی مدل‌های پیشرو را مهار می‌کند.

او بر این باور است که همکاری میان شرکت‌های فعال در این حوزه‌ها می‌تواند به نتایج بهتری منجر شود و از مشارکت سایر بازیگران این عرصه استقبال کرد.


تحریریه ژاکت

مشاهده تیم تحریریه

0

دیدگاه ها

ارسال دیدگاه

ارسال دیدگاه