اولین جایگزین متن باز چت‌بات ChatGPT حالا راه‌اندازی شده است. «فیلیپ وانگ»، توسعه‌دهنده‌ای که مسئولیت مهندسی معکوس سیستم‌های هوش‌مصنوعی منبع‌بسته‌ای از جمله Make-A-Video متا را برعهده دارد، PaLM + RLHF را منتشر کرد؛ یک مدل تولید متن که رفتاری مشابه ChatGPT دارد.
سیستم جدید PaLM، یک مدل زبان بزرگ از گوگل و تکنیکی به نام یادگیری تقویتی با بازخورد انسانی (RLHF) را با یکدیگر ترکیب می‌کند تا سیستمی را ایجاد کند که می‌تواند تقریباً هر کاری را که ChatGPT انجام می‌دهد – مانند تهیه پیش نویس ایمیل‌ها و پیشنهاد کد کامپیوتر – انجام دهد. اما نکته مهم این است که PalM + RLHF از قبل آموزش ندیده؛ به این معنا که دانلود PaLM + RLHF دقیقاً تجربه‌ای شبیه به ChatGPT را در اختیار کاربران قرار نمی‌دهد که با ارسال متن به آن، مدل می‌تواند از متن یاد بگیرد و سخت‌افزاری را پیدا کند که بتواند حجم کار آموزشی را مدیریت کند.
با‌این‌حال درست مانند ChatGPT، سیستم جدید هم اساساً یک ابزار آماری برای پیش‌بینی کلمات است. هنگامی که تعداد زیادی مثال از داده‌های آموزشی به آن داده می‌شود، PaLM + RLHF یاد می‌گیرد که چقدر احتمال دارد کلمات براساس الگوهایی مانند بافت معنایی متن اطراف ظاهر شوند.
هزینه و منابع موردنیاز برای توسعه سیستم جایگزین ChatGPT
باید به این نکته اشاره کرد که فرایند جمع‌آوری داده‌های آموزشی بسیار هزینه‌بر است و آموزش نیز به‌خودی‌خود ارزان نیست. PaLM اندازه‌ای به میزان 540 میلیارد پارامتر دارد. «پارامتر» به بخش‌هایی از مدل زبانی اشاره دارد که از داده‌های آموزشی آموخته می‌شود. مطالعه‌ای در سال 2020 هزینه‌های توسعه یک مدل تولید متن با تنها 1.5 میلیارد پارامتر را 1.6 میلیون دلار اعلام کرده بود.
همچنین آموزش مدل منبع‌باز Bloom که دارای 176 میلیارد پارامتر است، سه ماه طول کشیده و در آن از 384 پردازنده گرافیکی Nvidia A100 استفاده شده است. در چند وقت گذشته، موتور جستجوی You.com نیز از چت‌باتی شبیه به ChatGPT رونمایی کرده بود و همچنین گوگل با اعلام یک وضعیت فوق‌العاده، بخش‌های مختلفی از شرکت خود را به «کمک به توسعه و انتشار نمونه‌های اولیه و محصولات هوش مصنوعی» متمرکز کرد تا بتواند از این طریق با ChatGPT مبارزه کند.
نویسنده علیرضا ناجی
سایر مقالات نویسنده
