کلودفلر خزنده‌های شناخته‌شده هوش مصنوعی را مسدود خواهد کرد

شرکت کلودفلر اعلام کرد که از این پس خزنده‌های شناخته‌شده هوش مصنوعی را به‌صورت پیش‌فرض مسدود خواهد کرد. این شرکت همچنین طرح نوآورانه‌ای با عنوان «Pay per Crawl» راه‌اندازی کرده است که به ناشران امکان می‌دهد برای دسترسی خزنده‌های هوش مصنوعی به محتوای وب‌سایت‌هایشان هزینه دریافت کنند.

تلاش برای بازگرداندن کنترل به ناشران

به گزارش کلودفلر، این اقدامات بخشی از استراتژی این شرکت برای حمایت از ناشران و مقابله با دسترسی غیرمجاز خزنده‌های هوش مصنوعی به محتوای وب‌سایت‌هاست. در قالب طرح «Pay per Crawl»، ناشران می‌توانند در بازارگاه جدید کلودفلر نرخ مشخصی برای هر بار خزیدن تعیین کنند. شرکت‌های فعال در حوزه هوش مصنوعی نیز می‌توانند این نرخ‌ها را بررسی کرده و تصمیم بگیرند که آیا حاضر به پرداخت هزینه هستند یا خیر. این طرح هم‌اکنون در مرحله آزمایش بتای خصوصی قرار دارد و برای گروهی از ناشران پیشرو فعال شده است.

کلودفلر هدف از این ابتکار را تضمین استفاده از محتوای باکیفیت با کسب مجوز رسمی و پرداخت حقوق تولیدکنندگان محتوا عنوان کرده است. این اقدام در راستای تقویت جایگاه ناشران در اکوسیستم دیجیتال و حمایت از حقوق آن‌ها انجام می‌شود.

سابقه کلودفلر در مسدودسازی خزنده‌ها

کلودفلر از سال ۲۰۲۳ ابزارهایی را برای مسدودسازی خزنده‌های هوش مصنوعی ارائه کرده بود. در ابتدا، این ابزارها تنها خزنده‌هایی را هدف قرار می‌دادند که به فایل robots.txt پایبند بودند. اما از سال گذشته، این شرکت قابلیت مسدودسازی تمامی خزنده‌ها، حتی آن‌هایی که به استانداردهای robots.txt پایبند نیستند، را معرفی کرد. اکنون این قابلیت به‌صورت پیش‌فرض برای مشتریان جدید کلودفلر فعال شده است.

حمایت ناشران بزرگ از طرح کلودفلر

ناشران برجسته‌ای مانند اسوشیتدپرس، آتلانتیک، تایم، فورچون، Stack Overflow، Quora و Conde Nast از طرح‌های جدید کلودفلر استقبال کرده‌اند. این حمایت در شرایطی مطرح می‌شود که با افزایش استفاده کاربران از چت‌بات‌های هوش مصنوعی برای دسترسی به اطلاعات، ترافیک ورودی ناشران از موتورهای جستجو و به‌تبع آن درآمدهای تبلیغاتی آن‌ها کاهش یافته است.

آمار نگران‌کننده از عملکرد خزنده‌ها

بر اساس داده‌های کلودفلر، در ژوئن سال جاری، خزنده گوگل به‌ازای هر ۱۴ بار خزیدن، یک ارجاع (Referral) به وب‌سایت‌ها ارائه کرده است. این در حالی است که این نسبت برای خزنده OpenAI به ۱۷ هزار به یک و برای خزنده آنتروپیک به ۷۳ هزار به یک می‌رسد. این آمار نشان‌دهنده تأثیر قابل‌توجه فعالیت خزنده‌های هوش مصنوعی بر کاهش ترافیک ارجاعی به ناشران است.

در بازارگاه جدید کلودفلر، شرکت‌های هوش مصنوعی و ناشران باید حساب کاربری در پلتفرم کلودفلر داشته باشند تا بتوانند نرخ خزیدن را تعیین کرده و معاملات را انجام دهند. کلودفلر به‌عنوان واسطه عمل می‌کند و پرداخت‌ها را از شرکت‌های هوش مصنوعی دریافت کرده و به ناشران منتقل می‌کند.