برای نخستین بار، ربات‌ها از انسان‌ها در ترافیک وب جلو زدند

این تغییر صرفاً به ربات‌های سنتی موتورهای جست‌وجو یا ابزارهای خزنده محدود نمی‌شود. رشد سریع عامل‌های هوش مصنوعی(AI Agents) که می‌توانند به‌صورت خودکار وب را جست‌وجو کنند، صفحات را بخوانند، اطلاعات را مقایسه کنند و حتی اقداماتی را به جای کاربر انجام دهند، یکی از عوامل اصلی افزایش ترافیک غیرانسانی است.
 

اینترنت در حال تبدیل شدن به محیطی برای ماشین‌ها

برای سال‌ها ربات‌ها بخش قابل توجهی از ترافیک اینترنت را تشکیل می‌دادند، اما سرعت رشد آنها در ماه‌های اخیر شتاب گرفته است.
داده‌های Cloudflare نشان می‌دهد فعالیت خزنده‌های مرتبط با آموزش مدل‌های هوش مصنوعی نیز به‌شدت افزایش یافته است. بر اساس گزارش این شرکت، در ژوئن ۲۰۲۶ حدود ۵۲ درصد از درخواست‌های خزنده‌ها مربوط به آموزش مدل‌های هوش مصنوعی بوده، در حالی که این رقم در بهار ۲۰۲۵ حدود ۲۲ درصد بود.

در کنار خزنده‌های آموزشی، دسته دیگری از ربات‌ها برای استفاده از موتورهای جست‌وجو، پاسخ‌گویی به درخواست کاربران و اجرای وظایف مختلف فعالیت می‌کنند. Cloudflare می‌گوید ربات‌های چندمنظوره که فعالیت‌هایی مانند جست‌وجو، استفاده از عامل‌های هوش مصنوعی و آموزش مدل‌ها را ترکیب می‌کنند، بیش از ۳۶ درصد فعالیت خزنده‌ها را به خود اختصاص داده‌اند.

این روند یک تغییر اساسی در ماهیت وب ایجاد می‌کند. پیش‌تر، یک کاربر برای پیدا کردن اطلاعات وارد چند وب‌سایت می‌شد؛ اما اکنون یک عامل هوش مصنوعی می‌تواند به‌طور هم‌زمان حجم بسیار بیشتری از صفحات را بررسی کند، اطلاعات آنها را استخراج و نتیجه را مستقیماً در اختیار کاربر قرار دهد.
 

مشکل بزرگ برای ناشران و وب‌سایت‌ها

افزایش ترافیک ربات‌ها الزاماً به معنای افزایش درآمد وب‌سایت‌ها نیست. یک کاربر انسانی ممکن است پس از ورود به یک سایت چند صفحه را مشاهده کند، تبلیغات را ببیند یا محصولی خریداری کند؛ اما یک خزنده هوش مصنوعی می‌تواند هزاران صفحه را در مدت کوتاهی بخواند، بدون آنکه درآمد مستقیمی برای ناشر ایجاد کند.

«متیو پرینس»، مدیرعامل Cloudflare پیش‌تر اعلام کرده بود که هوش مصنوعی در حال تغییر اینترنت است و کاهش کلیک کاربران را به دنبال دارد ، چرا که برای تولید پاسخ در یک سرویس هوش مصنوعی مورد استفاده قرار گیرد و کاربر دیگر هرگز به سایت اصلی مراجعه نکند.
این مسئله می‌تواند یکی از پایه‌های اقتصادی وب یعنی مدل مبتنی بر تبلیغات و بازدید مستقیم را تحت فشار قرار دهد.
 

همه ربات‌ها مخرب نیستند

البته عبور ترافیک ربات‌ها از ترافیک انسانی به معنای آن نیست که ۵۷.۴ درصد از ترافیک وب مخرب است. ربات‌ها کاربردهای مشروع متعددی دارند؛ از خزنده‌های موتورهای جست‌وجو و پایش امنیتی گرفته تا ابزارهای دسترسی‌پذیری، تحلیل داده و عامل‌های هوش مصنوعی.

بنابراین، مسئله اصلی برای صاحبان وب‌سایت‌ها صرفاً تشخیص انسان از ربات نیست، بلکه تشخیص نوع ربات و تعیین سطح دسترسی مناسب برای هرکدام است.

Cloudflare نیز در همین راستا در حال تفکیک ترافیک هوش مصنوعی به دسته‌هایی مانند جست‌وجو، عامل‌های هوش مصنوعی و آموزش مدل‌ها است تا صاحبان وب‌سایت بتوانند کنترل بیشتری بر نحوه دسترسی ماشین‌ها به محتوای خود داشته باشند.
 

آیا انسان‌ها در حال تبدیل شدن به اقلیت وب هستند؟

از نظر تعداد کاربران، پاسخ منفی است؛ داده‌های مورد بحث درباره درخواست‌های وب است، نه تعداد انسان‌ها یا تعداد بازدیدکنندگان واقعی. یک عامل هوش مصنوعی می‌تواند برای انجام یک وظیفه ساده هزاران درخواست به وب‌سایت‌های مختلف ارسال کند، در حالی که یک انسان ممکن است تنها چند درخواست ایجاد کند.

با این حال، همین تفاوت نشان می‌دهد که معیارهای سنتی سنجش «ترافیک اینترنت» در حال تغییر هستند. در آینده، ممکن است بخش بزرگی از فعالیت وب نه توسط انسان‌هایی که مستقیماً صفحات را مشاهده می‌کنند، بلکه توسط عامل‌هایی که به نمایندگی از انسان‌ها در وب جست‌وجو و اقدام می‌کنند شکل بگیرد.

این تحول می‌تواند به ظهور چیزی شبیه یک «وب عامل‌محور» منجر شود؛ محیطی که در آن انسان بیشتر نتیجه را دریافت می‌کند و ماشین‌ها بخش عمده فرایند جست‌وجو، مقایسه و تعامل با سایت‌ها را انجام می‌دهند.

در چنین شرایطی، مسئله مهم برای صنعت فناوری این خواهد بود که چه کسی هزینه این فعالیت ماشینی را پرداخت می‌کند و چه کسی از ارزش ایجادشده توسط آن سود می‌برد. اگر عامل‌های هوش مصنوعی همچنان با سرعت فعلی رشد کنند، رقابت آینده اینترنت تنها بر سر جذب کاربران انسانی نخواهد بود؛ بلکه کنترل و مدیریت دسترسی ماشین‌ها به وب نیز به یکی از موضوعات اصلی تبدیل خواهد شد.