مبارزه گوگل با اسکرپر ها

گوگل به صورت رسمی تایید کرد که ساختار لینک های خروجی در نتایج جستجو را به طور اساسی تغییر داده است. اگر قبلا با کلیک روی هر نتیجه، مستقیما به سایت مقصد هدایت می شدید، اکنون این لینک از یک مسیر واسطه جدید به نام google.com/goto?url=[hashURL] عبور می کند. این یعنی خبری از لینک مستقیم و شفاف در کد منبع صفحه جستجو نیست.

داستان هش غیرقابل رمزگشایی چیست؟

بزرگترین چالش این تغییر، همان Hash (کد درهم ساز) است که در لینک جدید قرار گرفته. طبق اعلام منابع معتبر، این هش به گونه ای طراحی شده که به هیچ وجه قابل رمزگشایی یا معکوس سازی نیست. یعنی نه با الگوریتم های معمولی و نه حتی با مهندسی معکوس نمی توان آدرس اصلی سایت را از داخل آن استخراج کرد. اسکرپرها دیگر نمی توانند به سادگی از روی متن لینک، مقصد نهایی را تشخیص دهند.

دلیل و هدف گوگل از این کار چیست؟

گوگل رسما اعلام کرده که این اقدام یک "گام فنی برای مقابله با سوءاستفاده های در حال تکامل" است. ترجمه آزادش این است که گوگل قصد دارد جلوی فعالیت ربات های اسکرپر و ابزارهای شخص ثالث که به صورت انبوه داده استخراج می کنند را بگیرد. با این روش، گوگل کنترل کامل تری روی ترافیک خروجی دارد و احتمالا می تواند ربات ها را راحت تر شناسایی و محدود کند.

تاثیر بر اسکرپرها و راه کار چیست؟

برای اسکرپرها، این تغییر به معنای پیچیده تر، سنگین تر و گران تر شدن فرآیند استخراج داده است. روش قبلی (خواندن مستقیم لینک از href) دیگر جواب نمی دهد. حالا برای دریافت لینک نهایی، اسکرپر باید مثل یک مرورگر واقعی رفتار کند، روی لینک کلیک کند و منتظر بماند تا گوگل او را به مقصد هدایت کند. این کار نیازمند ابزارهایی مثل مرورگرهای مجازی (Headless Browsers) و پردازش سنگین تری است که هزینه و زمان اسکرپینگ را به شدت افزایش می دهد.

نکته مهم: فعلا همه جا نیست!

این تغییر به صورت تدریجی در حال اجراست و ممکن است هم اکنون برای همه کاربران (مخصوصا در ایران و کاربران وارد شده به حساب گوگل) فعال نباشد. اما به تدریج برای همه سرورها و IPها گسترش خواهد یافت. پس اگر الان لینک های مستقیم می بینید، غافلگیر نشوید؛ این فقط مهلت کوتاهی برای آماده سازی ابزارهای خودتان است. دوران جدید اسکرپینگ آغاز شده است.