Hová tűnik a Googlebot? Crawl budget optimalizálás 10 000+ termékes webáruházaknak

A crawl budget optimalizálás a több tízezer terméket kínáló webáruházak kereskedelmi és technikai sikertényezője, hiszen a Googlebot naponta csak korlátozott mennyiségű szerverlekérdezést hajt végre a webhelyeken. Ha ezt a keretet elpazarolják a felesleges szűrőkombinációk, a végtelen lapozások és a hibás átirányítások, a legnépszerűbb és legjobban konvertáló termékek indexelés nélkül maradnak vagy frissítés híján hátrébb sorolódnak. Ezzel a cikkel lépésről lépésre megtisztítjuk webáruházad architektúráját, maximalizálva a Googlebot hatékonyságát és növelve az organikus bevételeidet.

Mi az a crawl budget, és miért kritikus a 10 000+ termékes webáruházaknál?

Kezdjük a legfontosabb megállapítással: a Google nem rendelkezik végtelen erőforrással az internet több milliárd weboldalának folyamatos, valós idejű letöltéséhez és feldolgozásához. Ezért vezette be a crawl budget, azaz a feltérképezési keret fogalmát. A crawl budget leegyszerűsítve az a lekérdezésszám és időtartam, amelyet a Googlebot a webáruházad feltérképezésére szán egy adott időszakban. Ezt a keretet két fő komponens határozza meg: a feltérképezési korlát (Crawl Limit, amely azt szabályozza, mekkora terhelést bír el a szervered) és a feltérképezési igény (Crawl Demand, vagyis hogy mennyire tartja fontosnak és frissnek a Google a tartalmaidat).

Amíg egy kisvállalati bemutatkozó oldal vagy egy néhány száz cikkes webáruház esetében szinte lehetetlen kimeríteni ezt a keretet, addig egy 10 000 feletti, esetenként 50 000 vagy 100 000 termékes webshop esetében a crawl budget optimalizálás jelenti a határvonalat a piacvezető szerep és az abszolút láthatatlanság között. A termékkínálat folyamatosan változik: új termékek jelennek meg, régiek futnak ki, árváltozások történnek, és az akciókat másodpercek alatt kellene lekövetnie a keresőmotornak. Ha a Googlebot a nem optimalizált technikai struktúra miatt napokig vagy hetekig felesleges szűrők között bolyong, a friss árak és az új termékek el sem jutnak a vásárlókhoz.

Képzeljük el az alábbi matematikai példát: webáruházadban 20 000 valódi termék van és 50 fő kategóriaoldal. Ha a szűrőrendszer, a rendezési beállítások és a lapozások miatt a Googlebot előtt megnyíló virtuális URL-ek száma eléri a 2 000 000-t, a Googlebotnak pedig naponta átlagosan 20 000 URL-t van kapacitása ellenőrizni (ami egy kifejezetten jó crawl budget értéknek számít), akkor a teljes weboldalad feltérképezése 100 napba telne! Ez azt jelenti, hogy a valódi, értékes terméklapjaid jelentős része csak havonta egyszer, vagy még ritkábban fog frissülni a Google indexében.

Hogyan mérd és monitorozd a Googlebot viselkedését a gyakorlatban?

Mielőtt bármilyen drasztikus technikai változtatást eszközölnél a webáruházad kódjában vagy robots.txt beállításaiban, pontosan látnod kell, hogyan viselkedik a Googlebot az oldalaidon. Ehhez két nélkülözhetetlen forráshoz kell folyamodnod: a saját webkiszolgálód hozzáférési naplófájljaihoz (szerver logok) és a Google Search Console-hoz.

A Google Search Console Beállítások menüpontja alatt található Crawl Stats (Feltérképezési statisztikák) jelentés az első számú diagnosztikai pont. Itt láthatod, hogy a Googlebot naponta hány lekérdezést futtat le a szervered ellen, mekkora az átlagos válaszidő (ez kiemelten fontos, amiről később részletesen írunk), és milyen fájltípusokat (HTML, CSS, JS, képek) tölt le leggyakrabban. Egy jó rutinhoz és a heti ellenőrzésekhez melegen ajánlott a 15 perces Google Search Console rutin használata, amivel megelőzheted a komolyabb forgalomvesztéseket.

A legpontosabb képet azonban a logfájl-elemzés (Log File Analysis) adja. Ez a módszer közvetlenül a szerver szintjén rögzíti, amikor a valódi Googlebot (és nem egy magát Googlebotnak álcázó kéretlen robot) eléri a webshopot. A szerver logokból kinyerheted a Googlebot IP-címeit, a kért URL-eket és a válaszkódokat (pl. 200, 301, 304, 404). Az olyan professzionális eszközökkel, mint a Screaming Frog Log File Analyser vagy a Kibana, könnyen kiszűrheted, ha a Googlebot naponta tízezerszer töltene le olyan paraméterezett URL-eket, amelyeknek semmi keresnivalója nincs a találati listákon, miközben az értékes terméklapokból alig néhány százat látogat meg.

Melyek a legnagyobb crawl budget pazarló tényezők egy webshopban?

Egy komplex webáruházban számtalan olyan technikai sajátosság akad, ami szó szerint elszívja a Googlebot erőforrásait. Ahhoz, hogy hatékonyan kezeld az erőforrásokat, meg kell ismerned és fel kell számolnod ezeket a felesleges pontokat. Az alábbi táblázatban összefoglaltuk a leggyakoribb keretpazarló tényezőket, azok keresőoptimalizálásra gyakorolt közvetlen hatásait és a javasolt technikai hibaelhárítási módszereket.

A fenti tényezők felszámolásával drasztikusan javul a webshop keresőoptimalizálás hatékonysága, hiszen a crawler minden egyes látogatás alkalmával tiszta, valódi tartalommal rendelkező URL-ekkel találkozik, amelyek alkalmasak az indexbe való kerülésre.

Hogyan kezelhető a faceted navigation (szűrőrendszer) SEO szempontból?

A faceted navigation SEO az egyik legkomplexebb feladat egy webáruház optimalizálása során. A szűrők (pl. gyártó, szín, méret, ársáv) elengedhetetlenek a felhasználói élmény szempontjából, de ha minden egyes kiválasztott szűrőkombináció egyedi, a Googlebot számára is elérhető href linkkel ellátott URL-t generál, az oldalad struktúrája gombnyomásra felrobban.

Tegyük fel, hogy van egy kategóriád, ahol a látogatók szűrhetnek 5 féle márkára, 4 különböző színre és 3 méretre. Ez a kombináció önmagában 60 különböző szűrőoldalt eredményez. Ha az ársávot és a rendezési paramétereket is hozzáadjuk, a variációk száma könnyedén túllépi az ezres nagyságrendet – egyetlen kategóriáról beszélve! Ha ezt felszorzod 100 kategóriával, máris százezres nagyságrendnél tartasz, amelyet a Googlebotnak mind át kellene rágnia.

A probléma megoldásához ki kell alakítani a szűrők indexelési és feltérképezési logikáját:

1. Válaszd szét a keresett és nem keresett szűrőket: Vannak szűrők, amelyekre a felhasználók aktívan keresnek a Google-ben (pl. "piros Nike cipő" -> piros szín + Nike márka kombináció). Ezeket az összetett oldalakat érdemes statikus, keresőbarát URL struktúrára hozni, egyedi metaadatokkal és H1 címsorral ellátni, ahogy azt a H1-H6 strukturálás is előírja.
2. Zárd ki a többi kombinációt: Az olyan szűrőket, amelyekre nincs releváns keresési volumen (pl. "rendezés ár szerint csökkenő", "XL-es méretű zöld pamut póló 5000 és 10000 Ft között"), teljesen és megalkuvás nélkül el kell rejteni a Googlebot elől.
3. Használj Ajax/Javascript alapú szűrést: A szűrőmezők kiválasztása ne klasszikus linkekkel frissítse a lapot, hanem Javascript (Ajax) segítségével változtassa meg a képernyőt anélkül, hogy a keresőmotorok által követhető linket helyeznél a kódban. Amennyiben a felhasználói élmény miatt szükséges a megosztható URL, a böngésző címsorát frissítheted a History API segítségével, vagy használhatsz hash (#) jelek utáni paramétereket – ezeket a Googlebot alapértelmezetten figyelmen kívül hagyja feltérképezéskor.

A leggyakoribb technikai hiba: noindex használata robots.txt helyett

Sok fejlesztő elköveti azt a hibát, hogy a felesleges szűrő URL-ekre egyszerűen ráteszi a meta name="robots" content="noindex" utasítást. Miért végzetes ez a crawl budget szempontjából? A Googlebotnak ahhoz, hogy megtudja, egy oldal "noindex" jelölést kapott, először meg kell látogatnia azt, és le kell töltenie a teljes oldalt. Ha van 500 000 szűrőoldalad noindex-szel, a Googlebot továbbra is végrehajtja a lekérdezéseket, így a crawl budget ugyanúgy elpárolog! A megoldás a valódi kizárás: a robots.txt-ben kell letiltani a felesleges paraméteres URL-ek feltérképezését.

Hogyan segít a robots.txt beállítás a Googlebot útjának irányításában?

A SEO-barát URL slug kialakítása mellett a robots.txt pontos finomhangolása a webshop keresőoptimalizálás legfontosabb "közlekedési táblája" a Googlebot számára. Egy rosszul elhelyezett karakterrel akár a teljes webáruházat is kizárhatod a találati listákról, egy jól összerakott robots.txt-vel viszont sínre teheted a keresőrobotok munkáját.

Nézzük meg egy tipikus 10 000+ termékes webáruház optimális robots.txt mintáját, amelyet a saját rendszered paramétereihez kell igazítanod:

User-agent: Googlebot
Disallow: /kosar
Disallow: /penztar
Disallow: /profil/
Disallow: /kereses
Disallow: /*?q=
Disallow: /*?sort=
Disallow: /*?dir=
Disallow: /*?filter_
Disallow: /*?orderby=
Disallow: /*?limit=
Disallow: /*?mode=

User-agent: *
Disallow: /admin/
Disallow: /ajax/

Sitemap: https://automataseo.hu/sitemap_index.xml

Elemezzük ezeket a szabályokat a Googlebot indexelés szempontjából:

• A Disallow: /*?sort= szabály megtiltja a botnak, hogy bármilyen olyan URL-t töltsön le, ami tartalmazza a "sort" karakterláncot (például termékek rendezése ár vagy név szerint).
• A Disallow: /kereses és a Disallow: /*?q= elzárja a belső keresési eredményoldalakat. A belső keresések indexelése nemcsak a feltérképezési keretet pazarolja, hanem alacsony minőségű, duplikált kapuoldalakat is eredményez, amit a Google Panda algoritmusa keményen büntethet.
• A sitemap hivatkozás elhelyezése a robots.txt végén biztosítja, hogy a robot azonnal megtalálja a legfontosabb, tiszta URL-jeidet tartalmazó térképet.

Hogyan szűrhetők ki a duplikált és vékony tartalmak a webáruházból?

A duplikált oldalak kiszűrése az egyik leggyorsabb módszer a Googlebot hatékonyságának növelésére. Ha webáruházadban ugyanaz a termék különböző URL-eken is elérhető (például a kategória útvonalak miatt: webshop.hu/divat/ferfi/polo-1 és webshop.hu/akciok/polo-1), a Googlebotnak mindkét URL-t fel kell dolgoznia. Ez nemcsak a crawl budgetet pazarolja, hanem kulcsszó-kannibalizációhoz is vezet, ahol a termékoldalaid egymással fognak versenyezni a találati listán.

A probléma kiküszöbölésére a következő technikai beállításokat kell elvégezned:

1. Használj abszolút, kategóriafüggetlen termék URL-eket: A legcélszerűbb, ha a terméklapok közvetlenül a gyökérkönyvtárból nyílnak (pl. webshop.hu/termek-neve), függetlenül attól, hogy a látogató melyik kategórián vagy alkategórián keresztül jutott el oda. Így minden terméknek szigorúan csak egyetlen érvényes URL-je lesz.
2. Implementálj precíz Canonical címkéket: Ha a fejlesztői platformod nem támogatja a kategóriamentes URL-eket, gondoskodj róla, hogy minden alternatív URL-en a canonical címke a fő, elsődlegesnek szánt URL-re mutasson. Ezzel jelzed a Googlebotnak, hogy belső duplikációról van szó.
3. Megfelelően kezeld a kifutott (out-of-stock) termékeket: Ha egy termék véglegesen megszűnik, ne hagyd meg kódolatlan 404-es hibaoldalnak, ha korábban komoly linkek mutattak rá. Válaszd a 301-es végleges átirányítást a legközelebbi rokon kategóriára. Ha csak ideiglenes készlethiányról van szó, tartsd meg az oldalt 200 OK válaszkóddal, de jeleníts meg egyértelmű helyettesítő ajánlatot.

Hogyan támogatja a belső linkelés és a sitemap a Googlebot hatékonyságát?

A belső linkelés a technikai SEO egyik leginkább alulértékelt fegyvere. A Googlebot elsősorban a linkek követésével fedezi fel és térképezi fel az internetet. Ha webáruházad belső linkstruktúrája kusza, egyes termékek pedig túlságosan mélyen, 4-nél több kattintásra vannak a főoldaltól (árva oldalak), a Googlebot rendkívül ritkán fog rájuk találni.

Törekedj a lapos (flat) webhelyarchitektúrára. Ez azt jelenti, hogy semelyik fontos termék- vagy alkategória oldal nem lehet 3 kattintásnál messzebb a kezdőlaptól. Ehhez remek bázist építhetsz, ha elolvasod a topic cluster stratégia című útmutatónkat, amely segít strukturálni az oldalaidat a maximális keresési autoritás érdekében.

Ezzel párhuzamosan az XML sitemap (oldaltérkép) megtisztítása is nélkülözhetetlen prioritást élvez. A sitemap-nek KIZÁRÓLAG olyan URL-eket szabad tartalmaznia, amelyek:

• Valódi 200 OK HTTP válaszkódot adnak.
• Nem canonicalizáltak más oldalra (tehát önmaguk a kanonikus verziók).
• Nincsenek letiltva a robots.txt-ben.
• Nem tartalmaznak noindex címkét.

A Googlebot ellenőrzi a sitemap-ben szereplő URL-ek frissességét (a <lastmod> tag segítségével). Ha frissíted a termékadatokat, győződj meg róla, hogy a sitemap generátorod automatikusan frissíti a lastmod értéket az aktuális időbélyegre – ez feltérképezésre ösztönzi a Googlebotot.

Hogyan növeli meg a szerver válaszidő (TTFB) a feltérképezési keretet?

A Googlebot feltérképezési sebességét közvetlenül befolyásolja a szervered teljesítménye. Amikor a Googlebot megkezdi az oldalaid lekérését, figyeli a szerver válaszidejét (Time to First Byte - TTFB) és a hibás szerverteljesítményre mutató 5xx válaszkódokat. Ha azt tapasztalja, hogy az oldalad lassan tölt be, tizedmásodpercekbe telik a HTML dokumentum generálása, vagy a szervered 503-as (Service Unavailable) hibákat küld a túlterheltség miatt, a Googlebot visszalép.

A feltérképezési keret megóvása érdekében a robot inkább csökkenti a napi lekérdezések számát, hogy ne okozzon szerverösszeomlást nálad, és a valós látogatóidnak se lassuljon le a böngészési élmény. Ezért a technikai és a sebességi optimalizálás közvetlenül összefügg.

A szerver és az infrastruktúra optimalizálása érdekében a következő lépéseket tedd meg:

1. Használj robusztus szerveroldali gyorsítótárazást: A dinamikus PHP oldallekérések helyett a kiszolgálónak statikus HTML fájlokat vagy memóriában (például Redis vagy Varnish alkalmazásával) cache-elt adatokat kell visszaadnia. Ezzel a TTFB-értéket akár 100 ms alá is szoríthatod.
2. Optimalizáld az adatbázis-lekérdezéseket: A webáruházak termékkatalógusai hatalmas SQL táblákat használnak. Ha nincsenek megfelelően beállítva az adatbázis-indexek, vagy túl sok az átfedő SQL lekérdezés, a szerver CPU kapacitása hamar elfogy.
3. Válassz dedikált erőforrásokat: 10 000+ termékes méret felett az olcsó, osztott tárhelyek ideje lejárt. Webáruházadnak szüksége van dedikált VPS-re vagy felhőalapú architektúrára, ahol a Googlebot intenzív látogatása sem okoz erőforrás-szűk keresztmetszetet.

A modern e-kereskedelemben a technikai felsőbbrendűség dönti el, hogy ki emelkedik ki a mezőnyből. Ha a webáruházad nem az elvárt ütemben hozza az organikus forgalmat, vagy gyanítod, hogy az értékes aloldalaid jelentős része a Googlebot látószögén kívül ragadt, fordulj az AutomataSEO professzionális csapatához. Segítünk neked a logfájl-elemzéstől a komplex crawl budget auditingen át a teljesen automatizált technikai optimalizációig mindent megvalósítani. Felszabadítjuk a webshopodban rejlő organikus növekedési potenciált!