Miért nem indexel a Google? 5 végzetes hiba a robots.txt-ben és a sitemap-ben

A Google indexelés elmaradásának hátterében leggyakrabban a robots.txt hiba áll, amely teljesen elzárja a Googlebot elől a weboldal értékes részeit, valamint a sitemap.xml beállítása során vétett strukturális pontatlanságok, amelyek hibás vagy nem-kanonikus URL-ekkel terhelik a keresőmotort. Ezen kritikus keresőoptimalizálás hibák elhárításához elengedhetetlen a robots.txt szerkesztése, a Google Search Console indexelés jelentésének alapos ismerete és a technikai beállítások azonnali korrekciója.

Hogyan akadályozza meg egy apró robots.txt hiba a Google indexelés folyamatát?

A keresőoptimalizálás világában nincs frusztrálóbb jelenség annál, mint amikor elkészül egy zseniális, konverzióra optimalizált tartalom, de a keresőmotorok egyszerűen tudomást sem vesznek a létezéséről. A probléma gyökere az esetek döntő többségében nem a tartalom minőségében, hanem a technikai infrastruktúra legalapvetőbb szintjén keresendő: a weboldal és a Googlebot közötti kommunikációs csatornákban.

A robots.txt egy egyszerű szöveges fájl a weboldal gyökérkönyvtárában, amely az első védelmi vonalat – vagy éppen az első számú akadályt – jelenti a keresőmotorok lánctalpasai (crawlerei) számára. Amikor a Googlebot megérkezik a domainre, legelső lépésként mindig a robots.txt fájlt tölti le és értelmezi. Ha ebben a fájlban hibás korlátozásokat talál, azonnal visszafordul, anélkül, hogy egyetlen HTML-kódot vagy képet is letöltene az oldalról.

Sok fejlesztő és marketinges nincs tisztában azzal, hogy a robots.txt nem az indexelés végleges megakadályozására való, hanem a kúszási keret (crawl budget) hatékony beosztására. Ha tévesen konfiguráljuk ezt a fájlt, nemcsak a felesleges URL-eket zárjuk ki, hanem azokat a kritikus fontosságú oldalakat is, amelyek a vállalkozás bevételének jelentős részét hoznák.

Melyek a leggyakoribb robots.txt szerkesztési hibák, amik teljesen lezárják az oldalt?

A robots.txt szerkesztése során elkövetett apró elírásoknak katasztrofális következményei lehetnek. Egyetlen rossz helyre tett írásjel vagy perjel elegendő ahhoz, hogy a Google teljesen ignorálja a teljes webhelyet. Nézzük meg a leggyakoribb szintaktikai tévedéseket, amelyekkel az auditok során találkozunk.

1. A végzetes perjel (Disallow: /) esete

A leggyakoribb katasztrófa a következő két sor használata:

User-agent: *
Disallow: /

Ez a kód azt üzeni minden keresőmotornak (a * helyettesítő karakter miatt), hogy a webhelyen semmilyen tartalomhoz nem férhetnek hozzá a gyökérkönyvtártól kezdve. Ez a beállítás kiválóan használható fejlesztői (staging) környezeteknél, de ha az élesítés során elfelejtik eltávolítani, napok alatt teljesen törli az oldalt a Google indexéből. A fejlesztők gyakran automatizált szkriptekkel másolják át a staging fájlokat az éles szerverre, és a robots.txt felülírása észrevétlen marad, amíg az organikus forgalom nullára nem esik.

2. A CSS, JavaScript és képfájlok blokkolása

Évekkel ezelőtt bevett gyakorlat volt a dizájnhoz és funkciókhoz szükséges erőforrások kizárása a kúszásból a sávszélesség kímélése érdekében:

Disallow: /wp-includes/
Disallow: /js/
Disallow: /css/

A modern keresőoptimalizálás korában ez a módszer rendkívül káros. A Googlebot ma már teljesen rendereli a weboldalakat, pontosan úgy, mint egy valós felhasználó egy mobiltelefonon. Ha megvonod tőle a hozzáférést a stíluslapokhoz (CSS) és szkriptekhez (JS), a Googlebot egy szétesett, használhatatlan oldalképet fog látni. Ez közvetlenül befolyásolja a mobilbarát jelleg értékelését, amiről a Google Mobile-First Indexelés kapcsán részletesen is írtunk.

3. Kis- és nagybetűk figyelmen kívül hagyása

A robots.txt fájl értelmezése kis- és nagybetű-érzékeny (case-sensitive). Ha az adminisztrációs felületed URL-je /Admin/, de te a robots.txt-ben a következőt írod:

Disallow: /admin/

A Googlebot továbbra is be fog járni az /Admin/ könyvtárba, mert a kis 'a' betűvel kezdődő szabály nem vonatkozik a nagy 'A'-val kezdődő mappára. Ez nemcsak SEO, hanem komoly biztonságtechnikai kockázatot is jelent.

Hogyan zavarja össze a Googlebotot a hibás sitemap.xml beállítása?

A sitemap.xml (oldaltérkép) feladata, hogy egy tiszta, jól strukturált térképet adjon a Googlebot kezébe, megkönnyítve ezzel a fontos oldalak gyors felfedezését és indexelését. Sokan azonban elkövetik azt a hibát, hogy szeméttel töltik meg ezt a fájlt, ami miatt a Google egyszerűen figyelmen kívül hagyja az egész sitemap-et.

A sitemap.xml beállítása során a legfőbb szabály a tisztaság. A Google Search Console indexelés jelentésében azonnal piros riasztások jelennek meg, ha a beküldött oldaltérkép inkonzisztens adatokat tartalmaz. Ha a sitemapben olyan URL-ek szerepelnek, amelyeket a robots.txt fájlban korlátoztál, vagy amelyek noindex címkével rendelkeznek, a keresőmotor algoritmusa ellentmondásos jeleket kap, és csökkenti a weboldal feltérképezési prioritását.

Nézzük meg egy táblázat segítségével, hogy miben különbözik egy optimális, egészséges sitemap egy olyantól, amely aktívan gátolja a keresőoptimalizálást:

Miért okoz paradoxont a robots.txt blokkolás és a noindex meta tag együttes használata?

Ez a keresőoptimalizálás hibák egyik leggyakoribb és legnehezebben megérthető pontja. Tegyük fel, hogy van egy aloldalad, amit semmiképpen sem szeretnél látni a Google találati listáján (például a vásárlási folyamat belső lépései vagy egy belső keresési találati lista).

A logikusnak tűnő, de teljesen hibás lépés:

1. Elhelyezed a <meta name="robots" content="noindex"> tagot az oldal HTML fejrészében (<head>).
2. Ezzel egy időben hozzáadod a Disallow: /titkos-oldal/ sort a robots.txt fájlhoz, hogy a robotok be se lépjenek oda.

Mi történik ilyenkor a valóságban? Egy óriási technikai paradoxon jön létre. Mivel a robots.txt-ben letiltottad a Googlebot hozzáférését az adott könyvtárhoz, a robot soha nem fogja letölteni és beolvasni az aloldal HTML kódját. Ebből kifolyólag soha nem fogja látni a noindex utasítást sem!

Ha a letiltott URL-re külső webhelyekről vagy belső linkekről mutató hivatkozások vannak, a Google be fogja indexelni az URL-t tartalom nélkül. A találati listán ilyenkor a szürke, üres snippet jelenik meg a következő szöveggel: "A webhely robots.txt fájlja miatt nem áll rendelkezésre leírás ehhez a találathoz."

Ha azt szeretnéd, hogy egy oldal garantáltan kikerüljön az indexből, az alábbi lépéseket kell követned:

1. Biztosítsd, hogy az adott oldal nincs lezárva a robots.txt-ben (a Googlebot szabadon hozzáférhet).
2. Helyezd el a noindex meta tagot az oldal forráskódjában vagy küldj X-Robots-Tag: noindex HTTP-fejlécet.
3. Várd meg, amíg a Googlebot újra feltérképezi az oldalt és törli azt az indexéből.
4. Opcionálisan, csak ezután zárd le az oldalt a robots.txt-ben, ha spórolni szeretnél a kúszási kerettel.

A kúszási keret hatékony elosztása kritikus fontosságú a nagyobb oldalaknál. Ha szeretnéd mélyebben megérteni, hogyan elemezheted a robotok viselkedését, olvasd el a kúszási keret optimalizálása logfájl elemzéssel című útmutatónkat.

Hogyan használd a Google Search Console indexelés jelentéseit a hibák felderítésére?

A Google Search Console (GSC) a legjobb ingyenes diagnosztikai eszköz a kezünkben. Nem kell találgatnod, hogy miért hiányoznak az oldalaid a keresőből; a Google pontosan megmondja a hiba okát az "Oldalak" (Pages) menüpont alatt.

A GSC-ben a legfontosabb státuszok, amelyek robots.txt-re és sitemappel kapcsolatos hibákra utalnak:

• "A robots.txt fájl által kizárva": Ez azt jelenti, hogy a Googlebot meg akarta nézni az oldalt, de a robots.txt direktíva megakadályozta ebben. Ellenőrizd, hogy szándékos-e a kizárás. Ha nem, javítanod kell a robots.txt szabályrendszerét.
• "A beküldött URL-t a robots.txt fájl blokkolja": Ez egy súlyos hiba. Azt jelenti, hogy a sitemap.xml fájlban beküldted az URL-t indexelésre, de a robots.txt-ben ugyanakkor megtiltottad a hozzáférést. Ellentmondásba keveredtél saját magaddal!
• "Feltérképezve – jelenleg nincs indexelve": A Googlebot bejárta az oldalt, de úgy döntött, nem teszi be az indexbe. Ennek oka lehet minőségi probléma, vagy az, hogy az oldal nem-kanonikus verzió, mégis szerepel a sitemapben.

Hogyan érinti a Google Mobile-First Indexelés a hibás konfigurációkat?

A Google 2026-os irányelvei egyértelművé teszik, hogy az asztali verziójú weboldalak feltérképezése másodlagossá vált. A Googlebot okostelefonos felhasználóként (Googlebot-Mobile) járja a webet, és az indexelési döntéseket kizárólag a mobil verzió alapján hozza meg.

Ha a robots.txt szerkesztése során elkövetted azt a hibát, hogy a mobil-specifikus erőforrásokat (pl. egy külön mobil aldomainen vagy egy reszponzív dizájnt kiszolgáló JS könyvtárban) blokkoltad, a mobil Googlebot nem tudja megfelelően elemezni az oldalt. Ennek eredményeképpen az oldaladat technikai szempontból hibásnak fogja értékelni, és teljesen kizárhatja a találati listákról.

A nemzetközi piacra szánt többnyelvű oldalaknál a helyzet még összetettebbé válik. Ha a nyelvi változatokat és a hozzájuk tartozó sitemap-eket rosszul konfigurálod, a Google képtelen lesz összekapcsolni a megfelelő verziókat a megfelelő felhasználókkal. Ebben az esetben a hreflang beállítási hibák és az indexelési problémák kéz a kézben járnak, drasztikusan rontva a globális organikus teljesítményt.

Hogyan védheted meg az oldaladat az AI-botoktól anélkül, hogy a Google-t kizárnád?

Napjainkban a weboldaltulajdonosok új kihívással néznek szembe: a nagy nyelvi modellek (LLM-ek) és az AI-keresők (mint a ChatGPT, Claude, Perplexity) agresszíven kaparják a webes tartalmakat a modellek betanításához és a valós idejű válaszok generálásához. Sokan védekezésképpen a teljes robots.txt-t lezárják minden bot elől, amivel akaratlanul is kizárják a Google hagyományos és AI-alapú keresőit is.

A megoldás nem az általános tiltás, hanem a differenciált szabályozás. A robots.txt-ben pontosan meg kell határozni, hogy melyik botnak mit engedélyezel. Például engedélyezheted a Googlebotnak a teljes oldal elérését, miközben letiltod az OpenAI botját (GPTBot):

User-agent: GPTBot
Disallow: /

User-agent: Googlebot
Disallow: /wp-admin/

Emellett az AI-keresőkre való felkészülés során érdemes hangsúlyt fektetni az új típusú deklarációs fájlok használatára is. Ha szeretnéd, hogy a mesterséges intelligencia alapú rendszerek helyesen értelmezzék a webhelyed struktúráját, javasoljuk az llms.txt fájl beállításáról szóló gyakorlati útmutatónk elolvasását.

5 lépéses ellenőrző lista: Így teszteld és javítsd a robots.txt és sitemap konfigurációdat

Ha szeretnéd elkerülni az indexelési katasztrófákat, hajtsd végre ezt az öt egyszerű lépést a weboldaladon még ma. Ne bízd a véletlenre a technikai SEO-t, ellenőrizd a beállításokat szisztematikusan.

1. A robots.txt fizikai ellenőrzése: Nyisd meg a böngésződben a domain.hu/robots.txt oldalt. Ellenőrizd, hogy nem maradt-e benne fejlesztési fázisból származó Disallow: / tiltás.
2. A Search Console Robots.txt tesztelő használata: Lépj be a Google Search Console-ba, navigálj a régi robots.txt tesztelő eszközhöz (vagy az URL-vizsgálat segítségével teszteld a fontosabb oldalakat), és győződj meg róla, hogy a Googlebot sikeresen eléri a kritikus oldalakat.
3. A sitemap.xml ellenőrzése crawler szoftverrel: Futtass le egy elemzést (pl. Screaming Frog vagy egyéb SEO crawler segítségével) kizárólag a sitemap.xml fájlon. Győződj meg róla, hogy a sitemapben lévő URL-ek 100%-a 200 OK állapotkódot ad vissza, és egyik sem tartalmaz noindex direktívát. Ha átfogó ellenőrzést szeretnél, használd a 47 pontos SEO audit checklistünket.
4. XML Sitemap beküldése a GSC-be: A Search Console "Sitemapok" menüpontjában küldd be újra az oldaltérképed URL-jét. Figyeld meg, hogy a Google kiírja-e a "Sikeres" státuszt, és hogy észlel-e bármilyen figyelmeztetést vagy hibát a beolvasás során.
5. A logfájlok ellenőrzése: Végezz el egy gyors elemzést a szerver logfájljaiban, hogy lásd: a Googlebot valóban megpróbálja-e letölteni a robots.txt-t, és nem ütközik-e esetleg 5xx szerverhibákba a lekérések során.

Hogyan vezet a technikai hibák ignorálása az organikus forgalom teljes elvesztéséhez?

Sok cégvezető úgy gondolja, hogy a SEO csupán szép szövegek írásából áll. Azonban a legkiválóbb tartalom is teljesen értéktelen, ha a keresőmotorok technikai akadályok miatt nem képesek elérni azt. Egy hibás robots.txt vagy egy inkonzisztens sitemap.xml miatt a Googlebot kevesebb időt fog tölteni a webhelyeden, csökken a kúszási hatékonyság, és végső soron a konkurens oldalak fognak előrébb kerülni a találati listákon.

Ezek a technikai problémák különösen veszélyesek, mert csendben pusztítanak. Nem kapsz róluk hibaüzenetet a weboldalad látogatóitól – a felhasználók egyszerűen csak elmaradnak, a grafikonok pedig elindulnak lefelé. A technikai SEO alapjainak rendbetétele az az alapozás, amely nélkül semmilyen tartalommarketing vagy linképítési kampány nem hozhat tartós sikert.

A robots.txt és a sitemap.xml megfelelő konfigurálása a sikeres keresőoptimalizálás nem alkuképes alapköve. Ha bizonytalan vagy benne, hogy a weboldalad technikai beállításai maximálisan támogatják-e a növekedésedet, vagy ha régóta küzdesz megmagyarázhatatlan indexelési problémákkal, kérj segítséget szakértő csapatunktól. Az automataseo.hu csapata precíz technikai SEO audittal és automatizált megoldásokkal segít, hogy weboldalad minden értékes aloldala elfoglalhassa az őt megillető helyet a Google első oldalán.