404 vagy 410? Így kezeld a megszűnt oldalakat a crawl budget megmentéséért

A megszűnt oldalak kezelése során a 404-es (Not Found) és a 410-es (Gone) státuszkódok közötti döntés alapjaiban határozza meg a webhely keresőoptimalizálási teljesítményét. Bár a köztudatban mindkettő hibaként él, a Googlebot számára a 410 Gone jelentése egyértelmű utasítás a tartalom azonnali és végleges törlésére az indexből, míg a 404-es kód esetén a robotok még hetekig vagy hónapokig próbálkoznak a feltérképezéssel. A két kód tudatos, stratégiai alkalmazása az egyik leghatékonyabb fegyver a crawl budget optimalizálás és a feleslegesen pazarolt szervererőforrások visszaszerzése terén.

Mi az a 404 és 410 státuszkódok közötti alapvető különbség a Google szemében?

Ahhoz, hogy megértsük a megszűnt oldalak kezelése mögötti technikai SEO-t, az alapvető HTTP-válaszkódok szintjére kell leásnunk. Amikor a Googlebot (vagy bármely böngésző) meglátogat egy URL-t, a webszerver egy háromjegyű számmal válaszol. A 4xx-es osztályba tartozó válaszkódok kliensoldali hibát jeleznek. Bár a felhasználó számára mindkét kód egy hibaoldalt jelenít meg, a keresőmotorok indexelési csővezetéke (pipeline) alapvetően eltérő módon dolgozza fel őket.

A 404 Not Found státuszkód azt jelenti, hogy a szerver jelenleg nem találja a kért erőforrást, de az nincs kizárva, hogy a jövőben újra elérhető lesz. Mivel ez a kód gyakran konfigurációs hibák, véletlen törlések vagy átmeneti technikai leállások eredménye, a Googlebot óvatosan kezeli. Feltételezi, hogy az oldal esetleg visszatérhet, ezért a URL-t hosszabb ideig megtartja az indexelési sorban, és rendszeres időközönként újra és újra megpróbálja feltérképezni, hogy változott-e az állapota.

Ezzel szemben a 410 Gone státuszkód egyértelmű, szándékos és végleges üzenet. Azt jelzi a keresőmotoroknak, hogy a tartalom tudatosan lett eltávolítva, nincs helyette új URL (nem történt átirányítás), és soha többé nem is fog visszatérni. A Google mérnökei – köztük John Mueller – többször megerősítették, hogy bár a Googlebot a 410-es kódot látva is tehet egy biztonsági ellenőrző látogatást a jövőben, az indexből való kivezetése és a feltérképezési gyakoriság csökkentése nagyságrendekkel gyorsabban történik meg, mint a 404-es hiba esetében.

Hogyan befolyásolja a megszűnt oldalak kezelése a webhelyed crawl budgetjét?

A keresőoptimalizálás világában a crawl budget (feltérképezési keret) az az erőforrás-mennyiség (idő, sávszélesség, szerverkapacitás), amelyet a Googlebot egy adott webhely feltérképezésére szán egy meghatározott időszak alatt. Ez a keret véges. Ha a webhelyeden több ezer olyan URL található, amelyek már nem léteznek, de mégis 404-es kódot adnak vissza, a Googlebot folyamatosan pazarolni fogja ezt a drága keretet a semmire. Ahelyett, hogy az új, bevételt termelő termékoldalaidat vagy a friss blogcikkeidet térképezné fel, a múlt szellemeit fogja kergetni.

Nagyobb webáruházak esetében, ahol a szezonalitás vagy a készlet folyamatos változása miatt havonta több ezer termék szűnik meg, ez a probléma kritikus méreteket ölthet. Ha a Googlebot naponta csak 10 000 oldalt tud vagy akar feltérképezni a szervered terhelhetősége alapján, és ebből 4 000 lekérdezés régi, 404-es oldalakra irányul, akkor a webhelyed megújuló tartalmának közel a fele láthatatlan maradhat a kereső számára. Ez közvetlen organikus forgalom- és bevételkiesést jelent.

A tudatos logfájl elemzés a gyakorlatban megmutatja, hogy a Googlebot milyen gyakran látogatja ezeket a zombi URL-eket. Amikor a 404-es kódokat szisztematikusan átállítod 410-re, a Googlebot megérti a véglegességet, és drasztikusan – akár 80-90%-kal – csökkenti ezen elhalt URL-ek látogatási gyakoriságát. Ezzel a felszabadult erőforrással a robotok azonnal az indexelendő, aktív oldalaid felé fordulnak, felgyorsítva az új tartalmak rangsorolását.

Mikor válaszd az átirányítást, és mikor a végleges törlést (301 vs. 404 vs. 410)?

A technikai SEO egyik leggyakoribb hibája a túlzásba vitt 301-es átirányítás. Sok szakember reflexszerűen átirányít minden megszűnt oldalt a főoldalra, vagy a legközelebbi kategóriaoldalra, attól tartva, hogy a linkérték (link juice) elveszik. Ez a gyakorlat azonban súlyos károkat okozhat. A Google a nem releváns oldalakra mutató 301-es átirányításokat gyakran „Soft 404” hibának minősíti, és figyelmen kívül hagyja az átvitt linkértéket, miközben a crawl budgetet továbbra is terheli.

Az átirányítás vagy törlés SEO döntési mátrixát szigorú logikai lépések mentén kell felépíteni. Ha egy megszűnt oldal rendelkezik értékes külső hivatkozásokkal (backlinkekkel), és létezik egy szakmailag szorosan kapcsolódó, aktív helyettesítő termék vagy aloldal, akkor a 301-es átirányítás a helyes döntés. Ha például a „Szuper Futócipő v1” megszűnik, de már készleten van a „Szuper Futócipő v2”, az átirányítás indokolt és hasznos a felhasználó és a keresőmotor számára egyaránt.

Ha azonban a termék vagy szolgáltatás végleg megszűnt, nincs közvetlen utódja, nincsenek rá mutató értékes külső linkek, és az organikus forgalma is elhanyagolható, akkor a 410 Gone kód használata a legtisztább SEO-megoldás. Ezzel elkerülhető a belső linkstruktúra felesleges bonyolítása, és tisztán tartható a webhely architektúrája. Webáruházak esetében a hatékony termékoldal SEO megköveteli az elavult, soha többet nem érkező termékek gyors és tiszta kivezetését a rendszerből.

Mit jelent pontosan a 410 Gone jelentése, és hogyan jelzi a Googlebotnak a véglegességet?

A 410 Gone státuszkód az IETF RFC 7231-es szabványában definiált HTTP-válasz. A hivatalos megfogalmazás szerint a kód azt jelzi, hogy a kért erőforrás már nem érhető el a származási szerveren, és nem ismert semmilyen továbbítási cím sem. Ez a feltétel véglegesnek tekintendő. Ha nincs lehetőség arra, hogy ellenőrizzük a véglegességet, inkább a 404-es kódot kell használni, de a tudatos webhely-üzemeltetés során a 410-es kód az adminisztrátor akaratlagos döntését tükrözi.

Amikor a Googlebot egy 410-es kóddal találkozik, az indexelési algoritmus azonnal egy magas prioritású „törlendő” címkével látja el az adott URL-t. Míg egy 404-es hiba esetében a Google akár 24-48 órát is várhat, mielőtt eltávolítaná az oldalt a találati listáról (mert hátha csak egy ideiglenes adatbázis-kapcsolódási hiba áll a háttérben), addig a 410-es kódnál ez a folyamat szinte azonnali. Ez a gyorsaság kritikus fontosságú lehet, ha például egy biztonsági rés miatt hibás, bizalmas adatokat tartalmazó vagy spammerek által generált oldalakat kell villámgyorsan eltávolítani a Google találati listájáról.

Technikai szempontból a Google keresőszoftvere két fázisban kezeli a törlést. Az első fázisban a URL kikerül az aktív keresési indexből, így a felhasználók már nem találkozhatnak vele. A második fázisban a URL átkerül a ritkábban vizsgált, úgynevezett „történelmi” feltérképezési listába. Ez azt jelenti, hogy a Googlebot nem felejti el teljesen a URL létezését (belső biztonsági okokból), de a látogatási gyakoriságát a minimális szintre csökkenti, így elérve a vágyott crawl budget optimalizálási célt.

Hogyan mérheted fel a sérült és felesleges URL-eket? Lépésről lépésre útmutató

A megszűnt oldalak kezelése nem kezdődhet el anélkül, hogy pontosan felmérnéd a webhelyed jelenlegi állapotát. Egy rosszul megválasztott tömeges átirányítás vagy törlés komoly organikus forgalomvesztést okozhat. A meglévő hibák és optimalizálási lehetőségek feltérképezéséhez használhatod a klasszikus 47 pontos SEO audit checklist lépéseit, de kifejezetten a 404/410-es auditra fókuszálva az alábbi folyamatot kell végrehajtanod:

1. Google Search Console adatok exportálása: Lépj be a Search Console-ba, majd az „Indexelés” > „Oldalak” menüpont alatt keresd meg a „Nem található (404)” típusú hibákat. Exportáld ezt a listát egy táblázatkezelőbe. Ez adja meg azt a bázist, amelyet a Google már eleve hibásként azonosított.
2. Teljes webhely feltérképezése Screaming Frog-gal: Futtass le egy teljes keresőoptimalizálási feltérképezést a Screaming Frog SEO Spider segítségével. Állítsd be, hogy a szoftver kövesse a belső linkeket. A crawl befejeztével szűrj rá a 404-es státuszkódú válaszokra az „External” és „Internal” füleken egyaránt.
3. Belső linkek azonosítása és tisztítása: A Screaming Frog-ban kattints a megtalált 404/410-es URL-re, majd alul válaszd az „Inlinks” fület. Ez megmutatja, hogy a webhelyed melyik aktív oldaláról mutat még mindig link a halott oldalra. Ezeket a belső linkeket kötelező eltávolítani vagy frissíteni, mert folyamatosan zsákutcába terelik a felhasználókat és a robotokat.
4. Külső linkek és forgalom ellenőrzése: Használj egy külső SEO eszközt (Ahrefs, Semrush vagy Majestic) a hibás URL-ek elemzésére. Ha azt látod, hogy egy 404-es oldalra értékes külső link mutat, vagy a Google Analytics adatai szerint még mindig kap közvetlen forgalmat, ne töröld végleg (ne kapjon 410-et)! Ebben az esetben a 301-es átirányítás a kötelező lépés a linkérték megmentése érdekében.
5. Döntési mátrix alkalmazása és végrehajtás: A fentiek alapján szelektáld a URL-eket. Amelyik nem rendelkezik linkértékkel és forgalommal, azt jelöld ki 410-es státuszkódra, a linkekkel rendelkezőket pedig 301-es átirányításra.

Hogyan állítsd be a 410-es státuszkódot Apache, Nginx és WordPress rendszereken?

A technikai megvalósítás az a pont, ahol a legtöbb SEO projekt elakad, pedig a modern webszerverek és tartalomkezelő rendszerek rendkívül rugalmasan teszik lehetővé a HTTP-válaszok testreszabását. Nem kell fejlesztőnek lenned ahhoz, hogy alapvető átirányításokat és státuszkód-változtatásokat eszközölj, de a szerverkonfigurációs fájlok módosítása előtt mindig készíts biztonsági mentést.

Ha a webhelyed Apache webszerveren fut, a beállításokat a gyökérkönyvtárban található .htaccess fájl segítségével kezelheted. Egy adott URL 410 Gone állapotba helyezéséhez a következő kódot kell elhelyezned a fájlban:

Redirect 410 /regi-megszunt-termek-url

Amennyiben egy egész könyvtárat vagy kategóriát szeretnél véglegesen törölni (például egy régi, már nem támogatott szolgáltatási ágat), a reguláris kifejezések használata a legcélszerűbb:

RewriteEngine On
RewriteRule ^regi-szolgaltatasok/.*$ - [G,L]

Az Nginx szerverek esetében a konfiguráció közvetlenül az nginx.conf fájlban vagy a megfelelő virtuális hoszt (server block) konfigurációjában történik. Az **Nginx** szintaxis rendkívül gyors és hatékony, minimális szervererőforrást igényel:

location /regi-megszunt-termek-url {
    return 410;
}

Ha WordPress rendszert használsz, és nem akarsz közvetlenül a szerverfájlokhoz nyúlni, a legegyszerűbb és legbiztonságosabb megoldás a népszerű „Redirection” bővítmény használata. A bővítményben új átirányítás hozzáadásakor a cél URL helyett kiválaszthatod a „Error (410)” opciót a legördülő menüből. Ezzel a módszerrel programozói tudás nélkül, közvetlenül az admin felületről kezelheted a megszűnt oldalak állapotát.

Miért veszélyes a Soft 404 hiba, és hogyan javíthatod ki azonnal?

A „Soft 404” nem egy valódi HTTP-státuszkód, hanem a Google által használt diagnosztikai címke. Akkor fordul elő, amikor a szervered egy nem létező oldal lekérdezésére sikeres **200 OK** státuszkódot ad vissza, de a böngészőben megjelenő tartalom valójában egy hibaüzenet (pl. „A keresett oldal nem található”), vagy az oldal teljesen üres, esetleg minimális, értéktelen szöveget tartalmaz. Ez a technikai SEO egyik legsúlyosabb bűne.

A Soft 404 hiba rendkívül ártalmas, mert megtéveszti a keresőmotorokat. Mivel a szerver azt mondja, hogy minden rendben van (200 OK), a Googlebot elkezdi letölteni és renderelni az oldalt, elpazarolva a crawl budgetet és a számítási kapacitást a semmire. Ráadásul a Google algoritmusa ezt a gyenge minőségű tartalmat megpróbálja indexelni, ami rontja a webhely általános minőségi mutatóit (E-E-A-T), és negatívan hathat a többi, valóban értékes oldalad helyezésére is.

A 404 hiba javítása és a Soft 404-ek felszámolása egyszerű lépésekkel megoldható. Elsőként biztosítanod kell, hogy a webhelyed CMS rendszere valódi 404-es vagy 410-es HTTP-fejlécet küldjön vissza, ha a felhasználó hibás URL-re téved. Másodszor, kerüld el azt a rossz gyakorlatot, hogy a nem létező oldalakat automatikusan a főoldalra irányítod át – ez szinte minden esetben Soft 404 hibát generál a Google szemében, mivel a főoldal tartalma nem azonos a megszűnt oldal tartalmával.

Hogyan segít a logfájl elemzés a feleslegesen pazarolt Googlebot-erőforrások felderítésében?

Bár a Google Search Console kiváló támpontot nyújt, az igazi, mélyreható technikai SEO-hoz a szerver nyers logfájljainak elemzésére van szükség. A logfájlok tartalmazzák a webszerverre érkező összes kérést másodpercre pontosan. Ebből a forrásból láthatod a valóságot: pontosan mikor, hányszor és milyen IP-címről látogatta meg a Googlebot a webhelyedet, és a szerver milyen státuszkóddal válaszolt neki.

A logfájlok elemzése során gyakran fény derül olyan anomáliákra, amelyeket a hagyományos SEO eszközök nem mutatnak ki. Például azonosíthatsz olyan régi, akár 5 éve törölt URL-eket, amelyeket a Googlebot a mai napig hetente többször megpróbál feltérképezni, mert valahol az internet mélyén még létezik egy rájuk mutató link, vagy mert a szerver folyamatosan 404-es kódot ad vissza, életben tartva a robot reményét. Ha ezeket a URL-eket átállítod 410 Gone-ra, a logfájlokban azonnal látni fogod a változást: a Googlebot látogatásainak száma az adott URL-eken drasztikusan lecsökken.

Egy professzionális logfájl elemző szoftverrel (mint a Screaming Frog Log File Analyser vagy a Kibana) kiszámolhatod a pazarolt lekérdezések arányát. Ha például a Googlebot összes napi látogatásának több mint 10%-a 4xx-es vagy szükségtelen 301-es oldalakra irányul, az egyértelmű jelzés arra, hogy a webhely crawl budgetje veszélyben van. A státuszkódok optimalizálásával visszanyert kapacitás közvetlenül hozzájárul a fontos, konverziót hozó oldalak sűrűbb és mélyebb feltérképezéséhez.

Hogyan kerüld el az indexelési és feltérképezési katasztrófákat a sitemap és a belső linkek frissítésével?

A 410-es státuszkód beállítása csak a munka egyik fele. Ha a webhelyeden továbbra is aktív belső linkek mutatnak a törölt oldalakra, vagy ha ezek a URL-ek még mindig szerepelnek az XML sitemap-ben, akkor a Googlebot folyamatosan ellentmondásos jeleket fog kapni. Egyrészt a linkeken keresztül azt mondod neki, hogy „ez az oldal fontos, látogasd meg”, másrészt a szerver válaszában azt állítod, hogy „ez az oldal végleg megszűnt”. Ez a zavar rontja a webhely hitelességét és hatékonyságát.

A tiszta és hibamentes struktúra érdekében az XML sitemap fájlt automatikusan frissíteni kell. A sitemap kizárólag olyan URL-eket tartalmazhat, amelyek aktívak és 200 OK státuszkódot adnak vissza. Bármilyen 301, 404 vagy 410 kódú URL jelenléte a sitemap-ben súlyos technikai hiba, amely megzavarja a keresőmotor indexelési folyamatát. Ezzel kapcsolatban érdemes részletesen áttekinteni a gyakori robots.txt és sitemap hibák listáját, hogy megelőzd a kritikus indexelési elakadásokat.

A belső linkek tisztítása során fordíts különös figyelmet a globális elemekre, mint a lábléc (footer), a főmenü (header) vagy az oldalsávok (sidebar). Ha egy korábban népszerű kategória vagy termék megszűnik, és azt 410-es státusszal törlöd, de a láblécben ott felejted a rá mutató hivatkozást, a Googlebot minden egyes aloldalad feltérképezésekor újra és újra megpróbálja majd elérni a törölt lapot. Ez nemcsak a robotokat terheli feleslegesen, hanem a felhasználói élményt (UX) is rombolja, növelve a visszafordulási arányt.

Hogyan hatnak a megszűnt oldalak az AI-keresők, mint a ChatGPT és a Perplexity láthatóságára?

A modern SEO már régen nem csak a hagyományos kék linkekről szól a Google találati listáján. Az olyan AI-alapú keresők, mint a ChatGPT, a Microsoft Copilot vagy a Perplexity, saját webes robotokat (például GPTBot) használnak az internet feltérképezésére és az információk összegyűjtésére. Ezek az LLM-ek (Large Language Models) rendkívül érzékenyek az adatok tisztaságára és strukturáltságára. Ha a robotjaik elavult, hibás vagy Soft 404-es oldalakkal találkoznak, az közvetlenül rontja a márkád megbízhatóságát az AI szemében.

Ha a mesterséges intelligencia által vezérelt keresők nem létező vagy hibás adatokat találnak a webhelyeden, egyszerűen kizárják az adott információt a válaszaikból. A 410 Gone státuszkód itt is kulcsfontosságú: egyértelműen jelzi az AI-crawlernek, hogy az adott termék, szolgáltatás vagy információ már nem érvényes, így az AI nem fog elavult adatokat prezentálni a felhasználóknak a te nevedben. Az AI-alapú láthatóság és a megbízhatóság méréséhez elengedhetetlen az AI-láthatóság vizsgálata, amely megmutatja, hogyan látják a legmodernebb algoritmusok a webhelyed tartalmát.

Az AI keresők ráadásul sokkal gyorsabban frissítik a saját tudásbázisukat, ha tiszta és egyértelmű technikai jelzéseket kapnak. A 410-es státuszkód tudatja velük, hogy a korábbi adatállományt törölniük kell a memóriájukból, így elkerülhető, hogy a ChatGPT olyan termékeket ajánljon a felhasználóknak, amelyeket te már évek óta nem forgalmazol. A tiszta technikai SEO alapok tehát ma már közvetlenül meghatározzák a generatív keresési találatokban (SGE) való sikeres részvételedet is.

A megszűnt oldalak precíz és tudatos kezelése nem csupán egy apró technikai finomhangolás, hanem a professzionális keresőoptimalizálás egyik legfontosabb sarokköve. A 404 és 410 státuszkódok közötti különbségtétel, valamint a crawl budget szisztematikus védelme közvetlen hatással van arra, hogy a Google milyen gyorsan és milyen hatékonysággal rangsorolja a weboldalad legértékesebb részeit. Ha szeretnéd, hogy webhelyed technikai háttere tökéletesen optimalizált legyen, és a Googlebot minden percét az aktív üzleti értéket termelő oldalaid feltérképezésére fordítsa, lépj kapcsolatba velünk. Az automataseo.hu csapata készen áll arra, hogy egy teljes körű technikai SEO audittal és automatizált megoldásokkal emelje új szintre a vállalkozásod online láthatóságát.