A weboldalad megnyílik, a keresőrobot mégis hibát kap? Így derül ki az oka

A saját böngészőben elvégzett ellenőrzésből kevés derül ki arról, hogy egy keresőrobot hozzáfér-e a weboldaladhoz. Te meglátod a termékleírást, miközben egy automatizált lekérés tiltást, hibát vagy köztes ellenőrzőoldalt kaphat. Ezzel érdemes foglalkozni, főleg költözés, frissítés vagy biztonsági beállítások módosítása után. Ugyanakkor a gyenge keresési helyezésből önmagában korai hozzáférési hibára következtetni. Először pontosan meg kell határozni, melyik oldalnál, milyen kérésnél és milyen válasszal jelentkezik a probléma.

A hozzáférés, az indexelés és a megjelenés külön lépés

A hozzáférés azt jelenti, hogy a szolgáltatás le tudja kérni a szükséges tartalmat. A feltérképezés során a robot felkeresi és feldolgozásra letölti az oldalt. Az indexelésnél a kereső elemzi a tartalmat, és eldönti, bekerül-e a keresési adatbázisába. A találati megjelenés már az adott felhasználói kereséshez kapcsolódik. Ezt a sorrendet a Google működését bemutató hivatalos útmutató is elkülöníti.

Egy hozzáférhető oldal tehát még várhat feldolgozásra, és egy indexelt oldal sem jelenik meg minden keresésnél. Az AI-válaszban történő hivatkozás szintén külön eredmény: egy sikeres oldalbetöltésből erre nem következik ígéret. Én szakmailag problémásnak tartom, amikor ezeket egyetlen „AI-láthatóság” eredményként adják el.

Vállalkozóként azt érdemes kérned a vizsgálattól, hogy nevezze meg a feltárt akadályt és mutassa meg a javítás utáni állapotot. A jobb helyezéshez kapcsolódó elvárásokat ettől elkülönítve lehet értékelni. Így pontosabban látod, mit oldott meg az elvégzett munka.

Több beállítás is befolyásolhatja ugyanazt az oldalt

A robots.txt a feltérképezésre vonatkozó szabályokat tartalmazza. Az oldal robots metacímkéje és a szerver által küldött X-Robots-Tag fejléc az indexelést is befolyásolhatja. Ezeket együtt kell átnézni. Egy fejlesztés közben beállított noindex például az élesítés után is megmaradhat, ha a kapcsolódó beállítást senki sem módosítja.

A Google noindex-dokumentációja egy fontos összefüggést is tisztáz: a keresőnek hozzá kell férnie az oldalhoz ahhoz, hogy az ott elhelyezett noindex utasítást lássa. A robots.txt-ben tiltott lekérés ezt megakadályozhatja. Emiatt a tiltások találomra történő ki-be kapcsolása könnyen ellentmondásos állapothoz vezethet.

Hozzáférési hiba keletkezhet a tárhelynél, a tűzfalnál, a Cloudflare beállításaiban vagy egy biztonsági bővítményben is. Hibás átirányítás és szerverhiba szintén vizsgálandó. A beavatkozás célját előre rögzíteni kell: mely nyilvános oldalaknak kell elérhetőnek lenniük, és mely területek maradjanak korlátozottak. Egy adminfelület vagy ügyfélfiók védelmét természetesen meg kell őrizni.

A keresési és a tanítási robotokról külön dönts

Az AI-robot kifejezés többféle működést takar. Az OpenAI dokumentációja szerint az OAI-SearchBot a ChatGPT keresési funkciójához kapcsolódik, a GPTBot pedig olyan tartalmat gyűjthet, amelyet a modellek tanításához használnak. A két robotra vonatkozó beállítás egymástól függetlenül kezelhető. Így a keresési célú hozzáférés engedélyezése mellett a GPTBot hozzáférése külön korlátozható.

A ChatGPT-User felhasználó által kezdeményezett műveletekhez kapcsolódik, és eltér az automatikus feltérképezéstől. Az OpenAI leírása szerint az ilyen kérésekre a robots.txt szabályai esetenként nem alkalmazhatók. Egyetlen általános „AI engedélyezése” kapcsoló ezért kevés ahhoz, hogy pontosan megfogalmazd a tartalmaiddal kapcsolatos döntésedet.

Előbb azt kell tisztázni, milyen felhasználást szeretnél támogatni. Ezután lehet az adott szolgáltató ténylegesen rendelkezésre álló beállításait alkalmazni. A keresési hozzáférés helyreállításából továbbra sem következik, hogy egy adott kérdésnél a szolgáltatás a vállalkozásodat fogja ajánlani.

Mit bizonyít egy ellenőrzőeszköz eredménye?

Egy teszt hasznos kiindulópont, de az eredményét a mérés körülményeivel együtt kell értelmezni. Egy robot nevével küldött próbakérés megmutathatja, hogyan válaszol a weboldal az adott kérésre. A valódi robot másik IP-címről érkezhet, ezért eltérő biztonsági szabály vonatkozhat rá. A biztosabb következtetéshez a rendelkezésre álló szerver- és tűzfalnaplókat is érdemes összevetni a tapasztalt hibával.

A főoldal ellenőrzése mellé célszerű kiválasztani néhány üzletileg fontos címet: egy szolgáltatást, terméket, kategóriát vagy cikket. Az ellenőrzésből derüljön ki a pontos URL, a lekérés időpontja és a kapott válasz. Ha csak bizonyos oldalak érintettek, ez segítheti a probléma szűkítését.

Előzetesen a saját, ingyenesen használható AI-robot-ellenőrzőmet is kipróbálhatod. A hibajelzés vagy a bizonytalan eredmény részletes vizsgálatot indokolhat. Ha a hiba nem igazolható, ezt is egyértelműen ki kell mondani.

Mit várhatsz a hozzáférési hibák javításától?

A munka elején egyeztetem veled az érintett oldalakat és az engedélyezni kívánt hozzáférést. Megvizsgálom a válaszokat és a kapcsolódó beállításokat, majd elmagyarázom a feltárt problémát. A hozzáférhető rendszerben elvégzem a vállalt módosításokat, és ismételten ellenőrzöm az eredményt. Ha egy beállítást kizárólag a tárhelyszolgáltató vagy a webshop üzemeltetője kezelhet, továbbadható hibaleírást és módosítási kérést készítek.

A végén összefoglalót kapsz arról, mit vizsgáltam, milyen akadályt találtam, mi változott, és maradt-e további teendő. Ez technikai hibajavítás; a teljes SEO-audit, a tartalomfejlesztés és a rendszeres felügyelet külön egyeztetést igényel.

Ha hozzáférési hibát tapasztalsz, a Kereső- és AI-robotok hozzáférési hibáinak javítása szolgáltatásnál tudsz elindulni. Küldd el a weboldalad címét, az érintett oldalakat és a kapott hibajelzést. Ezek alapján meghatározzuk, pontosan mit érdemes megvizsgálni és javítani.