Mit mutat az AI-robot ellenőrző? Így használd a javítási listát

A weboldalad eléréséről akkor tudsz érdemben beszélni a fejlesztőddel, ha van pontos webcím, konkrét hibajelzés és ellenőrizhető bizonyíték. Az „AI nem látja az oldalamat” megfogalmazás ehhez túl tág. Többféle beállítás és kiszolgálási válasz állhat mögötte, és a keresési megjelenésnek további feltételei is vannak.

Az AI-robot ellenőrzőt arra készítettem, hogy egy konkrét oldal technikai hozzáféréséről érthető visszajelzést kapj. A robots.txt szabályait, a robots metacímkéket, a kapcsolódó HTTP-fejléceket és a tesztkérések válaszait vizsgálja. A végén a feltárt jelzésekhez magyarázat és továbbadható teendőlista tartozik. Ez már használható kiindulópont egy javításhoz vagy egy célzottabb vizsgálathoz.

Melyik webcímmel érdemes elindulni?

Válassz egy üzletileg fontos, nyilvános oldalt. Lehet a főoldalad, egy szolgáltatásod bemutatása, egy termék vagy egy szakmai cikk. Az ellenőrző egy konkrét webcímet vizsgál, ezért egy főoldali eredményből még ne vonj le következtetést a teljes webáruház minden oldalára.

Ha egy adott tartalommal kapcsolatban merült fel a kérdés, rögtön annak a címével kezdj. Így a kapott szabály és válasz ahhoz az oldalhoz kapcsolódik, amelynek az elérhetőségét valóban tisztázni akarod. További fontos oldalakat később külön is ellenőrizhetsz.

A felületen saját vagy jogosultan ellenőrizhető nyilvános címet adj meg. Titkos, belépési adatot tartalmazó linkre nincs szükség. A vizsgálat regisztráció és e-mail-cím megadása nélkül elindítható, a weboldalad fájljait és beállításait változatlanul hagyja.

Mikor hasznos a szabályok bemásolása?

A webcím online vizsgálata mellett külön bemásolhatod a robots.txt teljes tartalmát is. Ebben a módban az eszköz a megadott címre értékeli a szabályokat, és nem küld lekérést a céloldalnak. Ez akkor is hasznos, amikor egy tervezett módosítás következményeit szeretnéd előzetesen áttekinteni.

A HTML-forrás vagy egy robots metacímkerészlet külön ellenőrizhető. Ha rendelkezésedre állnak az X-Robots-Tag szerverfejlécek, ezeket is megadhatod. Itt az ellenőrző kizárólag a kapott szövegből dolgozik. Egy hiányos részletből ezért nem lehet biztosan kijelenteni, hogy a teljes oldalon nincs további korlátozás.

A felület külön jelölést kér a teljes HTML-dokumentum megadásához. Ezt csak akkor válaszd, ha valóban a teljes forrást másoltad be. A program a kódot nem futtatja, a benne hivatkozott képeket és egyéb külső tartalmakat sem tölti be.

Hogyan olvasd az eredményt?

Először az összefoglalót és a teendőket nézd át, utána menj a robotonkénti részletekhez. A riport a szabályt és az értelmezés okát is megmutatja. Így láthatod, melyik jelzés származik a szabályfájlból, melyik a metacímkékből, és mit tapasztalt a mérőgép a lekéréskor.

A keresési, a felhasználói lekérési és a tanítási célú robotok külön csoportban szerepelnek. Ez segít elkerülni, hogy minden tiltást automatikusan hibának tekints. A tartalmaid tanítási célú felhasználásáról önálló döntést hozhatsz. Az OpenAI például külön kezeli az OAI-SearchBot keresési robotot és a GPTBot tanítási robotot.

A bizonytalan eredményt is érdemes pontosan továbbadnod. A teszt a mérőgép kérésére kapott választ mutatja, a valódi robot más IP-címről érkezhet. Emiatt egy visszautasítás vagy ellenőrzőoldal részletesebb vizsgálatot igényelhet. A tűzfal vagy a kiszolgáló naplója segíthet tisztázni, milyen szabály lépett működésbe.

Mit adj tovább a weboldalad kezelőjének?

A felületen letöltheted az összefoglalót, kimásolhatod a webesednek szánt teendőket, vagy kinyomtathatod az eredményt. A részletes technikai adatok JSON-formátumban, a robotlista CSV-ként is elérhető. Általában érdemes az összefoglalóval kezdeni, és mellékelni a bizonyítékokat is.

A javítási kérésből derüljön ki, melyik oldalt vizsgáltad, milyen eredmény született, és milyen hozzáférést szeretnél engedélyezni. Az üzemeltető ezek alapján tudja eldönteni, hogy a robots.txt fájlt, az oldal beállításait vagy valamelyik kiszolgálási szabályt kell-e módosítania.

A javított robots.txt tervezetét vissza is másolhatod az ellenőrzőbe. További útvonalakat megadva előzetesen megnézheted a szabályok várható hatását. Ez a próba sem írja át az éles weboldalt. A tényleges módosítás után új ellenőrzéssel érdemes dokumentálni a változást.

Mikor tekinthető elvégzettnek az ellenőrzés?

Akkor, amikor érted a kapott jelzéseket, és minden vizsgálandó ponthoz tartozik következő lépés vagy dokumentált döntés. Egy szándékos tanítási tiltás megtartása éppúgy lehet következetes döntés, mint egy véletlen hozzáférési akadály javítása. A lényeg, hogy tudd, melyik beállítás milyen célt szolgál.

A hozzáférési akadály hiánya önmagában nem garantálja, hogy a tartalmad megjelenik valamelyik AI-válaszban. Az ellenőrző a technikai vizsgálatban segít, az adott válaszhoz felhasznált források kiválasztásáról a szolgáltató dönt.

Nyisd meg az AI-robot ellenőrzőt, és kezdd egy fontos oldaladdal. Ha a riport alapján segítség kell a javításhoz, a kereső- és AI-robotok hozzáférési hibáinak javítása szolgáltatásnál a konkrét eredménnyel tudunk elindulni.