robots.txt
Nevében is jelzi, hogy a keresőrobotok számára készül. Ebben szabályozhatod, hogy mely fájlokat érhetik el és melyeket nem térképezhetik a keresőrobotok, valamint beállíthatod, hogy ezek a tevékenységek pl. csak melyik robot számára tiltottak. A fájlban megadható a sitemap.xml fájl helye, illetve jelezhető megléte, ami sokat segít a teljes oldal feltérképezésében. A beállított szabályok betartása önkéntes együttműködésen alapul. Ha a robotot nem így programozták be, hogy ezt figyelje, akkor nem kényszeríthető a betartatásra, maximum tűzfal segítségével zárható ki egy már ismert kártékony robot IP címe alapján.
