A weboldal gyökérkönyvében tárolt robots.txt fájl webrobotokat fog megmagyarázni, mint például a keresőmotor pókok, milyen könyvtárakat és fájlokat tudnak feltérképezni. Egyszerűen használható robots.txt fájl, de vannak olyan dolgok, amiket ne feledje:
- A Blackhat webrobots figyelmen kívül hagyja a robots.txt fájlt. A leggyakoribb típusok a rosszindulatú szoftverek és az e-mail címeket kereső robotok.
- Néhány új programozó olyan robotokat fog írni, amelyek figyelmen kívül hagyják a robots.txt fájlt. Ezt általában véletlenül végzik el.
- Bárki láthatja a robots.txt fájlt. Mindig a robots.txt néven hívják őket, és mindig a webhely gyökerén vannak tárolva.
- Végül, ha valaki olyan fájlra vagy könyvtárra mutat, amely a robots.txt fájlból kizár egy olyan oldaltól, amelyet a robots.txt fájl nem zár ki, akkor a keresőmotorok is megtalálhatják.
Ne használjon robots.txt fájlokat semmi fontos elrejtéséhez. Ehelyett fontos információkat kell elhelyeznie biztonságos jelszavak mögé, vagy teljesen el kell hagynia az internetről.
A mintafájlok használata
Másolja át a mintát a legközelebb esőhöz, és tegye be a robots.txt fájlba. Módosítsa a robot, a könyvtár és a fájlneveket, hogy megfeleljen az Ön által preferált konfigurációnak.
Két alapvető Robots.txt fájl
Felhasználói ügynök: *Disallow: / Ez a fájl azt mondja, hogy bármely robot ( Felhasználói ügynök: *), hogy hozzáférjen, figyelmen kívül kell hagynia az oldal minden oldalát ( Disallow: /). Felhasználói ügynök: *Letiltás: Ez a fájl azt mondja, hogy bármely robot ( Felhasználói ügynök: *), amely hozzáfér, hozzáférhet a weboldal minden oldalának megtekintéséhez ( Letiltás:). Ezt akkor is megteheti, ha a robots.txt fájlt üresen hagyja, vagy egyáltalán nem rendelkezik a webhelyével. Felhasználói ügynök: *Disallow: / cgi-bin /Letiltás: / temp / Ez a fájl azt mondja, hogy bármely robot ( Felhasználói ügynök: *), hogy hozzáférjen, figyelmen kívül kell hagynia a könyvtárakat / cgi-bin / és / temp / ( Disallow: / cgi-bin / Disallow: / temp /). Felhasználói ügynök: *Disallow: /jenns-stuff.htmDisallow: /private.php Ez a fájl azt mondja, hogy bármely robot ( Felhasználói ügynök: *), hogy hozzáférjen, figyelmen kívül kell hagynia a /jenns-stuff.htm és /private.php fájlokat ( Disallow: /jenns-stuff.htm Disallow: /private.php). Felhasználói ügynök: Lycos / x.xDisallow: / Ez a fájl azt mondja, hogy a Lycos bot ( Felhasználói ügynök: Lycos / x.x) nem férhet hozzá bárhol a webhelyen ( Felhasználói ügynök: *Disallow: /Felhasználói ügynök: a GooglebotLetiltás: Ez a fájl először letiltja az összes olyan robotot, mint a fentiek, majd kifejezetten engedélyezi a Googlebot ( Felhasználói ügynök: a Googlebot) mindenhez hozzáférhet ( Bár jobb egy nagyon befogadó felhasználói-ügynök vonal használata, mint a User-agent: *, akkor annyira egyedi lehet, amennyit csak akar. Ne felejtsük el, hogy a robotok a fájlokat sorrendben olvassák. Tehát ha az első sorok azt mondják, hogy minden robot blokkolja mindent, majd később a fájlban azt mondja, hogy minden robot számára hozzáférést biztosítanak mindent, a robotok mindenkinek hozzáférhetnek. Ha nem biztos abban, hogy helyesen írta-e be a robots.txt fájlt, akkor a Google Webmestereszközök segítségével ellenőrizheti a robots.txt fájlt, vagy írhat egy újat. Védje a könyvtárak specifikus könyvtárait
Bizonyos oldalak védelme a robotoktól
Megakadályozzon egy specifikus robotot a webhely eléréséért
Csak egy specifikus robot hozzáférés engedélyezése
Kombináljon több sorozatot, hogy pontosan megkapja a kívánt kizárásokat
