Robots.txt - vad gör man med den?

Robotar, spindlar och crawler – är nåt alla ”datanördar” vet vad det är.
Det är basic, ungefär som att räkna till 10.

Så idag har jag lärt mig lite basic, tagit itu med 404 http-felmedelanden.
Har sett det meddelandet rätt länge i statistiken till min sida, visste att det troligen hade med en fil som heter robots.txt att göra.
Så det var bara att följa sonens favorituttryck till mig.
–Googla på det! Det finns massor att läsa.

Jo tack, nog finns det mycket att läsa. Insåg rätt snart att jag helt saknar ”robots.txt”.
Så då får man väl göra en, tänkte jag.
Faktiskt inte alls så svårt.
Det finns färdiga förslag, bara att klippa och klistra, eller använd en ”generator” som tillverkar texten åt dig.

Och nu när jag ändå höll på kunde jag ju passa på att stänga ute MSMBot

Varför då undrar du säkert
Först och främst: Bara för att det är Microsoft, så klart! Det räcker väl som förklaring.
Annars läste jag mig till att den inte brukar generera någon trafik, utan bara glupskt slurpa i sig massa sidor. Det är också en bra förklaring.

Sen får vi se om det räcker för att få kontroll över robot-trafiken. Troligen inte, men man får lära sig en bit i taget.

/T

Läs även andra bloggares åsikter om Robots, spindlar, robots.txt, sökmotorer