robots.txt file

de robot.txt file.

is een vrij belangrijke file deze kunnen niet geautoriseerde robots/spiders tegen houden.
dit kan een voordeel hebben als je niet iedereen op en bepaalde pagina van je website wild hebben.of dat er geheime gegevens op staan.

we gaan beginnen bij het begin.

1. we gaan naar het start menu drukken op bureau accessoires en klikken op kladblok

2. we gebruiken eerst de User-agent statement

   voorbeeld hier van is

   User-agent: *

   de * (ster) attribuut gebruiken voor alle robots/spiders.
   verder op deze pagina zet ik een aantal robots voor je neer.

   maar nu weet de User-agent nog niks maar daar gaan we nu iets aan toevoegen

3. we gebruiken hier voor de disallow statement

   voorbeeld van disallow :op een test pagina is (deze pagina bestaat in dit web)

   Disallow:test.htm

4. als we nu de twee samen voegen ziet dit er als volgt uit :

   User-agent: *
   Disallow:test.htm

   op deze manier zeg ik tegen alle robots en spiders dat ze de file web.kustvissenineuropa.nl/test.htm
   niet mogen bezoeken gebeurt dit wel probeer dan te achterhalen welke robot hier voor de dader is en geef hem dan een eigen User-agent statement

5. voorbeeld met het gebruik van de msnbot

   User-agent: msnbot
   Disallow:test.htm

dit is een regel die moet iedere bot lezen
maar wanneer leest hij hem dan.

nu je weet hoe je hem maakt gaan we naar de volgende stap .

1. druk op bestand in kladblok

2. ga naar opslaan als(save as).

3. geef dit bestand de naam robots

4. onthoud nu goed waar dit bestand staat

5. sluit kladblok

6. open de locatie waar je het bestand hebt op geslagen.(niet het bestand zelf)

7. druk nu op de rechter muis knop druk dan op kopiëren

8. ga nu naar de locatie op je pc waar je website hebt gebouwd (vb h:/mywebs/myweb1)

9. druk nu twee maal op myweb1

10. druk nu op je rechter muis knop en dan op plakken.

11. je hebt nu de robots.txt file toegevoegd aan je website