Een bestand vooral gebruikt om webpagina's uit de indexen van de zoekmachines te houden.

Een text-file die geplaatst wordt in de root (daar waar de index staat), opgebouwd volgens een specifieke syntax en gebruikt om zoekrobot instructie te geven bepaalde bestanden of mappen die niet opge [..]

Dit is een tekstbestand waar bepaalde instellingen i.v.m. het doorzoeken van uw website door zoekrobotten kunnen meegegeven worden. Een robots.txt kan ervoor zorgen dat bepaalde mappen en bestanden niet worden opgenomen in de zoekmachines. Bv. bestanden die enkel mogen gedownload worden na het inloggen op de website.

een tekst bestand, geplaatst in de root van een website (dus vb. domein/robots.txt) die instructies geeft aan zoekmachines betreffende crawlen/indexeren. De instructies kunnen voor een volledige websi [..]

Tekstbestand dat in uw website wordt opgeladen en helpt bepalen tot welke bestanden de zoekrobot spiders al dan niet toegang krijgen.

Tekst file in het hoogste site level met als doel de toegang van zoek spiders tot delen van de site te beperken. Alleen robot programma's (spiders) die compatible zijn met de "Robots Exclusion St [..]

Tekst file in het hoogste site level met als doel de toegang van zoek spiders tot delen van de site te beperken. Alleen robot programma's (spiders) die compatible zijn met de "Robots Exclusion St [..]

Een robots.txt ( robots tekst ) wordt door een webmaster in de basis van de server geupload waar de website op draait. Deze robots.txt geeft aan welke delen van een website wel of niet geindexeerd mog [..]

In het robots.txt bestand staat opgenomen welke mappen en bestanden een robot van een zoekmachine mag openen om deze op te nemen in de zoekresultaten. Vaak nemen de robots dit niet 100% nauw met de door jouw gegeven voorschriften. Het is dan ook goed om bijv. bij een zoekmachine als Google een accou...