Etichetă: robots.txt php

Corect robots.txt

This article has been written before more than 24months, information might old.

Pentru google si pentru celelate motoare de cautare robots.txt este foarte important , depozitarea unui robots.txt cu continut incorect/ilegal poate duce la neindexarea anumitor pagini sau chiar mai rau excluderea webiste-ului din motoarele de cautare .
In acest articol va voi arata si cum trebuie sa arate un robots.txt perfect pentru wordpress cat si cum sa corectam diferite errori care se pot ivi datorita proastei configurari ale servarului pe care va este hostat website-ul .

In primul rand tipul unui fisier robots.txt trebuie sa fie text/plain , se poate ca fisierele text sa nu fie de acest tip pe servarul vostru. Pentru a corecta aceasta problema se poate aplica una dintre urmatoarele 2 solutii :

In fisierul .htaccess adaugam :
1 ( pima optiune ) : Linia :

AddType text/plain .txt
 

In acest caz fortam ca orice fisier cu extensia .txt sa fie de tipul text/plain , dar aceasta directiva poate genera eroarea 500 daca in configurarea servarului aceasta directiva este dezactivata . In cazul in care dupa …