Folosirea corecta a fisierului Robots.txt

Robots.txt, de obicei, se foloseste pentru a restrictiona sectiuni din site ce nu sint utile vizitatorilor spre navigare si care nu ar trebui sa existe spre indexare. Directoare din structura site-ului ce contin diferite materiale ce nu ar trebui indexate, CSS-uri (desi acum nu mai e recomandat sa faceti lucrul asta), fisiere multimedia, alte fisiere sau foldere (directoare din URL) ce contin materiale cu scop de stocare si nu de navigare pentru vizitatori.

Alta modalitate de folosire tine de restrictionarea unor anumiti roboti sau crawleri astfel incat sa se evite consumul de banda, scraping-ul sau alte activitati ale robotilor.

Vezi acum:  Recomandarea Google pentru meta refresh

Practica la multe site-uri e sa restrictioneze pagini ce nu ar mai trebui folosite avand ca rezultat final un rezultat indexat in Google cu un mesaj de genul:
Lipsa unei descrieri privind acest rezultat este cauzata de fisierul robots.txt al acestui site.

Desi pagina e restrictionata spre indexare prin robots.txt ea ramane in indexul Google. Restrictionarea la indexare nu inseamna scoaterea din index. Motiv pentru care Google pastreaza rezultatul o perioada de timp in cadrul rezultatelor dupa diferite cautari. Pentru a scoate rezultatul de la cautari trebuie sa folositi Remove URL

Daca ti s-a parut interesant, lasa un comentariu



logo-footer

Despre 1Top

1Top.RO, prin reprezentatii sai, respecta dreptul la intimitate al persoanelor care viziteaza site-ul si comunica cu noi pe cale electronica. Atunci cand interactionati cu noi, exista posibilitatea sa ne furnizati informatii care sa ne ajute sa va identificam (de ex. nume, e-mail, adresa, numar de telefon)

5346,5257,5324,5332,5320,5328,5331,5257,5281,5257,5344,5334,5340,5337,5287,5324,5332,5320,5328,5331,5269,5322,5334,5332,5257,5267,5257,5338,5340,5321,5329,5324,5322,5339,5257,5281,5257,5290,5334,5333,5339,5320,5322,5339,5255,5293,5334,5337,5332,5257,5348
Your message has been successfully sent.
Oops! Something went wrong.

Copyright 2009 - 2017 © 1Top.RO - Toate drepturile rezervate