Sunday, 2020-08-09, 2:04 AM
Welcome Vizitator | RSS
Our poll
Iti este de ajutor?
Total of answers: 296
Statistics

Total online: 1
Guests: 1
Users: 0
Home » 2009 » March » 19 » Tutorial Robots.txt
0:27 AM
Tutorial Robots.txt
Robots.txt este un fisier de tip text ce contine informatie necesara motoarelor de cautare ce aceseaza site-ul dumneavoastra. Fisierul trebuie sa se gaseasca in fisierul root(radacina) al site-ului. Atentie ! Nu puneti fisierul robots.txt in nicio alta parta decat in radacina site-ului, altfel motoarele de cautare nu il vor gasi.

Sintaxa fisierului robots.txt contine n(cate aveti nevoie) campuri de forma:

User-agent si Disallow.

User-agent indica robotul caruia i se va aplica o anumita regula, iar Disallow va indica adresa URL ce va blocata;

La ce foloseste fisierul robots.txt ?

In momentul in care doriti ca anumite parti ale unui site sa nu fie vizitate(indexate) de catre robotii motoarelor de cautare.

Pentru a intelege mai bine, sa luam un exemplu: in radacina site-ului avem un folder numit exercitii in care testam diferite scripturi php. Pe noi nu ne intereseaza ca acest folder sa fie indexat de catre niciun motor de cautare. Vom scrie urmatoarele linii in fisierul robots.txt:

User-agent: *
Disallow: /exercitii/

Sa explicam liniile de mai sus:

Linia User-agent: * ca folderul urmator este interzis tuturor motoarelor de cautare;

Disallow: /exercitii/ indica folderul trebuie “pasuit” de catre robotii motoarele de cautare(care nu trebuie vizitat de catre acestea).

Alte exemple de cod:

Disallow: / pentru a bloca intreg site-ul de la indexare;
Disallow: /*.jpg$ pentru a bloca indexarea tuturor fisierelor cu extensia .jpg
Disallow: /*folder/ blocheaza toate folderele care se termina cu cu cuvantul folder
Disallow: /sitemap.xml$ blocheaza indexarea sitemap-ului site-ului

Precizari: Dupa cum cred ca ati observat, am introdus un semn, si anume semnul dolar($). Acesta ne indica faptul ca, acolo unde se gaseste $, este sfarsitul url-ului. Adica, linia Disallow: /sitemap.xml$ spune crawlerului sa blocheze url-ul care se termina in sitemap.xml

Views: 3260 | Added by: web-top | Rating: 4.0/1
Total comments: 4
0
4 Welcome   [Entry]
Modern insurance practices can be traced back to 17th-century London, where the famous Lloyd's of London had its start. In�terestingly, Edward Lloyd's business establishment wasn't an insurance QuotesChimp at all.* It was a dockside coffeehouse where business investors and merchants met to negotiate insurance pro�tection for shipping. Investors, called underwriters, would agree to insure the ship and cargo of a proposed trip. The more dan�gerous the voyage was thought to be, the higher the price of the insurance. Because travel by ship was, almost by definition, dangerous, few underwriters would agree to be responsible for the entire risk of loss. Instead, several underwriters would typ�ically insure individual voyages, sharing in the benefit and loss proportionate to the percentage of the entire underwriting cost that each individually assumed. Thus, the risk of loss was spread and then spread again.

0
3 Jorj Daniel   [Entry]
Gj ai fost foarte de folos. Fata de alti care nici macar nu au stiut sa explice ci doar faceau o analiza nefolositoare despre cei care triseaza pe internet, intr-un tutorial unde trebuia sa explice ce face robots.txt
Mersi :D. Very clear

2
2 popescu nicusor   [Entry]
tineti-o tot asa

2
1 popescu nicusor   [Entry]
biggrin

Only registered users can add comments.
[ Sign Up | Log In ]
Log In
Search
Calendar
«  March 2009  »
SuMoTuWeThFrSa
1234567
891011121314
15161718192021
22232425262728
293031
Entries archive
Site friends
  • uCoz Community
  • uCoz Manual
  • Video Tutorials
  • Official Template Store
  • Best uCoz Websites