Dicționar IT
Ce este robots.txt?
robots.txt este un fișier text aflat la rădăcina site-ului, în care declari ce zone au voie să acceseze roboții motoarelor de căutare și ce zone trebuie să ocolească.
Înainte să citească orice pagină de pe site-ul tău, robotul Google cere un singur fișier: robots.txt, aflat mereu la aceeași adresă — site.ro/robots.txt. E regulamentul de ordine interioară al site-ului pentru roboți: ce directoare pot accesa, ce zone să ocolească (pagini de administrare, rezultate de căutare internă, coșul de cumpărături) și unde găsesc sitemap-ul. Un fișier de câteva rânduri, dar cu putere disproporționată: o singură linie greșită — celebrul „Disallow: /” uitat activ după lansarea site-ului — poate bloca accesul roboților la întregul site, iar afacerea devine invizibilă în căutări deși site-ul funcționează perfect pentru vizitatori. Pentru firma ta, morala e simplă: robots.txt trebuie configurat o dată, corect, și verificat după fiecare relansare sau migrare. De reținut: robots.txt nu ascunde pagini — fișierul e public, iar excluderea din index cere alte mecanisme.
Hai să vorbim despre proiectul tău
Scrie-ne pe WhatsApp sau trimite un email — vorbești direct cu un programator.
office@northdan.com · +40 752 070 247
Termenul te interesează pentru un proiect concret? Site construit corect tehnic din prima zi — vezi serviciul de creare site web
De ce contează pentru afacerea ta
Roboții își petrec timpul pe paginile care vând
Blocarea zonelor fără valoare — filtre, căutări interne, coș — direcționează bugetul de accesare al Google către produse și pagini importante.
Zonele tehnice nu ajung în rezultate
Paginile de administrare, versiunile de test și scripturile interne rămân în afara traseului roboților — site-ul apare în Google doar cu fața curată.
Plasă de siguranță la lansări și migrări
Verificarea robots.txt e testul de un minut care previne dezastrul clasic: site nou lansat cu roboții blocați și trafic organic prăbușit fără explicație aparentă.
Întrebări frecvente
Cum verific robots.txt-ul site-ului meu?
Tastează în browser adresa site-ului urmată de /robots.txt — fișierul e public. Semnalul de alarmă maxim: linia „Disallow: /” sub „User-agent: *”, care blochează tot site-ul. Search Console are și un raport dedicat care arată cum interpretează Google fișierul și ce pagini sunt blocate de el.
Dacă blochez o pagină în robots.txt, dispare din Google?
Nu neapărat — robots.txt oprește doar accesarea, nu indexarea: dacă pagina primește linkuri, Google o poate afișa în rezultate fără descriere. Pentru excludere reală din index se folosește eticheta noindex sau protejarea cu parolă; iar noindex funcționează doar dacă pagina NU e blocată în robots.txt, altfel Google nu apucă să vadă eticheta.
Ce ar trebui să conțină robots.txt la un magazin online?
De regulă: acces liber la paginile de produse și categorii, blocare pentru coș, checkout, cont, rezultatele căutării interne și combinațiile de filtre care generează adrese infinite, plus linia Sitemap către harta site-ului. Configurația exactă depinde de platformă — multe au reguli implicite rezonabile care necesită doar ajustări.
Hai să vorbim despre proiectul tău
Scrie-ne pe WhatsApp sau trimite un email — vorbești direct cu un programator.
office@northdan.com · +40 752 070 247