Da li želite da optimizujete Vaš robots.txt fajl? Čemu on služi? Gde se nalazi? Da li utiče na SEO (search engine optimization) Vašeg sajta? Ovaj fajl, zapravo, igra veoma važnu ulogu što se tiče SEO optimizacije sajta. Najprostije definisano, robots.txt služi za komuniciju sa search engine-ima tj. pomaže im koji sadržaj sajta da indeksiraju, a koji ne.
Da li Vam zaista treba robots.txt?
U slučaju da nemate ili da obrišete fajl robots.txt, to neće sprečiti search engine da ideksiraju Vaš sajt! Ako želite da postavite vašu sitemapu (xml) kako bi je search engine pronašli, to biste uradili u ovom fajlu, ili biste mogli da je ručno dodate unutar Google Webmaster Tools-a. Ukoliko nemate robots.txt fajl, mi vam toplo preporučujemo da ga momentalno kreirate.
Gde se nalazi i kako kreirati?
Uobičajeno mesto je root folder Vašeg hostinga. Pošto je ovo tekstualni fajl, možete ga otvoriti pomoću Notepad++, Atom, Brackets ili bilo kog drugog tekst editora. Ako pak ovaj fajl ne postoji, jednostavno kreirajte prazan txt fajl pod nazivom robots.txt.
Format ovog fajla je prilično jednostavan: prva linija je ime pretraživača (user agent) koji pokušava da komunicira sa Vašim sajtom (npr. Googlebot, Bingbot). Isto tako, možete iskoristi * i označiti sve botove. Sledeće linije su “Dozvoljeno” i “Nedozvoljeno”, tj. označavanje šta je potrebno indeksirati a šta ne.
Primer jednostavne konfiguracije:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html
Prva linija označava sve pretraživače. Nakon toga dozvoljavamo indeksiranje upload direktorijuma (slike, fajlovi), dok zabranjujemo pristup folderu plugins i fajlu readme.html.
Optimizacija fajla robots.txt
Prvo pravilo je da se fajl ne koristi kako biste sakrili neki sadržaj od strane google, robots.txt služi samo kao pomoć pri indeksiranju, a ne način da se neke stvari prikriju.
Takođe postoje “meta tagovi” koje možete iskoristiti a to su nofollow and noindex. Većina pluginova koja se bavi SEO optimizacijom sajtova, daće Vam ovu mogućnost.
Po defaultu, login stranica, admin deo sajta i registracija imaju noindex tag koji je dodat od strane WordPress tima.
Naša preporuka je da fajl readme.html zabranite unutar robots.txt kako biste sprecili druge ljude da vide koju verziju WordPress-a imate. Na taj način smanjujete šansu da botovi koji napadaju sajtove lociraju rupu. Isto tako treba postupiti i sa plugin direktorijumom kako bi napadač bio sprečen da vidi verzije, pa samim tim neće znati koja su potencijalna ranjiva mesta (rupe).
Dodavanje XML mape
Ako koristi neki do WordPress plugin-ova za SEO, on će za Vas generisati sitemapu i pokušati da je doda u robots.txt, a ako koji slučajem ne uspe, možete je sami ručno dodati:
Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Da li Vi imate neki predlog ili komentar na ovu temu? Podelite to sa nama.