Če ste SEO strokovnjak ali se vsaj malo spoznate na optimizacijo spletnih strani za iskalnike, že poznate izraza »Robots.txt« in »No Index.« Če temu ni tako, je razlaga omenjenih besed precej preprosta: tako Robots.txt »Disallow« kot tudi Meta Tag »No Index« sta načina označevanja spletnih strani, ki iskalnikom ubranita branje in shranjevanje vsebine v njihovo podatkovno bazo, poznano pod imenom »index« .

Zakaj bi sploh želeli izključiti strani iz iskalnikove podatkovne baze? Še en preprost odgovor: s tem preprečimo iskalnikom, da prednostno označijo nepomembne strani in to na račun tistih kakovostnih. Poglejmo torej kako delujeta Robots.txt in »No Index« označbi.

Kazalo vsebine

The Robots.txt “Disallow”

Robots.txt je datoteka, ki jo naložite direktno na strežnik spletne strani. Najdete jo na spletnem naslovu http://www.VašaStran.si/robots.txt. V njej se skrivajo navodila za iskalnike. Kadar ima datoteka navodilo »Disallow,« ki velja za določeno spletno stran, spletni iskalnik navodilo prepozna in ve, da strani ni potrebno prebrati. S tem istim navodilom iskalniku sporočamo, da spletna stran ni pomembna in jo lahko preskoči. Tako tudi poskrbimo, da se strani, ki so označene z navodilom »Disallow,« ne pokažejo v rezultatih iskanja.

Kakorkoli, »Disallow« pomeni »ne preberi« in »ne glej«. Ukaz ne naredi spletnih strani nevidnih, temveč jim prepreči biti »crawlable«. Na strani, ki je označena z »Disallow,« bodo vhodni linki in citati iskalniku še vedno vidni, ta pa jih bo tudi prepoznal. Iskalnik torej ve, da stran obstaja, ne prepozna pa njene vsebine. V redkih primerih, ko ne more ponuditi boljših iskalnih zadetkov, lahko ponudi tudi stran, označeno z »Disallow,« vendar bo povezava predstavljena brez opisa vsebine.

Kot opombo je potrebno vseeno povedati, da manjši iskalniki ne uporabljajo Robots.txt datotek. To pomeni, da strani označene z »Disallow« lahko shrani v svojo podatkovno bazo in ukaz izgubi svoj pomen.

Meta Tag “No Index”

»No Index« meta tag je delček kode, ki jo vstavite v glavno sekcijo vaše spletne strani. V nasprotju z ukazom »Disallow«, »No Index« omogoča iskalnikom, da stran preberejo in prepoznajo, vendar po končanem obisku pozabijo, da so nanjo že kdaj naleteli. Navodilo »Ne Indexiraj« velja tudi za vse povezave in citate, ki kažejo na stran, označeno z »No Index«. Stran tako na noben način ne ostane zaznamovana ali prisotna v katerikoli zbirki podatkov. Poleg tega ukaz »No Index« prepoznajo prav vsi iskalniki.

Kdaj uporabljati Robots.txt »Disallow« in Meta »No Index« Tag

Po mnenju nekaterih je označba »No Index« bolj varen način, če ne želimo, da se stran shrani v podatkovno bazo. Po drugi strani pa s to metodo težje upravljamo in ohranimo pregled nad njo, saj ukaz vstavljamo v vsako stran posebej. Robots.txt »Disallow« je lažje vodljiv, saj je sestavljen le iz ene datoteke.

Vsako podjetje mora najprej oceniti svoje spletne potrebe in ustrezno izbrati ukaz. Vseeno boste »No Index« ukaz najverjetneje uporabili na straneh, ki 100% ne potrebujejo shranjevanja v podatkovno bazo ali jih ustvarjate v tajnosti pred vašo konkurenco. V ostalih primerih bo tudi Robots.txt »Disallow« dovolj.

Ali Robots.txt »Disallow« in »No Index« Meta Tag prenašata Page Rank?

Veliko se razpravlja o tem, ali in kako omenjene označbe vplivajo in prenašajo Page Rank (»PR«). Če stran označite z »Disallow«, vendar povezavam na njej omogočite sledenje – »do follow«, bo stran vseeno prenašala Page Rank. Ta Page Rank bo šel praktično v nič, saj povezave ne bodo brane s strani iskalnikov in ne morejo biti posredovane. Po drugi strani »No index« lahko prenaša Page Rank, v primeru, da so povezave na strani označene z »do follow«, saj iskalnik stran prebere, a jo ne shrani in indeksira.