In ultima vreme se cearta lumea rau: voi spamati Google, voi puneti pagini relevante, nu, nu le punem noi, e un bug in aplicatia web samd.

Pornind de la afirmatia lui Orlando, ca Google e vinovat, m-am gandit sa ofer celor care se pare ca nu se pricep (e omenesc, nu putem sti chiar tot) solutia: fisiere robots.txt ca-re tre-bu-ie pu-se in ra-da-ci-na site-ului (am scris cu liniuta ca sa fie mai rar, sa se inteleaga). Sau sa incerc sa explic alte posibile motive.

Inainte de a incepe: am luat in discutie numai site-urile care au fost discutate: 9am, realitatea.net, hotnews.ro (si antena3, tangent, asa). Mai sunt site-uri care fac tot felul de manarii, dar nu le discut acum.

9am.ro

Preferatii lui Vali, cand vine vorba de prea multe pagini lipsite de relevanta in motoare. Au inclus in index-ul Google pagini precum: /tag/, /comunitate/. Si, la momentul la care scriu articolul, numarul de pagini indexate este:

cautare: site:9am.ro >> 1 410 000 pagini indexate (un milion patru sute zece mii)
cautare: site:9am.ro/tag >> 14 390 pagini indexate
cautare: site:9am.ro/comunitate >> 588 000 pagini indexate
linkuri catre site: 749 (cautare aici )

Paginile de comunitate sunt irelevante (desi hi5.com au si ei indexate, de exemplu). Diferenta e ca cei de pe hi5 chiar sunt activi: poze, comentarii etc. Eu nu am gasit pe 9am.ro decat profile necompletate. Deci puse automat. Pentru ca nu pot sa cred ca din cateva sute de mii nu nimeresc eu chiar nici cu fara activitate.

So, pentru voi, robots.txt ar trebui sa aiba urmatoarele linii suplimentare (nu public acum robots.txt-ul vostru, dar liniile de mai jos nu sunt acolo):

User-agent: *
Disallow: /tag
Disallow: /comunitate

Gata, am rezolvat.

Later edit: Mihai Seceleanu publica Google Analytics cu traficul pe paginile de comunitate pe 9am.ro

Realitatea.net

Aici avem aceeasi problema: tagurile. Insa mai e una: versiunile “print” ale articolelor. Care sunt multe. Vezi mai jos:

inbound links: 603 000 (cautare aici)
cautare: site:realitatea.net >> 807 000 (opt sute sapte mii)
cautare: aici trebuie pus screenshot pentru ca era stricat operatorul allinurl, asa ca vedeti in screenshot cate sunt (presupun ca fiecare articol are versiune de genul asta. Deci sunt destule pagini).

Realitatea, versiuni print

Pentru voi, robots.txt trebuie sa arate cam asa:

User-agent: *
Disallow: /tag/
Disallow: /print*

Ah, si puneti si voi nofollow pe linkurile catre print_#### (creaza continut duplicat si nu e bine), vedeti mai jos de ce.

Una peste alta, trebuie sa va spun ca totusi realitatea face SE spam mai putin decat se crede. Ce fac ei e sa aiba un sistem foarte bun de indexare a subdomeniilor. De aici si traficul suplimentar. Daca s-a fost facut curat sau nu, asta ramane de vazut. Dar pentru moment e ok. Luati in calcul ca domeniul e vechi si ca au o gramada de linkuri. Parerea mea? Pe langa faptul ca au o gramada de inbound links pentru ca multa lume a dat link natural catre ei, cred ca in ultimele 6 luni au avut si o campanie agresiva de link building.

Hotnews.ro

cautare: site:hotnews.ro >> 344 000 (trei sute patruzeci si patru de mii)
cautare: site:hotnews.ro/tags >> 1700
inbound links: 7660 (cautarea aici)

Nu stiu exact cum era inainte, dar acum HotNews sunt curatei. Nu au renuntat la preluare de continut “gratuit” de pe net, dar se rezolva, din cate observ.

“Discutia” despre spam de la ei a pornit, dar, din pacate, nu are continut. Motivul fundamental pentru care realitatea.net a cunoscut boom-ul mentionat de Dragos Manac e reprezentat de o campanie de link building sustinuta in ultimele luni (o gramada de linkuri in wiki-uri fara nici o legatura cu continutul site-ului samd ma face sa cred ca nu a fost naturala cresterea). Da, sunt multe tag-uri, da, nu ar trebui sa fie, dar nu asta e motivul. Daca e vreo forma de spam, nu e tag spamming, e link building spamming :D

Later edit: Realitatea.net publica motivatiile pentru care traficul lor a cunoscut un asemenea salt. Daca cititi cu atentie, e cam ce zic eu in paragraful anterior.

O alta explicatie poate fi si faptul ca Google si-a imbunatatit sistemul de analiza a continutului duplicat. Hotnews si 9am.ro sunt site-uri care fac/au facut preluari (iar Google nu stie de directiva CRP, cu 500 de caractere :D ). Ca e de la MediaFax/NewsIn sau mai stiu eu ce alta agentie, ca e de pe site direct, de la ziare sau televiziuni, continutul este in mare acelasi. In consecinta, e posibil ca domeniile respective sa fi fost penalizate de motorul de cautare pentru prea mult continut duplicat.

Si totusi, prea a explodat buba acum. Mihai Seceleanu da print screen cu google analytics (as vrea sa vad acelasi print screen pe ultimii doi ani, sa stii), Dragos Manac e revoltat de 60.000 de tag-uri ale realitatea, dar nu cauta argumente mai bune (ceea ce e cu adevarat surprinzator pentru Dragos). Doua lucruri cu adevarat neverosimile.

Nu mai sunt asa de multi bani in online? :D

P.S.: Dragos (Stanca), nu era mai bine daca in locul unui comunicat scris pe 4 pagini, cu explicatii comuniste si la misto, dadeai 3 randuri in care spuneai: am facut o campanie de link-building care ne-a permis ca, in baza continutului deja existent pe site – continut unic, sa crestem in relevanta? Uite ce frumos suna. Si cred ca ai fi castigat mai mult asa decat cu un document scris aiurea si in care e clar ca persoana care ti l-a compus nu prea avea idee despre ce vorbeste (pentru ca refuz sa cred ca l-ai scris tu). Mai mult, in loc sa explice, documentul va scuza. Ceea ce e si mai rau.

P.P.S.: am exclus din discutie Antena3 pentru ca ei chiar s-au trezit vorbind ca sa nu taca. Au 70.000 de pagini indexate in Google in momentul acesta, e clar ca ei nu sunt deranjati :D (iar pe antena1.ro am gasit aceasta informatie de mare angajament: Mafia1930. relevant!)

Concluzie: lumea a inceput sa isi curete site-urile. Mai apar scapari de genul “tag-ul a”, dar in general incepe sa se intample ceva. Ce? DESCOPERA LINKURILE!!!!!! si, implicit, link spamming. Intram intr-o noua era :D

Articolul de fata nu incearca sa ii “spele” pe cei de la realitatea. Nicidecum. Pune doar in ordine si completeaza cateva chestii. Poate ca la un moment dat vom avea acces la Bounce Rate-ul vizitatorilor din Google pe realitatea.net. Si cred ca cineva ar trebui sa explice tuturor celor din agentiile de publicitate si, mai ales, clientilor, de ce nu vrei sa cumperi publicitate pe un site unde vizitatorul intra si iese in 2 secunde. Dar asta alta data, intr-un alt post de blog.

Materialul a fost realizat cu ajutorul lui Razvan Antonescu, una din cele mai “murdare” minti pe care le cunosc in zona de SEO din Romania.