DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Poslovanje, održavanje i marketing > Marketing i SEO
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

Marketing i SEO Marketing tehnike i Search Engine Optimization

Odgovori
 
Alati teme Način prikaza
Staro 15. 01. 2007.   #1
oliver
expert
Expert
 
Avatar oliver
 
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 580
Hvala: 1
0 "Hvala" u 0 poruka
oliver is on a distinguished road
Pošaljite ICQ poruku za oliver Pošaljite poruku preko Skype™ za oliver
Default Yahoo Slurp - manijak

Vec mjesecima mi Yahoo-ov crawler non-stop "visi" na sajtu, a posebno na forumu - ne pamtim kada sam vidio manje od 15-tak crawlera... Probao sam sa:

Kôd:
User-agent: Slurp
Crawl-delay: 10
...ali nije bilo vajde iako je crawl-delay specifican parametar koji uzima u obzir samo yahoo-ov crawler (Yahoo help).

Pazite samo ovo:
Citat:
Najviše korisnika istovremeno bilo je 169, 08.11.2006. u 22:09 sati.
Za sajt koji u prosjeku DNEVNO ima 200-njak unikatnih posjeta, cifra od 169 korisnika u jednom trenutku je ravna naucnoj fantastici

S obzirom da sa yahoo pretrazivaca dobijam mizernu cifru posjeta, ne vidim razlog zasto ne bih totalno zabranio indeksiranje za /forum, ali opet... Je l' ima ikoji "normalan" nacin da mu kazem da dolazi svakih X dana? Meta tag i revisit-after nemaju smisla, takodje.
__________________

oliver je offline   Odgovorite uz citat
Staro 15. 01. 2007.   #2
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

crawl delay bi morao da radi na Slurp-u (a takodje ga postuje MSN i jos par botova). Medjutim mislim da se on odnosi na jednog bota, verovatno svaki bot za sebe i postuje tih 10 sekundi, ali posto Yahoo iz nekog razloga pusti brdo njih istovremeno onda naprave haos...

meni su bas danas jedan meta-search sajt doveli na nivo puzanja, server load se popeo na 4.

Ja sam to resio tako sto Slurp-botovima (na osnovu user-agenta) posaljem 503 Service Unavailable, i Retry-after: 7200 (posle 2 sata). Pa ih onda opet malo pustim, i tako. valjda ce da izindexiraju sta ima, a opet da sajt ipak radi i za ljude. Mada posto Yahoo nosi manje od 10% poseta, i to nekvalitetnih (Latino Amerika uglavnom) mogu slobodno i da ga batalim skroz..
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 15. 01. 2007.   #3
Peca
Super Moderator
Knowledge base
 
Datum učlanjenja: 02.10.2006
Lokacija: Niš
Poruke: 1.618
Hvala: 263
275 "Hvala" u 104 poruka
Peca će postati "faca" uskoroPeca će postati "faca" uskoroPeca će postati "faca" uskoro
Default

sa kojih IP adresa dolaze?
__________________
Vesti | MyCity | Igrice | Zaštita od virusa
Peca je offline   Odgovorite uz citat
Staro 15. 01. 2007.   #4
oliver
expert
Expert
 
Avatar oliver
 
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 580
Hvala: 1
0 "Hvala" u 0 poruka
oliver is on a distinguished road
Pošaljite ICQ poruku za oliver Pošaljite poruku preko Skype™ za oliver
Default

@ ivanhoe: ma, ja imam manje od 2% posjeta sa Y! search-a... konkretno: od jula prosle godine do danas okruglo 1,6%

@ Peca: ne znam tacno, a mrzi me da biscem po logovima, od juce je disallow: /forum/ pa uzivam(o) sto, kakve veze ima? mislis da su bili fake crawleri? bogami, otkako sam im rekao da ne dolaze nikako, stvarno su o'ladili
__________________

oliver je offline   Odgovorite uz citat
Staro 15. 01. 2007.   #5
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

kod mene u logu stizu sa 74.6.130.xxx (ima jedno 16-17 IP-jeva u opsegu izmedju .190-.220)
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 15. 01. 2007.   #6
oliver
expert
Expert
 
Avatar oliver
 
Datum učlanjenja: 16.06.2005
Lokacija: Novi Sad
Poruke: 580
Hvala: 1
0 "Hvala" u 0 poruka
oliver is on a distinguished road
Pošaljite ICQ poruku za oliver Pošaljite poruku preko Skype™ za oliver
Default

Nasumicno sam odabrah access log za mali test - vremenski raspon od 15 minuta (4:32AM-4:47AM), 13. januar ove godine, umalo srcka da me strefi. Evo unikatnih IP adresa sa user-agentom Yahoo! Slurp:

74.6.74.175
74.6.71.179
74.6.70.249
72.30.252.87
74.6.73.83
74.6.69.11
74.6.71.122
74.6.73.43
74.6.70.178
72.30.226.213
74.6.73.252
74.6.69.138
74.6.70.215
74.6.69.113
74.6.69.109
74.6.70.171
74.6.70.244
74.6.69.15
74.6.74.181
74.6.73.50
72.30.177.178
74.6.70.7
74.6.74.178
74.6.73.173

...24 komada!

Da se ja pitam, ovdje bi puklo Disallow: / ko dvaput dva
__________________

oliver je offline   Odgovorite uz citat
Staro 15. 01. 2007.   #7
Peca
Super Moderator
Knowledge base
 
Datum učlanjenja: 02.10.2006
Lokacija: Niš
Poruke: 1.618
Hvala: 263
275 "Hvala" u 104 poruka
Peca će postati "faca" uskoroPeca će postati "faca" uskoroPeca će postati "faca" uskoro
Default

Citat:
Originalno napisao oliver
@ Peca: ne znam tacno, a mrzi me da biscem po logovima, od juce je disallow: /forum/ pa uzivam(o) sto, kakve veze ima? mislis da su bili fake crawleri? bogami, otkako sam im rekao da ne dolaze nikako, stvarno su o'ladili
ne, pitam iz drugog razloga...
na svom serveru imam mod_evasive, koji takve divlje botove oladi odmah sa Forbidden, pa sam hteo da vidim da nisam oladio tako i Yahoo botove
za divno cudo - nemam na listi problematicnih nista sa tog IP opsega...
__________________
Vesti | MyCity | Igrice | Zaštita od virusa
Peca je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
Pregled yahoo.com-a iz IE 6 Nikola Vavic Opušteno 3 01. 03. 2007. 01:53
13 WebDevelopers for Yahoo blogowski Poslovne ponude i zapošljavanje 0 17. 01. 2007. 13:36
Yahoo trying to buy AOL Nikola Vavic Linkovi 0 30. 10. 2006. 23:07
MSN & Yahoo CPC Program kai Marketing i SEO 20 17. 03. 2006. 11:42
Yahoo WTF of the day Dušan Dželebdžić Opušteno 1 17. 11. 2005. 01:50


Vreme je GMT +2. Trenutno vreme je 10:58.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.