Przegl?danie strony z zewn?trz przez boty

[Link]

Ostatnio w panelu adamina serwera zobaczy?em ?e jedna z moich domen tam gdzie mam forum jest nie?le przegl?dana przez nie znane mi elementy. Ilo?? stron przegl?danych jest spora przez szczególnie jeden. Ni?ej poda?em link do zdj?cia z wyci?gu serwera. Tam na pierwszym miejscu jest Java (often spam bot) - który to mnie szczególnie zaniepokoi? - co to jest a je?li co? niedobrego jak go przyblokowa?. (mo?e to te? by? mod sitemap 1.2.2 do forum) jestem zupe?nym laikiem w sprawach php i for. Dzi?kuje za odpowied?.


http://img159.imageshack.us/img159/8863/statystykiq.png

tomeh

Full Member

Posty 222

 

[Link]

Ostatnio w panelu adamina serwera zobaczy?em ?e jedna z moich domen tam gdzie mam forum jest nie?le przegl?dana przez nie znane mi elementy. Ilo?? stron przegl?danych jest spora przez szczególnie jeden. Ni?ej poda?em link do zdj?cia z wyci?gu serwera. Tam na pierwszym miejscu jest Java (often spam bot) - który to mnie szczególnie zaniepokoi? - co to jest a je?li co? niedobrego jak go przyblokowa?. (mo?e to te? by? mod sitemap 1.2.2 do forum) jestem zupe?nym laikiem w sprawach php i for. Dzi?kuje za odpowied?.


http://img159.imageshack.us/img159/8863/statystykiq.png

[Link]

Oczywi?cie mo?na blokn?? IP podejrzanego, jednak warto zasi?gn?? info w google co to jest, poniewa? do?? ?atwo si? pomyli? i zlikfidowa? bota, który mo?e nam poprawi? pozycj? w wyszukiwarkach.

Nie sugeruj si? tym zbyt mocno, ale jednocze?nie postaraj si? dowiedzie? co nie co na temat danego bota. naj?atwiej to zrobi? z poziomu forum, poniewa? masz tam wbudowane narz?dzia do ?ledzenia..

Z modem Sitemap ma to tyle wspólnego jak nie przymierzaj?c np. Twoje forum z MS Office 2007.. czyli nic!

Blokowa? mo?na na wiele sposobów, jednak zawsze warto si? zastanowi?, czy nie wyrz?dzimy sobie tym szkody.. Niektóre zabawki sa jak najbardziej po??dane...

Pozdrawiam
roco

roco

Administrator

3wProducer

Imagination is more Important than Knowledge

Posty 679

 

[Link]

Oczywi?cie mo?na blokn?? IP podejrzanego, jednak warto zasi?gn?? info w google co to jest, poniewa? do?? ?atwo si? pomyli? i zlikfidowa? bota, który mo?e nam poprawi? pozycj? w wyszukiwarkach.

Nie sugeruj si? tym zbyt mocno, ale jednocze?nie postaraj si? dowiedzie? co nie co na temat danego bota. naj?atwiej to zrobi? z poziomu forum, poniewa? masz tam wbudowane narz?dzia do ?ledzenia..

Z modem Sitemap ma to tyle wspólnego jak nie przymierzaj?c np. Twoje forum z MS Office 2007.. czyli nic!

Blokowa? mo?na na wiele sposobów, jednak zawsze warto si? zastanowi?, czy nie wyrz?dzimy sobie tym szkody.. Niektóre zabawki sa jak najbardziej po??dane...

Pozdrawiam
roco

[Link]

Cze??. Chcia?bym zasi?gn?? waszej pomocy czy raczej opinii. Otó? interesuje mnie plik robots.txt a mianowicie co wy w sowich forach dodajecie do tego pliku w g?ównym folderze forum. Jak wygl?da wasz plik robots dotycz?cy tylko forum. Pewnie jest wiele katalogów takich jak packages i inne których paj?czki nie musz? lustrowa? ale nie wiem jakie to mog? by? katalogi. Tak aby forum si? indeksowa?o dalej ?adnie w tre?ci ale to co nie trzeba ju? nie chodzi?o w gr? czyli i aktjons itp. Je?li kto? mo?e mi pokaza? jak zbudowa? taki kompletny plik robots bym by? bardzo wdzi?czny. Dzi?ki z góry ju? na zapas.

Z wszystkich for SMF zebra?em taki szczepek ale pewnie nie jest on kompletny i za dobry dlatego ta pro?ba do was.

User-agent: *
Disallow: /

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /index.php?action=

tomeh

Full Member

Posty 222

 

[Link]

Cze??. Chcia?bym zasi?gn?? waszej pomocy czy raczej opinii. Otó? interesuje mnie plik robots.txt a mianowicie co wy w sowich forach dodajecie do tego pliku w g?ównym folderze forum. Jak wygl?da wasz plik robots dotycz?cy tylko forum. Pewnie jest wiele katalogów takich jak packages i inne których paj?czki nie musz? lustrowa? ale nie wiem jakie to mog? by? katalogi. Tak aby forum si? indeksowa?o dalej ?adnie w tre?ci ale to co nie trzeba ju? nie chodzi?o w gr? czyli i aktjons itp. Je?li kto? mo?e mi pokaza? jak zbudowa? taki kompletny plik robots bym by? bardzo wdzi?czny. Dzi?ki z góry ju? na zapas.

Z wszystkich for SMF zebra?em taki szczepek ale pewnie nie jest on kompletny i za dobry dlatego ta pro?ba do was.

User-agent: *
Disallow: /

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /index.php?action=

[Link]

Pisz raczej, ?e - potrzebujesz informacji, nie pisz, ?e Ci? "interesuje". Rozumiem, ?e potrzeba Ci tych informacji w celu praktycznym, a nie interesuje Ci? to i chcia?by? sobie tylko o tym pogada?.. zobacz to dwie ró?ne sprawy. Zrozumienie ró?nicy, pozwoli Ci osi?gn?? wi?cej odpowiedzi na swoje pytania na innych forach.. taki tips...

AD 1. - Plik robots.txt wrzucamy do g?ównego katalogu domeny. Przyk?adowo: masz forum w subkatalogu - twoja_domena.pl/forum, to plik robots.txt wrzucamu do - twoja_domena.pl.

AD 2. - Wtedy taki przyk?adowy plik robots.txt powinien wygl?da? m/w tak:

Code: [select]

User-agent: *
Allow: /forum/sitemap.php
Allow: /forum/urllist.php
Allow: /forum/archive.php
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=tpvchat
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=tpadmin
Disallow: /forum/action=calendar
Disallow: /forum/action=viewblog
Disallow: /forum/action=blog
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/attachments/
Disallow: /forum/black/
Disallow: /forum/cgi-bin/
Disallow: /forum/downloads/
Disallow: /forum/FCKeditor/
Disallow: /forum/gallery/
Disallow: /forum/images/
Disallow: /forum/js/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/tp-downloads/
Disallow: /forum/tp-images/
Disallow: /forum/wysiwyg/

Tu akurat s? zabawki od TinyPortalu, ale ?atwo si? zorietowa?, a nadmiar nie przeszkadza. A jak kto? ma TP to skorzysta.

Tych akcji jest troch? wi?cej do zabronienia, trzeba by przejrze? pliki z katalogu sources...
generalnie chodzi o to, ?eby boty nie wsz?dzie si? szw?da?y, jednak to jest tylko info dla normalnych i potrzebnych botów, s? i inne, które lej? permamentnie na ten plik i spamuj? lub zbieraj? ró?ne info.. próbuj? przechwyci? sesj? itp..

Oczywi?cie, kiedy masz swoje forum w domenie g?ównej nie w subdomenie lub subkatalogu, to tam wrzucasz plik robots.txt tylko modyfikujesz powy?szy wpis, ?eby nie wskazywa?o na "forum/" tylko direct na katalogi i akcje..

Mam nadziej?, ?e te informacje b?d? pomocne.

Pozdrawiam
roco

roco

Administrator

3wProducer

Imagination is more Important than Knowledge

Posty 679

 

[Link]

Pisz raczej, ?e - potrzebujesz informacji, nie pisz, ?e Ci? "interesuje". Rozumiem, ?e potrzeba Ci tych informacji w celu praktycznym, a nie interesuje Ci? to i chcia?by? sobie tylko o tym pogada?.. zobacz to dwie ró?ne sprawy. Zrozumienie ró?nicy, pozwoli Ci osi?gn?? wi?cej odpowiedzi na swoje pytania na innych forach.. taki tips...

AD 1. - Plik robots.txt wrzucamy do g?ównego katalogu domeny. Przyk?adowo: masz forum w subkatalogu - twoja_domena.pl/forum, to plik robots.txt wrzucamu do - twoja_domena.pl.

AD 2. - Wtedy taki przyk?adowy plik robots.txt powinien wygl?da? m/w tak:

Code: [select]

User-agent: *
Allow: /forum/sitemap.php
Allow: /forum/urllist.php
Allow: /forum/archive.php
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=tpvchat
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=tpadmin
Disallow: /forum/action=calendar
Disallow: /forum/action=viewblog
Disallow: /forum/action=blog
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/attachments/
Disallow: /forum/black/
Disallow: /forum/cgi-bin/
Disallow: /forum/downloads/
Disallow: /forum/FCKeditor/
Disallow: /forum/gallery/
Disallow: /forum/images/
Disallow: /forum/js/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/tp-downloads/
Disallow: /forum/tp-images/
Disallow: /forum/wysiwyg/

Tu akurat s? zabawki od TinyPortalu, ale ?atwo si? zorietowa?, a nadmiar nie przeszkadza. A jak kto? ma TP to skorzysta.

Tych akcji jest troch? wi?cej do zabronienia, trzeba by przejrze? pliki z katalogu sources...
generalnie chodzi o to, ?eby boty nie wsz?dzie si? szw?da?y, jednak to jest tylko info dla normalnych i potrzebnych botów, s? i inne, które lej? permamentnie na ten plik i spamuj? lub zbieraj? ró?ne info.. próbuj? przechwyci? sesj? itp..

Oczywi?cie, kiedy masz swoje forum w domenie g?ównej nie w subdomenie lub subkatalogu, to tam wrzucasz plik robots.txt tylko modyfikujesz powy?szy wpis, ?eby nie wskazywa?o na "forum/" tylko direct na katalogi i akcje..

Mam nadziej?, ?e te informacje b?d? pomocne.

Pozdrawiam
roco

[Link]

Czyli podany przez ciebie robots jest od TP i tak?e SMF razem. Sprubuje wy?uska? co dam i wstawi? tutaj do SMF (nie kompletny bo po?owy nie koja?? ale co si? da).

Edit: Usune?em te których nie ma w katalogach na forum oraz doda?em Smileys - je?li co? mo?na jeszcze poprawi? to prosz? edytowa? t? wiadomo??. Co do akcji to nie wiem które ?? od SMF a które TP. Acha napisa?e? Sources co? tam jest jeszcze ale tutaj jest ca?y ten katalog wy??czony wi?c dok?adniej i? chyba nie da pomin?? jego plików - bo wymienia? je pojedynczo to to samo co podac tutaj t? ?cie?k? do niego diswalow tak? jako? tak to rozumiem..

User-agent: *
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=calendar
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/images/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/avatars/
Disallow: /forum/Smileys/

tomeh

Full Member

Posty 222

 

[Link]

Czyli podany przez ciebie robots jest od TP i tak?e SMF razem. Sprubuje wy?uska? co dam i wstawi? tutaj do SMF (nie kompletny bo po?owy nie koja?? ale co si? da).

Edit: Usune?em te których nie ma w katalogach na forum oraz doda?em Smileys - je?li co? mo?na jeszcze poprawi? to prosz? edytowa? t? wiadomo??. Co do akcji to nie wiem które ?? od SMF a które TP. Acha napisa?e? Sources co? tam jest jeszcze ale tutaj jest ca?y ten katalog wy??czony wi?c dok?adniej i? chyba nie da pomin?? jego plików - bo wymienia? je pojedynczo to to samo co podac tutaj t? ?cie?k? do niego diswalow tak? jako? tak to rozumiem..

User-agent: *
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=calendar
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/images/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/avatars/
Disallow: /forum/Smileys/

[Link]

Ok, z TP zosta?o jeszcze to -> Disallow: /forum/action=tpmod

Ja z g?owy tego nie pamietam, po prostu wklei?em ma?y wycinek mojego pliku. To ?e s? wpisy od TP zupe?nie nie przeszkadza, zrozum zabraniasz dost?pu robotom np. do "action=tpmod" -> dalej robota nie interesuje czy masz tak? akcj?, czy katalog.., skoro jest zabronione..

Po za tym wszystko jest ok w Twoim robots.txt, pod warunkiem, ?e wrzucasz ten plik do g?ównej domeny, ale swoje forum masz NAPRAWD? w katalogu "forum/" bo je?li np. masz w katalogu nie forum tylko "smf" to konstrukcja powinna by? m/w taka:

...
..
Disallow: /smf/avatars/
Disallow: /smf/Smileys/
...
itd.

Natomiast, gdyby? mia? jednak w g?ównej domenie swoje forum a nie w jakim? subkatalogu np. "forum" lub "smf" itd, to konstrukcja powinna wyglada? m/w tak:

...
..
Disallow: avatars/
Disallow: Smileys/
...
itd.

?cie?ki s? bardzo istotne, musz? by? takie wpisy, jaki jest faktyczny stan.

Pozdrawiam
roco

roco

Administrator

3wProducer

Imagination is more Important than Knowledge

Posty 679

 

[Link]

Ok, z TP zosta?o jeszcze to -> Disallow: /forum/action=tpmod

Ja z g?owy tego nie pamietam, po prostu wklei?em ma?y wycinek mojego pliku. To ?e s? wpisy od TP zupe?nie nie przeszkadza, zrozum zabraniasz dost?pu robotom np. do "action=tpmod" -> dalej robota nie interesuje czy masz tak? akcj?, czy katalog.., skoro jest zabronione..

Po za tym wszystko jest ok w Twoim robots.txt, pod warunkiem, ?e wrzucasz ten plik do g?ównej domeny, ale swoje forum masz NAPRAWD? w katalogu "forum/" bo je?li np. masz w katalogu nie forum tylko "smf" to konstrukcja powinna by? m/w taka:

...
..
Disallow: /smf/avatars/
Disallow: /smf/Smileys/
...
itd.

Natomiast, gdyby? mia? jednak w g?ównej domenie swoje forum a nie w jakim? subkatalogu np. "forum" lub "smf" itd, to konstrukcja powinna wyglada? m/w tak:

...
..
Disallow: avatars/
Disallow: Smileys/
...
itd.

?cie?ki s? bardzo istotne, musz? by? takie wpisy, jaki jest faktyczny stan.

Pozdrawiam
roco

[Link]

Wiem jestem zielony ale nie a? tak. Logicznie umys? mój pracuje.

Dzi?ki za pomoc jeszcze raz.

tomeh

Full Member

Posty 222

 

[Link]

Wiem jestem zielony ale nie a? tak. Logicznie umys? mój pracuje.

Dzi?ki za pomoc jeszcze raz.

[Link]

Na zdrowie

Tomeh, nie w?tpi?, ?e masz logiczny umys?. Odpowiadaj?c ludziom na pytania i problemy, dok?adam wszelkich stara?, ?eby i inni mogli skorzysta?, i staram si?, ?eby moje odpowiedzi by?y jak najpe?niejsze, poniewa? nie wszyscy maj? logiczne umys?y i mo?e przychodzi? im to trudniej... Robi? to za ka?dym razem, wi?c nie traktuj tego personalnie.

Pozdrówka
roco

roco

Administrator

3wProducer

Imagination is more Important than Knowledge

Posty 679

 

[Link]

Na zdrowie

Tomeh, nie w?tpi?, ?e masz logiczny umys?. Odpowiadaj?c ludziom na pytania i problemy, dok?adam wszelkich stara?, ?eby i inni mogli skorzysta?, i staram si?, ?eby moje odpowiedzi by?y jak najpe?niejsze, poniewa? nie wszyscy maj? logiczne umys?y i mo?e przychodzi? im to trudniej... Robi? to za ka?dym razem, wi?c nie traktuj tego personalnie.

Pozdrówka
roco

[Przegl?danie strony z zewn?trz przez boty]

Code: [select]  -› [ Topic: Przegl?danie strony z zewn?trz przez boty ]

[Przegl?danie strony z zewn?trz przez boty]

Code: [select]  -› [ Topic: Przegl?danie strony z zewn?trz przez boty ]