Przeglądanie strony z zewnątrz przez boty

[Link]

Ostatnio w panelu adamina serwera zobaczyłem że jedna z moich domen tam gdzie mam forum jest nieźle przeglądana przez nie znane mi elementy. Ilość stron przeglądanych jest spora przez szczególnie jeden. Niżej podałem link do zdjęcia z wyciągu serwera. Tam na pierwszym miejscu jest Java (often spam bot) - który to mnie szczególnie zaniepokoił - co to jest a jeśli coś niedobrego jak go przyblokować. (może to też być mod sitemap 1.2.2 do forum) jestem zupełnym laikiem w sprawach php i for. Dziękuje za odpowiedź.


http://img159.imageshack.us/img159/8863/statystykiq.png

tomeh

Full Member

Posty 222

 

[Link]

Ostatnio w panelu adamina serwera zobaczyłem że jedna z moich domen tam gdzie mam forum jest nieźle przeglądana przez nie znane mi elementy. Ilość stron przeglądanych jest spora przez szczególnie jeden. Niżej podałem link do zdjęcia z wyciągu serwera. Tam na pierwszym miejscu jest Java (often spam bot) - który to mnie szczególnie zaniepokoił - co to jest a jeśli coś niedobrego jak go przyblokować. (może to też być mod sitemap 1.2.2 do forum) jestem zupełnym laikiem w sprawach php i for. Dziękuje za odpowiedź.


http://img159.imageshack.us/img159/8863/statystykiq.png

[Link]

Oczywiście można bloknąć IP podejrzanego, jednak warto zasięgnąć info w google co to jest, ponieważ dość łatwo się pomylić i zlikfidować bota, który może nam poprawić pozycję w wyszukiwarkach.

Nie sugeruj się tym zbyt mocno, ale jednocześnie postaraj się dowiedzieć co nie co na temat danego bota. najłatwiej to zrobić z poziomu forum, ponieważ masz tam wbudowane narzędzia do śledzenia..

Z modem Sitemap ma to tyle wspólnego jak nie przymierzając np. Twoje forum z MS Office 2007.. czyli nic!

Blokować można na wiele sposobów, jednak zawsze warto się zastanowić, czy nie wyrządzimy sobie tym szkody.. Niektóre zabawki sa jak najbardziej pożądane...

Pozdrawiam
roco

roco

Administrator

3wProducer

Imagination is more Important than Knowledge

Posty 679

 

[Link]

Oczywiście można bloknąć IP podejrzanego, jednak warto zasięgnąć info w google co to jest, ponieważ dość łatwo się pomylić i zlikfidować bota, który może nam poprawić pozycję w wyszukiwarkach.

Nie sugeruj się tym zbyt mocno, ale jednocześnie postaraj się dowiedzieć co nie co na temat danego bota. najłatwiej to zrobić z poziomu forum, ponieważ masz tam wbudowane narzędzia do śledzenia..

Z modem Sitemap ma to tyle wspólnego jak nie przymierzając np. Twoje forum z MS Office 2007.. czyli nic!

Blokować można na wiele sposobów, jednak zawsze warto się zastanowić, czy nie wyrządzimy sobie tym szkody.. Niektóre zabawki sa jak najbardziej pożądane...

Pozdrawiam
roco

[Link]

Cześć. Chciałbym zasięgnąć waszej pomocy czy raczej opinii. Otóż interesuje mnie plik robots.txt a mianowicie co wy w sowich forach dodajecie do tego pliku w głównym folderze forum. Jak wygląda wasz plik robots dotyczący tylko forum. Pewnie jest wiele katalogów takich jak packages i inne których pajączki nie muszą lustrować ale nie wiem jakie to mogą być katalogi. Tak aby forum się indeksowało dalej ładnie w treści ale to co nie trzeba już nie chodziło w grę czyli i aktjons itp. Jeśli ktoś może mi pokazać jak zbudować taki kompletny plik robots bym był bardzo wdzięczny. Dzięki z góry już na zapas.

Z wszystkich for SMF zebrałem taki szczepek ale pewnie nie jest on kompletny i za dobry dlatego ta prośba do was.

User-agent: *
Disallow: /

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /index.php?action=

tomeh

Full Member

Posty 222

 

[Link]

Cześć. Chciałbym zasięgnąć waszej pomocy czy raczej opinii. Otóż interesuje mnie plik robots.txt a mianowicie co wy w sowich forach dodajecie do tego pliku w głównym folderze forum. Jak wygląda wasz plik robots dotyczący tylko forum. Pewnie jest wiele katalogów takich jak packages i inne których pajączki nie muszą lustrować ale nie wiem jakie to mogą być katalogi. Tak aby forum się indeksowało dalej ładnie w treści ale to co nie trzeba już nie chodziło w grę czyli i aktjons itp. Jeśli ktoś może mi pokazać jak zbudować taki kompletny plik robots bym był bardzo wdzięczny. Dzięki z góry już na zapas.

Z wszystkich for SMF zebrałem taki szczepek ale pewnie nie jest on kompletny i za dobry dlatego ta prośba do was.

User-agent: *
Disallow: /

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /index.php?action=

[Link]

Pisz raczej, że - potrzebujesz informacji, nie pisz, że Cię "interesuje". Rozumiem, że potrzeba Ci tych informacji w celu praktycznym, a nie interesuje Cię to i chciałbyś sobie tylko o tym pogadać.. zobacz to dwie różne sprawy. Zrozumienie różnicy, pozwoli Ci osiągnąć więcej odpowiedzi na swoje pytania na innych forach.. taki tips...

AD 1. - Plik robots.txt wrzucamy do głównego katalogu domeny. Przykładowo: masz forum w subkatalogu - twoja_domena.pl/forum, to plik robots.txt wrzucamu do - twoja_domena.pl.

AD 2. - Wtedy taki przykładowy plik robots.txt powinien wyglądać m/w tak:

Code: [select]

User-agent: *
Allow: /forum/sitemap.php
Allow: /forum/urllist.php
Allow: /forum/archive.php
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=tpvchat
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=tpadmin
Disallow: /forum/action=calendar
Disallow: /forum/action=viewblog
Disallow: /forum/action=blog
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/attachments/
Disallow: /forum/black/
Disallow: /forum/cgi-bin/
Disallow: /forum/downloads/
Disallow: /forum/FCKeditor/
Disallow: /forum/gallery/
Disallow: /forum/images/
Disallow: /forum/js/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/tp-downloads/
Disallow: /forum/tp-images/
Disallow: /forum/wysiwyg/

Tu akurat są zabawki od TinyPortalu, ale łatwo się zorietować, a nadmiar nie przeszkadza. A jak ktoś ma TP to skorzysta.

Tych akcji jest trochę więcej do zabronienia, trzeba by przejrzeć pliki z katalogu sources...
generalnie chodzi o to, żeby boty nie wszędzie się szwędały, jednak to jest tylko info dla normalnych i potrzebnych botów, są i inne, które leją permamentnie na ten plik i spamują lub zbierają różne info.. próbują przechwycić sesję itp..

Oczywiście, kiedy masz swoje forum w domenie głównej nie w subdomenie lub subkatalogu, to tam wrzucasz plik robots.txt tylko modyfikujesz powyższy wpis, żeby nie wskazywało na "forum/" tylko direct na katalogi i akcje..

Mam nadzieję, że te informacje będą pomocne.

Pozdrawiam
roco

roco

Administrator

3wProducer

Imagination is more Important than Knowledge

Posty 679

 

[Link]

Pisz raczej, że - potrzebujesz informacji, nie pisz, że Cię "interesuje". Rozumiem, że potrzeba Ci tych informacji w celu praktycznym, a nie interesuje Cię to i chciałbyś sobie tylko o tym pogadać.. zobacz to dwie różne sprawy. Zrozumienie różnicy, pozwoli Ci osiągnąć więcej odpowiedzi na swoje pytania na innych forach.. taki tips...

AD 1. - Plik robots.txt wrzucamy do głównego katalogu domeny. Przykładowo: masz forum w subkatalogu - twoja_domena.pl/forum, to plik robots.txt wrzucamu do - twoja_domena.pl.

AD 2. - Wtedy taki przykładowy plik robots.txt powinien wyglądać m/w tak:

Code: [select]

User-agent: *
Allow: /forum/sitemap.php
Allow: /forum/urllist.php
Allow: /forum/archive.php
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=tpvchat
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=tpadmin
Disallow: /forum/action=calendar
Disallow: /forum/action=viewblog
Disallow: /forum/action=blog
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/attachments/
Disallow: /forum/black/
Disallow: /forum/cgi-bin/
Disallow: /forum/downloads/
Disallow: /forum/FCKeditor/
Disallow: /forum/gallery/
Disallow: /forum/images/
Disallow: /forum/js/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/tp-downloads/
Disallow: /forum/tp-images/
Disallow: /forum/wysiwyg/

Tu akurat są zabawki od TinyPortalu, ale łatwo się zorietować, a nadmiar nie przeszkadza. A jak ktoś ma TP to skorzysta.

Tych akcji jest trochę więcej do zabronienia, trzeba by przejrzeć pliki z katalogu sources...
generalnie chodzi o to, żeby boty nie wszędzie się szwędały, jednak to jest tylko info dla normalnych i potrzebnych botów, są i inne, które leją permamentnie na ten plik i spamują lub zbierają różne info.. próbują przechwycić sesję itp..

Oczywiście, kiedy masz swoje forum w domenie głównej nie w subdomenie lub subkatalogu, to tam wrzucasz plik robots.txt tylko modyfikujesz powyższy wpis, żeby nie wskazywało na "forum/" tylko direct na katalogi i akcje..

Mam nadzieję, że te informacje będą pomocne.

Pozdrawiam
roco

[Link]

Czyli podany przez ciebie robots jest od TP i także SMF razem. Sprubuje wyłuskać co dam i wstawię tutaj do SMF (nie kompletny bo połowy nie kojażę ale co się da).

Edit: Usunełem te których nie ma w katalogach na forum oraz dodałem Smileys - jeśli coś można jeszcze poprawić to proszę edytować tą wiadomość. Co do akcji to nie wiem które śą od SMF a które TP. Acha napisałeś Sources coś tam jest jeszcze ale tutaj jest cały ten katalog wyłączony więc dokładniej ię chyba nie da pominąć jego plików - bo wymieniać je pojedynczo to to samo co podac tutaj tą ścieżkę do niego diswalow tak? jakoś tak to rozumiem..

User-agent: *
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=calendar
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/images/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/avatars/
Disallow: /forum/Smileys/

tomeh

Full Member

Posty 222

 

[Link]

Czyli podany przez ciebie robots jest od TP i także SMF razem. Sprubuje wyłuskać co dam i wstawię tutaj do SMF (nie kompletny bo połowy nie kojażę ale co się da).

Edit: Usunełem te których nie ma w katalogach na forum oraz dodałem Smileys - jeśli coś można jeszcze poprawić to proszę edytować tą wiadomość. Co do akcji to nie wiem które śą od SMF a które TP. Acha napisałeś Sources coś tam jest jeszcze ale tutaj jest cały ten katalog wyłączony więc dokładniej ię chyba nie da pominąć jego plików - bo wymieniać je pojedynczo to to samo co podac tutaj tą ścieżkę do niego diswalow tak? jakoś tak to rozumiem..

User-agent: *
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=calendar
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/images/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/avatars/
Disallow: /forum/Smileys/

[Link]

Ok, z TP zostało jeszcze to -> Disallow: /forum/action=tpmod

Ja z głowy tego nie pamietam, po prostu wkleiłem mały wycinek mojego pliku. To że są wpisy od TP zupełnie nie przeszkadza, zrozum zabraniasz dostępu robotom np. do "action=tpmod" -> dalej robota nie interesuje czy masz taką akcję, czy katalog.., skoro jest zabronione..

Po za tym wszystko jest ok w Twoim robots.txt, pod warunkiem, że wrzucasz ten plik do głównej domeny, ale swoje forum masz NAPRAWDĘ w katalogu "forum/" bo jeśli np. masz w katalogu nie forum tylko "smf" to konstrukcja powinna być m/w taka:

...
..
Disallow: /smf/avatars/
Disallow: /smf/Smileys/
...
itd.

Natomiast, gdybyś miał jednak w głównej domenie swoje forum a nie w jakimś subkatalogu np. "forum" lub "smf" itd, to konstrukcja powinna wygladać m/w tak:

...
..
Disallow: avatars/
Disallow: Smileys/
...
itd.

Ścieżki są bardzo istotne, muszą być takie wpisy, jaki jest faktyczny stan.

Pozdrawiam
roco

roco

Administrator

3wProducer

Imagination is more Important than Knowledge

Posty 679

 

[Link]

Ok, z TP zostało jeszcze to -> Disallow: /forum/action=tpmod

Ja z głowy tego nie pamietam, po prostu wkleiłem mały wycinek mojego pliku. To że są wpisy od TP zupełnie nie przeszkadza, zrozum zabraniasz dostępu robotom np. do "action=tpmod" -> dalej robota nie interesuje czy masz taką akcję, czy katalog.., skoro jest zabronione..

Po za tym wszystko jest ok w Twoim robots.txt, pod warunkiem, że wrzucasz ten plik do głównej domeny, ale swoje forum masz NAPRAWDĘ w katalogu "forum/" bo jeśli np. masz w katalogu nie forum tylko "smf" to konstrukcja powinna być m/w taka:

...
..
Disallow: /smf/avatars/
Disallow: /smf/Smileys/
...
itd.

Natomiast, gdybyś miał jednak w głównej domenie swoje forum a nie w jakimś subkatalogu np. "forum" lub "smf" itd, to konstrukcja powinna wygladać m/w tak:

...
..
Disallow: avatars/
Disallow: Smileys/
...
itd.

Ścieżki są bardzo istotne, muszą być takie wpisy, jaki jest faktyczny stan.

Pozdrawiam
roco

[Link]

Wiem jestem zielony ale nie aż tak. Logicznie umysł mój pracuje.

Dzięki za pomoc jeszcze raz.

tomeh

Full Member

Posty 222

 

[Link]

Wiem jestem zielony ale nie aż tak. Logicznie umysł mój pracuje.

Dzięki za pomoc jeszcze raz.

[Link]

Na zdrowie

Tomeh, nie wątpię, że masz logiczny umysł. Odpowiadając ludziom na pytania i problemy, dokładam wszelkich starań, żeby i inni mogli skorzystać, i staram się, żeby moje odpowiedzi były jak najpełniejsze, ponieważ nie wszyscy mają logiczne umysły i może przychodzić im to trudniej... Robię to za każdym razem, więc nie traktuj tego personalnie.

Pozdrówka
roco

roco

Administrator

3wProducer

Imagination is more Important than Knowledge

Posty 679

 

[Link]

Na zdrowie

Tomeh, nie wątpię, że masz logiczny umysł. Odpowiadając ludziom na pytania i problemy, dokładam wszelkich starań, żeby i inni mogli skorzystać, i staram się, żeby moje odpowiedzi były jak najpełniejsze, ponieważ nie wszyscy mają logiczne umysły i może przychodzić im to trudniej... Robię to za każdym razem, więc nie traktuj tego personalnie.

Pozdrówka
roco

[Przeglądanie strony z zewnątrz przez boty]

Code: [select]  -› [ Topic: Przeglądanie strony z zewnątrz przez boty ]

[Przeglądanie strony z zewnątrz przez boty]

Code: [select]  -› [ Topic: Przeglądanie strony z zewnątrz przez boty ]