Strony: [1]   Bottom Do dołu
   Drukuj   
ico Autor    
[EN] [ES] [PT] [IT] [DE] [FR] [NL] [TR] [SR] [RU]
     Topic: Przeglądanie strony z zewnątrz przez boty  [Przeczytany 6181 razy]
0 użytkowników i 1 Gość przegląda ten wątek.
Full Member
***
Offline
14.07.2023 20:33:45
Topic Starter
 Poland Mężczyzna
Poland
  WWW
DATA: [13.03.2009 18:02:47] Przeglądanie strony z zewnątrz przez boty
Link:  http://poligon.ricoroco.com/fora/smf/index.php?topic=233.msg477#msg477  
Ostatnio w panelu adamina serwera zobaczyłem że jedna z moich domen tam gdzie mam forum jest nieźle przeglądana przez nie znane mi elementy. Ilość stron przeglądanych jest spora przez szczególnie jeden. Niżej podałem link do zdjęcia z wyciągu serwera. Tam na pierwszym miejscu jest Java (often spam bot) - który to mnie szczególnie zaniepokoił - co to jest a jeśli coś niedobrego jak go przyblokować. (może to też być mod sitemap 1.2.2 do forum) jestem zupełnym laikiem w sprawach php i for. Dziękuje za odpowiedź.


http://img159.imageshack.us/img159/8863/statystykiq.png


IP IP Zapisane
Administrator
*****
Imagination is more Important than Knowledge
Offline
08.05.2017 21:24:16
 United States Mężczyzna
United States
  WWW
Link:  http://poligon.ricoroco.com/fora/smf/index.php?topic=233.msg479#msg479 Post #1 
Oczywiście można bloknąć IP podejrzanego, jednak warto zasięgnąć info w google co to jest, ponieważ dość łatwo się pomylić i zlikfidować bota, który może nam poprawić pozycję w wyszukiwarkach.

Nie sugeruj się tym zbyt mocno, ale jednocześnie postaraj się dowiedzieć co nie co na temat danego bota. najłatwiej to zrobić z poziomu forum, ponieważ masz tam wbudowane narzędzia do śledzenia..

Z modem Sitemap ma to tyle wspólnego jak nie przymierzając np. Twoje forum z MS Office 2007.. czyli nic!

Blokować można na wiele sposobów, jednak zawsze warto się zastanowić, czy nie wyrządzimy sobie tym szkody.. Niektóre zabawki sa jak najbardziej pożądane...

Pozdrawiam
roco



Attention! Testing modifications - Steam Profile

IP IP Zapisane
Full Member
***
Offline
14.07.2023 20:33:45
Topic Starter
 Poland Mężczyzna
Poland
  WWW
Link:  http://poligon.ricoroco.com/fora/smf/index.php?topic=233.msg500#msg500 Post #2 
Cześć. Chciałbym zasięgnąć waszej pomocy czy raczej opinii. Otóż interesuje mnie plik robots.txt a mianowicie co wy w sowich forach dodajecie do tego pliku w głównym folderze forum. Jak wygląda wasz plik robots dotyczący tylko forum. Pewnie jest wiele katalogów takich jak packages i inne których pajączki nie muszą lustrować ale nie wiem jakie to mogą być katalogi. Tak aby forum się indeksowało dalej ładnie w treści ale to co nie trzeba już nie chodziło w grę czyli i aktjons itp. Jeśli ktoś może mi pokazać jak zbudować taki kompletny plik robots bym był bardzo wdzięczny. Dzięki z góry już na zapas.

Z wszystkich for SMF zebrałem taki szczepek ale pewnie nie jest on kompletny i za dobry dlatego ta prośba do was.

User-agent: *
Disallow: /

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /index.php?action=


IP IP Zapisane
Administrator
*****
Imagination is more Important than Knowledge
Offline
08.05.2017 21:24:16
 United States Mężczyzna
United States
  WWW
Link:  http://poligon.ricoroco.com/fora/smf/index.php?topic=233.msg501#msg501 Post #3 
Pisz raczej, że - potrzebujesz informacji, nie pisz, że Cię "interesuje". Rozumiem, że potrzeba Ci tych informacji w celu praktycznym, a nie interesuje Cię to i chciałbyś sobie tylko o tym pogadać.. zobacz to dwie różne sprawy. Zrozumienie różnicy, pozwoli Ci osiągnąć więcej odpowiedzi na swoje pytania na innych forach.. taki tips...

AD 1. - Plik robots.txt wrzucamy do głównego katalogu domeny. Przykładowo: masz forum w subkatalogu - twoja_domena.pl/forum, to plik robots.txt wrzucamu do - twoja_domena.pl.

AD 2. - Wtedy taki przykładowy plik robots.txt powinien wyglądać m/w tak:

Code: [select]
User-agent: *
Allow: /forum/sitemap.php
Allow: /forum/urllist.php
Allow: /forum/archive.php
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=tpvchat
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=tpadmin
Disallow: /forum/action=calendar
Disallow: /forum/action=viewblog
Disallow: /forum/action=blog
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/attachments/
Disallow: /forum/black/
Disallow: /forum/cgi-bin/
Disallow: /forum/downloads/
Disallow: /forum/FCKeditor/
Disallow: /forum/gallery/
Disallow: /forum/images/
Disallow: /forum/js/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/tp-downloads/
Disallow: /forum/tp-images/
Disallow: /forum/wysiwyg/


Tu akurat są zabawki od TinyPortalu, ale łatwo się zorietować, a nadmiar nie przeszkadza. A jak ktoś ma TP to skorzysta.

Tych akcji jest trochę więcej do zabronienia, trzeba by przejrzeć pliki z katalogu sources...
generalnie chodzi o to, żeby boty nie wszędzie się szwędały, jednak to jest tylko info dla normalnych i potrzebnych botów, są i inne, które leją permamentnie na ten plik i spamują lub zbierają różne info.. próbują przechwycić sesję itp..

Oczywiście, kiedy masz swoje forum w domenie głównej nie w subdomenie lub subkatalogu, to tam wrzucasz plik robots.txt tylko modyfikujesz powyższy wpis, żeby nie wskazywało na "forum/" tylko direct na katalogi i akcje..

Mam nadzieję, że te informacje będą pomocne.

Pozdrawiam
roco



Attention! Testing modifications - Steam Profile

IP IP Zapisane
Full Member
***
Offline
14.07.2023 20:33:45
Topic Starter
 Poland Mężczyzna
Poland
  WWW
Link:  http://poligon.ricoroco.com/fora/smf/index.php?topic=233.msg502#msg502 Post #4 
Czyli podany przez ciebie robots jest od TP i także SMF razem. Sprubuje wyłuskać co dam i wstawię tutaj do SMF (nie kompletny bo połowy nie kojażę ale co się da).

Edit: Usunełem te których nie ma w katalogach na forum oraz dodałem Smileys - jeśli coś można jeszcze poprawić to proszę edytować tą wiadomość. Co do akcji to nie wiem które śą od SMF a które TP. Acha napisałeś Sources coś tam jest jeszcze ale tutaj jest cały ten katalog wyłączony więc dokładniej ię chyba nie da pominąć jego plików - bo wymieniać je pojedynczo to to samo co podac tutaj tą ścieżkę do niego diswalow tak? jakoś tak to rozumiem..

User-agent: *
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=calendar
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/images/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/avatars/
Disallow: /forum/Smileys/


IP IP Zapisane
Administrator
*****
Imagination is more Important than Knowledge
Offline
08.05.2017 21:24:16
 United States Mężczyzna
United States
  WWW
Link:  http://poligon.ricoroco.com/fora/smf/index.php?topic=233.msg504#msg504 Post #5 
Ok, z TP zostało jeszcze to -> Disallow: /forum/action=tpmod

Ja z głowy tego nie pamietam, po prostu wkleiłem mały wycinek mojego pliku. To że są wpisy od TP zupełnie nie przeszkadza, zrozum zabraniasz dostępu robotom np. do "action=tpmod" -> dalej robota nie interesuje czy masz taką akcję, czy katalog.., skoro jest zabronione..

Po za tym wszystko jest ok w Twoim robots.txt, pod warunkiem, że wrzucasz ten plik do głównej domeny, ale swoje forum masz NAPRAWDĘ w katalogu "forum/" bo jeśli np. masz w katalogu nie forum tylko "smf" to konstrukcja powinna być m/w taka:

...
..
Disallow: /smf/avatars/
Disallow: /smf/Smileys/
...
itd.

Natomiast, gdybyś miał jednak w głównej domenie swoje forum a nie w jakimś subkatalogu np. "forum" lub "smf" itd, to konstrukcja powinna wygladać m/w tak:

...
..
Disallow: avatars/
Disallow: Smileys/
...
itd.

Ścieżki są bardzo istotne, muszą być takie wpisy, jaki jest faktyczny stan.

Pozdrawiam
roco



Attention! Testing modifications - Steam Profile

IP IP Zapisane
Full Member
***
Offline
14.07.2023 20:33:45
Topic Starter
 Poland Mężczyzna
Poland
  WWW
Link:  http://poligon.ricoroco.com/fora/smf/index.php?topic=233.msg506#msg506 Post #6 
Wiem jestem zielony ale nie aż tak. Logicznie umysł mój pracuje.

Dzięki za pomoc jeszcze raz.


IP IP Zapisane
Administrator
*****
Imagination is more Important than Knowledge
Offline
08.05.2017 21:24:16
 United States Mężczyzna
United States
  WWW
Link:  http://poligon.ricoroco.com/fora/smf/index.php?topic=233.msg507#msg507 Post #7 
Na zdrowie

Tomeh, nie wątpię, że masz logiczny umysł. Odpowiadając ludziom na pytania i problemy, dokładam wszelkich starań, żeby i inni mogli skorzystać, i staram się, żeby moje odpowiedzi były jak najpełniejsze, ponieważ nie wszyscy mają logiczne umysły i może przychodzić im to trudniej... Robię to za każdym razem, więc nie traktuj tego personalnie.

Pozdrówka
roco



Attention! Testing modifications - Steam Profile

IP IP Zapisane
Strony: [1]   TOP^Do góry
   Drukuj   
On-Line: 6 Gości, 0 Użytkowników
 
Skocz do:  

Podobne Tematy
  Temat Zaczęty przez Odpowiedzi Wyświetleń Ostatnia wiadomość
veryhot_post RSS goglebot spider i inne rozwiązanie przez plik « 1 2 » tomeh 16 9479 Ostatnia wiadomość 06.04.2009 21:25:18
Autor tomeh
normal_post RSS Linki przydatne ka każdemu właścicielowi strony www
BoardBoard: Webmaster
tomeh 2 2601 Ostatnia wiadomość 31.12.2009 05:30:19
Autor roco
normal_post RSS Cofnij się w czasie - jak kiedyś wyglądały strony internetowe ? Draco 0 12976 Ostatnia wiadomość 22.01.2010 23:33:58
Autor Draco
normal_post RSS Pokaż wątki napisane przez ... tomeh 1 2021 Ostatnia wiadomość 18.02.2010 03:32:30
Autor roco
* Share this topic...
In a forum
[BBCode]
[url=http://poligon.ricoroco.com/fora/smf/index.php?topic=233.0]Przeglądanie strony z zewnątrz przez boty[/url]
In a site/blog
[xHTML]
<a href="http://poligon.ricoroco.com/fora/smf/index.php?topic=233.0" target="_blank">Przeglądanie strony z zewnątrz przez boty</a>
Geo Visitors Map