Tytuł: Przeglądanie strony z zewnątrz przez boty Wiadomość wysłana przez: tomeh 13.03.2009 18:02:47 Ostatnio w panelu adamina serwera zobaczyłem że jedna z moich domen tam gdzie mam forum jest nieźle przeglądana przez nie znane mi elementy. Ilość stron przeglądanych jest spora przez szczególnie jeden. Niżej podałem link do zdjęcia z wyciągu serwera. Tam na pierwszym miejscu jest Java (often spam bot) - który to mnie szczególnie zaniepokoił - co to jest a jeśli coś niedobrego jak go przyblokować. (może to też być mod sitemap 1.2.2 do forum) jestem zupełnym laikiem w sprawach php i for. Dziękuje za odpowiedź.
http://img159.imageshack.us/img159/8863/statystykiq.png (http://img159.imageshack.us/img159/8863/statystykiq.png) Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty Wiadomość wysłana przez: roco 14.03.2009 02:23:14 Oczywiście można bloknąć IP podejrzanego, jednak warto zasięgnąć info w google co to jest, ponieważ dość łatwo się pomylić i zlikfidować bota, który może nam poprawić pozycję w wyszukiwarkach.
Nie sugeruj się tym zbyt mocno, ale jednocześnie postaraj się dowiedzieć co nie co na temat danego bota. najłatwiej to zrobić z poziomu forum, ponieważ masz tam wbudowane narzędzia do śledzenia.. Z modem Sitemap ma to tyle wspólnego jak nie przymierzając np. Twoje forum z MS Office 2007.. czyli nic! Blokować można na wiele sposobów, jednak zawsze warto się zastanowić, czy nie wyrządzimy sobie tym szkody.. Niektóre zabawki sa jak najbardziej pożądane... Pozdrawiam :) roco Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty Wiadomość wysłana przez: tomeh 18.03.2009 22:21:25 Cześć. Chciałbym zasięgnąć waszej pomocy czy raczej opinii. Otóż interesuje mnie plik robots.txt a mianowicie co wy w sowich forach dodajecie do tego pliku w głównym folderze forum. Jak wygląda wasz plik robots dotyczący tylko forum. Pewnie jest wiele katalogów takich jak packages i inne których pajączki nie muszą lustrować ale nie wiem jakie to mogą być katalogi. Tak aby forum się indeksowało dalej ładnie w treści ale to co nie trzeba już nie chodziło w grę czyli i aktjons itp. Jeśli ktoś może mi pokazać jak zbudować taki kompletny plik robots bym był bardzo wdzięczny. Dzięki z góry już na zapas.
Z wszystkich for SMF zebrałem taki szczepek ale pewnie nie jest on kompletny i za dobry dlatego ta prośba do was. User-agent: * Disallow: / User-agent: * Disallow: /attachments/ Disallow: /avatars/ Disallow: /Packages/ Disallow: /Smileys/ Disallow: /Sources/ Disallow: /Themes/ Disallow: /index.php?action= Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty Wiadomość wysłana przez: roco 19.03.2009 06:36:58 Pisz raczej, że - potrzebujesz informacji, nie pisz, że Cię "interesuje". Rozumiem, że potrzeba Ci tych informacji w celu praktycznym, a nie interesuje Cię to i chciałbyś sobie tylko o tym pogadać.. zobacz to dwie różne sprawy. Zrozumienie różnicy, pozwoli Ci osiągnąć więcej odpowiedzi na swoje pytania na innych forach.. taki tips...
AD 1. - Plik robots.txt wrzucamy do głównego katalogu domeny. Przykładowo: masz forum w subkatalogu - twoja_domena.pl/forum, to plik robots.txt wrzucamu do - twoja_domena.pl. AD 2. - Wtedy taki przykładowy plik robots.txt powinien wyglądać m/w tak: Code: [select] User-agent: * Allow: /forum/sitemap.php Allow: /forum/urllist.php Allow: /forum/archive.php Allow: /forum/action=sitemap;xml Allow: /forum/action=sitemap Allow: /forum/action=recent Disallow: /forum/sa=showPosts Disallow: /forum/action=markasread Disallow: /forum/action=pm Disallow: /forum/action=profile Disallow: /forum/action=admin Disallow: /forum/action=mlist Disallow: /forum/action=tpvchat Disallow: /forum/action=logout Disallow: /forum/action=tpmod Disallow: /forum/action=tpadmin Disallow: /forum/action=calendar Disallow: /forum/action=viewblog Disallow: /forum/action=blog Disallow: /forum/action=printpage Disallow: /forum/action=help Disallow: /forum/action=login Disallow: /forum/action=register Disallow: /forum/action=search Disallow: /forum/action=searh2 Disallow: /forum/action=verificationcode Disallow: /forum/action=who Disallow: /forum/action=post Disallow: /forum/action=stats Disallow: /forum/wap2 Disallow: /forum/imode Disallow: /forum/function.main Disallow: /forum/function.require Disallow: /forum/action=unread Disallow: /forum/attachments/ Disallow: /forum/black/ Disallow: /forum/cgi-bin/ Disallow: /forum/downloads/ Disallow: /forum/FCKeditor/ Disallow: /forum/gallery/ Disallow: /forum/images/ Disallow: /forum/js/ Disallow: /forum/Packages/ Disallow: /forum/Sources/ Disallow: /forum/tp-downloads/ Disallow: /forum/tp-images/ Disallow: /forum/wysiwyg/ Tu akurat są zabawki od TinyPortalu, ale łatwo się zorietować, a nadmiar nie przeszkadza. A jak ktoś ma TP to skorzysta. Tych akcji jest trochę więcej do zabronienia, trzeba by przejrzeć pliki z katalogu sources... generalnie chodzi o to, żeby boty nie wszędzie się szwędały, jednak to jest tylko info dla normalnych i potrzebnych botów, są i inne, które leją permamentnie na ten plik i spamują lub zbierają różne info.. próbują przechwycić sesję itp.. Oczywiście, kiedy masz swoje forum w domenie głównej nie w subdomenie lub subkatalogu, to tam wrzucasz plik robots.txt tylko modyfikujesz powyższy wpis, żeby nie wskazywało na "forum/" tylko direct na katalogi i akcje.. Mam nadzieję, że te informacje będą pomocne. Pozdrawiam :) roco Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty Wiadomość wysłana przez: tomeh 19.03.2009 12:02:43 Czyli podany przez ciebie robots jest od TP i także SMF razem. Sprubuje wyłuskać co dam i wstawię tutaj do SMF (nie kompletny bo połowy nie kojażę ale co się da).
Edit: Usunełem te których nie ma w katalogach na forum oraz dodałem Smileys - jeśli coś można jeszcze poprawić to proszę edytować tą wiadomość. Co do akcji to nie wiem które śą od SMF a które TP. Acha napisałeś Sources coś tam jest jeszcze ale tutaj jest cały ten katalog wyłączony więc dokładniej ię chyba nie da pominąć jego plików - bo wymieniać je pojedynczo to to samo co podac tutaj tą ścieżkę do niego diswalow tak? jakoś tak to rozumiem.. User-agent: * Allow: /forum/action=sitemap;xml Allow: /forum/action=sitemap Allow: /forum/action=recent Disallow: /forum/sa=showPosts Disallow: /forum/action=markasread Disallow: /forum/action=pm Disallow: /forum/action=profile Disallow: /forum/action=admin Disallow: /forum/action=mlist Disallow: /forum/action=logout Disallow: /forum/action=tpmod Disallow: /forum/action=calendar Disallow: /forum/action=printpage Disallow: /forum/action=help Disallow: /forum/action=login Disallow: /forum/action=register Disallow: /forum/action=search Disallow: /forum/action=searh2 Disallow: /forum/action=verificationcode Disallow: /forum/action=who Disallow: /forum/action=post Disallow: /forum/action=stats Disallow: /forum/wap2 Disallow: /forum/imode Disallow: /forum/function.main Disallow: /forum/function.require Disallow: /forum/action=unread Disallow: /forum/images/ Disallow: /forum/Packages/ Disallow: /forum/Sources/ Disallow: /forum/avatars/ Disallow: /forum/Smileys/ Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty Wiadomość wysłana przez: roco 19.03.2009 16:16:02 Ok, z TP zostało jeszcze to -> Disallow: /forum/action=tpmod
Ja z głowy tego nie pamietam, po prostu wkleiłem mały wycinek mojego pliku. To że są wpisy od TP zupełnie nie przeszkadza, zrozum zabraniasz dostępu robotom np. do "action=tpmod" -> dalej robota nie interesuje czy masz taką akcję, czy katalog.., skoro jest zabronione.. Po za tym wszystko jest ok w Twoim robots.txt, pod warunkiem, że wrzucasz ten plik do głównej domeny, ale swoje forum masz NAPRAWDĘ w katalogu "forum/" bo jeśli np. masz w katalogu nie forum tylko "smf" to konstrukcja powinna być m/w taka: ... .. Disallow: /smf/avatars/ Disallow: /smf/Smileys/ ... itd. Natomiast, gdybyś miał jednak w głównej domenie swoje forum a nie w jakimś subkatalogu np. "forum" lub "smf" itd, to konstrukcja powinna wygladać m/w tak: ... .. Disallow: avatars/ Disallow: Smileys/ ... itd. Ścieżki są bardzo istotne, muszą być takie wpisy, jaki jest faktyczny stan. Pozdrawiam :) roco Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty Wiadomość wysłana przez: tomeh 19.03.2009 16:57:52 Wiem jestem zielony ale nie aż tak. Logicznie umysł mój pracuje.
Dzięki za pomoc jeszcze raz. Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty Wiadomość wysłana przez: roco 19.03.2009 17:25:21 Na zdrowie :)
Tomeh, nie wątpię, że masz logiczny umysł. Odpowiadając ludziom na pytania i problemy, dokładam wszelkich starań, żeby i inni mogli skorzystać, i staram się, żeby moje odpowiedzi były jak najpełniejsze, ponieważ nie wszyscy mają logiczne umysły i może przychodzić im to trudniej... Robię to za każdym razem, więc nie traktuj tego personalnie. Pozdrówka :) roco |