SMF HELP!

SMF Help! - For Users SMF/TP => SEO - SMF/TP - Pozycjonowanie, Tools, Optymalizacja => Wątek zaczęty przez: tomeh 13.03.2009 18:02:47



Tytuł: Przeglądanie strony z zewnątrz przez boty
Wiadomość wysłana przez: tomeh 13.03.2009 18:02:47
Ostatnio w panelu adamina serwera zobaczyłem że jedna z moich domen tam gdzie mam forum jest nieźle przeglądana przez nie znane mi elementy. Ilość stron przeglądanych jest spora przez szczególnie jeden. Niżej podałem link do zdjęcia z wyciągu serwera. Tam na pierwszym miejscu jest Java (often spam bot) - który to mnie szczególnie zaniepokoił - co to jest a jeśli coś niedobrego jak go przyblokować. (może to też być mod sitemap 1.2.2 do forum) jestem zupełnym laikiem w sprawach php i for. Dziękuje za odpowiedź.


http://img159.imageshack.us/img159/8863/statystykiq.png (http://img159.imageshack.us/img159/8863/statystykiq.png)


Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty
Wiadomość wysłana przez: roco 14.03.2009 02:23:14
Oczywiście można bloknąć IP podejrzanego, jednak warto zasięgnąć info w google co to jest, ponieważ dość łatwo się pomylić i zlikfidować bota, który może nam poprawić pozycję w wyszukiwarkach.

Nie sugeruj się tym zbyt mocno, ale jednocześnie postaraj się dowiedzieć co nie co na temat danego bota. najłatwiej to zrobić z poziomu forum, ponieważ masz tam wbudowane narzędzia do śledzenia..

Z modem Sitemap ma to tyle wspólnego jak nie przymierzając np. Twoje forum z MS Office 2007.. czyli nic!

Blokować można na wiele sposobów, jednak zawsze warto się zastanowić, czy nie wyrządzimy sobie tym szkody.. Niektóre zabawki sa jak najbardziej pożądane...

Pozdrawiam :)
roco


Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty
Wiadomość wysłana przez: tomeh 18.03.2009 22:21:25
Cześć. Chciałbym zasięgnąć waszej pomocy czy raczej opinii. Otóż interesuje mnie plik robots.txt a mianowicie co wy w sowich forach dodajecie do tego pliku w głównym folderze forum. Jak wygląda wasz plik robots dotyczący tylko forum. Pewnie jest wiele katalogów takich jak packages i inne których pajączki nie muszą lustrować ale nie wiem jakie to mogą być katalogi. Tak aby forum się indeksowało dalej ładnie w treści ale to co nie trzeba już nie chodziło w grę czyli i aktjons itp. Jeśli ktoś może mi pokazać jak zbudować taki kompletny plik robots bym był bardzo wdzięczny. Dzięki z góry już na zapas.

Z wszystkich for SMF zebrałem taki szczepek ale pewnie nie jest on kompletny i za dobry dlatego ta prośba do was.

User-agent: *
Disallow: /

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /index.php?action=


Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty
Wiadomość wysłana przez: roco 19.03.2009 06:36:58
Pisz raczej, że - potrzebujesz informacji, nie pisz, że Cię "interesuje". Rozumiem, że potrzeba Ci tych informacji w celu praktycznym, a nie interesuje Cię to i chciałbyś sobie tylko o tym pogadać.. zobacz to dwie różne sprawy. Zrozumienie różnicy, pozwoli Ci osiągnąć więcej odpowiedzi na swoje pytania na innych forach.. taki tips...

AD 1. - Plik robots.txt wrzucamy do głównego katalogu domeny. Przykładowo: masz forum w subkatalogu - twoja_domena.pl/forum, to plik robots.txt wrzucamu do - twoja_domena.pl.

AD 2. - Wtedy taki przykładowy plik robots.txt powinien wyglądać m/w tak:

Code: [select]
User-agent: *
Allow: /forum/sitemap.php
Allow: /forum/urllist.php
Allow: /forum/archive.php
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=tpvchat
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=tpadmin
Disallow: /forum/action=calendar
Disallow: /forum/action=viewblog
Disallow: /forum/action=blog
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/attachments/
Disallow: /forum/black/
Disallow: /forum/cgi-bin/
Disallow: /forum/downloads/
Disallow: /forum/FCKeditor/
Disallow: /forum/gallery/
Disallow: /forum/images/
Disallow: /forum/js/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/tp-downloads/
Disallow: /forum/tp-images/
Disallow: /forum/wysiwyg/


Tu akurat są zabawki od TinyPortalu, ale łatwo się zorietować, a nadmiar nie przeszkadza. A jak ktoś ma TP to skorzysta.

Tych akcji jest trochę więcej do zabronienia, trzeba by przejrzeć pliki z katalogu sources...
generalnie chodzi o to, żeby boty nie wszędzie się szwędały, jednak to jest tylko info dla normalnych i potrzebnych botów, są i inne, które leją permamentnie na ten plik i spamują lub zbierają różne info.. próbują przechwycić sesję itp..

Oczywiście, kiedy masz swoje forum w domenie głównej nie w subdomenie lub subkatalogu, to tam wrzucasz plik robots.txt tylko modyfikujesz powyższy wpis, żeby nie wskazywało na "forum/" tylko direct na katalogi i akcje..

Mam nadzieję, że te informacje będą pomocne.

Pozdrawiam :)
roco


Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty
Wiadomość wysłana przez: tomeh 19.03.2009 12:02:43
Czyli podany przez ciebie robots jest od TP i także SMF razem. Sprubuje wyłuskać co dam i wstawię tutaj do SMF (nie kompletny bo połowy nie kojażę ale co się da).

Edit: Usunełem te których nie ma w katalogach na forum oraz dodałem Smileys - jeśli coś można jeszcze poprawić to proszę edytować tą wiadomość. Co do akcji to nie wiem które śą od SMF a które TP. Acha napisałeś Sources coś tam jest jeszcze ale tutaj jest cały ten katalog wyłączony więc dokładniej ię chyba nie da pominąć jego plików - bo wymieniać je pojedynczo to to samo co podac tutaj tą ścieżkę do niego diswalow tak? jakoś tak to rozumiem..

User-agent: *
Allow: /forum/action=sitemap;xml
Allow: /forum/action=sitemap
Allow: /forum/action=recent
Disallow: /forum/sa=showPosts
Disallow: /forum/action=markasread
Disallow: /forum/action=pm
Disallow: /forum/action=profile
Disallow: /forum/action=admin
Disallow: /forum/action=mlist
Disallow: /forum/action=logout
Disallow: /forum/action=tpmod
Disallow: /forum/action=calendar
Disallow: /forum/action=printpage
Disallow: /forum/action=help
Disallow: /forum/action=login
Disallow: /forum/action=register
Disallow: /forum/action=search
Disallow: /forum/action=searh2
Disallow: /forum/action=verificationcode
Disallow: /forum/action=who
Disallow: /forum/action=post
Disallow: /forum/action=stats
Disallow: /forum/wap2
Disallow: /forum/imode
Disallow: /forum/function.main
Disallow: /forum/function.require
Disallow: /forum/action=unread
Disallow: /forum/images/
Disallow: /forum/Packages/
Disallow: /forum/Sources/
Disallow: /forum/avatars/
Disallow: /forum/Smileys/


Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty
Wiadomość wysłana przez: roco 19.03.2009 16:16:02
Ok, z TP zostało jeszcze to -> Disallow: /forum/action=tpmod

Ja z głowy tego nie pamietam, po prostu wkleiłem mały wycinek mojego pliku. To że są wpisy od TP zupełnie nie przeszkadza, zrozum zabraniasz dostępu robotom np. do "action=tpmod" -> dalej robota nie interesuje czy masz taką akcję, czy katalog.., skoro jest zabronione..

Po za tym wszystko jest ok w Twoim robots.txt, pod warunkiem, że wrzucasz ten plik do głównej domeny, ale swoje forum masz NAPRAWDĘ w katalogu "forum/" bo jeśli np. masz w katalogu nie forum tylko "smf" to konstrukcja powinna być m/w taka:

...
..
Disallow: /smf/avatars/
Disallow: /smf/Smileys/
...
itd.

Natomiast, gdybyś miał jednak w głównej domenie swoje forum a nie w jakimś subkatalogu np. "forum" lub "smf" itd, to konstrukcja powinna wygladać m/w tak:

...
..
Disallow: avatars/
Disallow: Smileys/
...
itd.

Ścieżki są bardzo istotne, muszą być takie wpisy, jaki jest faktyczny stan.

Pozdrawiam :)
roco


Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty
Wiadomość wysłana przez: tomeh 19.03.2009 16:57:52
Wiem jestem zielony ale nie aż tak. Logicznie umysł mój pracuje.

Dzięki za pomoc jeszcze raz.


Tytuł: Odp: Przeglądanie strony z zewnątrz przez boty
Wiadomość wysłana przez: roco 19.03.2009 17:25:21
Na zdrowie :)

Tomeh, nie wątpię, że masz logiczny umysł. Odpowiadając ludziom na pytania i problemy, dokładam wszelkich starań, żeby i inni mogli skorzystać, i staram się, żeby moje odpowiedzi były jak najpełniejsze, ponieważ nie wszyscy mają logiczne umysły i może przychodzić im to trudniej... Robię to za każdym razem, więc nie traktuj tego personalnie.

Pozdrówka :)
roco