|
Tytuł: Przegl?danie strony z zewn?trz przez boty Wiadomość wysłana przez: tomeh 13.03.2009 18:02:47 Ostatnio w panelu adamina serwera zobaczy?em ?e jedna z moich domen tam gdzie mam forum jest nie?le przegl?dana przez nie znane mi elementy. Ilo?? stron przegl?danych jest spora przez szczególnie jeden. Ni?ej poda?em link do zdj?cia z wyci?gu serwera. Tam na pierwszym miejscu jest Java (often spam bot) - który to mnie szczególnie zaniepokoi? - co to jest a je?li co? niedobrego jak go przyblokowa?. (mo?e to te? by? mod sitemap 1.2.2 do forum) jestem zupe?nym laikiem w sprawach php i for. Dzi?kuje za odpowied?.
http://img159.imageshack.us/img159/8863/statystykiq.png (http://img159.imageshack.us/img159/8863/statystykiq.png) Tytuł: Odp: Przegl?danie strony z zewn?trz przez boty Wiadomość wysłana przez: roco 14.03.2009 02:23:14 Oczywi?cie mo?na blokn?? IP podejrzanego, jednak warto zasi?gn?? info w google co to jest, poniewa? do?? ?atwo si? pomyli? i zlikfidowa? bota, który mo?e nam poprawi? pozycj? w wyszukiwarkach.
Nie sugeruj si? tym zbyt mocno, ale jednocze?nie postaraj si? dowiedzie? co nie co na temat danego bota. naj?atwiej to zrobi? z poziomu forum, poniewa? masz tam wbudowane narz?dzia do ?ledzenia.. Z modem Sitemap ma to tyle wspólnego jak nie przymierzaj?c np. Twoje forum z MS Office 2007.. czyli nic! Blokowa? mo?na na wiele sposobów, jednak zawsze warto si? zastanowi?, czy nie wyrz?dzimy sobie tym szkody.. Niektóre zabawki sa jak najbardziej po??dane... Pozdrawiam :) roco Tytuł: Odp: Przegl?danie strony z zewn?trz przez boty Wiadomość wysłana przez: tomeh 18.03.2009 22:21:25 Cze??. Chcia?bym zasi?gn?? waszej pomocy czy raczej opinii. Otó? interesuje mnie plik robots.txt a mianowicie co wy w sowich forach dodajecie do tego pliku w g?ównym folderze forum. Jak wygl?da wasz plik robots dotycz?cy tylko forum. Pewnie jest wiele katalogów takich jak packages i inne których paj?czki nie musz? lustrowa? ale nie wiem jakie to mog? by? katalogi. Tak aby forum si? indeksowa?o dalej ?adnie w tre?ci ale to co nie trzeba ju? nie chodzi?o w gr? czyli i aktjons itp. Je?li kto? mo?e mi pokaza? jak zbudowa? taki kompletny plik robots bym by? bardzo wdzi?czny. Dzi?ki z góry ju? na zapas.
Z wszystkich for SMF zebra?em taki szczepek ale pewnie nie jest on kompletny i za dobry dlatego ta pro?ba do was. User-agent: * Disallow: / User-agent: * Disallow: /attachments/ Disallow: /avatars/ Disallow: /Packages/ Disallow: /Smileys/ Disallow: /Sources/ Disallow: /Themes/ Disallow: /index.php?action= Tytuł: Odp: Przegl?danie strony z zewn?trz przez boty Wiadomość wysłana przez: roco 19.03.2009 06:36:58 Pisz raczej, ?e - potrzebujesz informacji, nie pisz, ?e Ci? "interesuje". Rozumiem, ?e potrzeba Ci tych informacji w celu praktycznym, a nie interesuje Ci? to i chcia?by? sobie tylko o tym pogada?.. zobacz to dwie ró?ne sprawy. Zrozumienie ró?nicy, pozwoli Ci osi?gn?? wi?cej odpowiedzi na swoje pytania na innych forach.. taki tips...
AD 1. - Plik robots.txt wrzucamy do g?ównego katalogu domeny. Przyk?adowo: masz forum w subkatalogu - twoja_domena.pl/forum, to plik robots.txt wrzucamu do - twoja_domena.pl. AD 2. - Wtedy taki przyk?adowy plik robots.txt powinien wygl?da? m/w tak: Code: [select] User-agent: * Allow: /forum/sitemap.php Allow: /forum/urllist.php Allow: /forum/archive.php Allow: /forum/action=sitemap;xml Allow: /forum/action=sitemap Allow: /forum/action=recent Disallow: /forum/sa=showPosts Disallow: /forum/action=markasread Disallow: /forum/action=pm Disallow: /forum/action=profile Disallow: /forum/action=admin Disallow: /forum/action=mlist Disallow: /forum/action=tpvchat Disallow: /forum/action=logout Disallow: /forum/action=tpmod Disallow: /forum/action=tpadmin Disallow: /forum/action=calendar Disallow: /forum/action=viewblog Disallow: /forum/action=blog Disallow: /forum/action=printpage Disallow: /forum/action=help Disallow: /forum/action=login Disallow: /forum/action=register Disallow: /forum/action=search Disallow: /forum/action=searh2 Disallow: /forum/action=verificationcode Disallow: /forum/action=who Disallow: /forum/action=post Disallow: /forum/action=stats Disallow: /forum/wap2 Disallow: /forum/imode Disallow: /forum/function.main Disallow: /forum/function.require Disallow: /forum/action=unread Disallow: /forum/attachments/ Disallow: /forum/black/ Disallow: /forum/cgi-bin/ Disallow: /forum/downloads/ Disallow: /forum/FCKeditor/ Disallow: /forum/gallery/ Disallow: /forum/images/ Disallow: /forum/js/ Disallow: /forum/Packages/ Disallow: /forum/Sources/ Disallow: /forum/tp-downloads/ Disallow: /forum/tp-images/ Disallow: /forum/wysiwyg/ Tu akurat s? zabawki od TinyPortalu, ale ?atwo si? zorietowa?, a nadmiar nie przeszkadza. A jak kto? ma TP to skorzysta. Tych akcji jest troch? wi?cej do zabronienia, trzeba by przejrze? pliki z katalogu sources... generalnie chodzi o to, ?eby boty nie wsz?dzie si? szw?da?y, jednak to jest tylko info dla normalnych i potrzebnych botów, s? i inne, które lej? permamentnie na ten plik i spamuj? lub zbieraj? ró?ne info.. próbuj? przechwyci? sesj? itp.. Oczywi?cie, kiedy masz swoje forum w domenie g?ównej nie w subdomenie lub subkatalogu, to tam wrzucasz plik robots.txt tylko modyfikujesz powy?szy wpis, ?eby nie wskazywa?o na "forum/" tylko direct na katalogi i akcje.. Mam nadziej?, ?e te informacje b?d? pomocne. Pozdrawiam :) roco Tytuł: Odp: Przegl?danie strony z zewn?trz przez boty Wiadomość wysłana przez: tomeh 19.03.2009 12:02:43 Czyli podany przez ciebie robots jest od TP i tak?e SMF razem. Sprubuje wy?uska? co dam i wstawi? tutaj do SMF (nie kompletny bo po?owy nie koja?? ale co si? da).
Edit: Usune?em te których nie ma w katalogach na forum oraz doda?em Smileys - je?li co? mo?na jeszcze poprawi? to prosz? edytowa? t? wiadomo??. Co do akcji to nie wiem które ?? od SMF a które TP. Acha napisa?e? Sources co? tam jest jeszcze ale tutaj jest ca?y ten katalog wy??czony wi?c dok?adniej i? chyba nie da pomin?? jego plików - bo wymienia? je pojedynczo to to samo co podac tutaj t? ?cie?k? do niego diswalow tak? jako? tak to rozumiem.. User-agent: * Allow: /forum/action=sitemap;xml Allow: /forum/action=sitemap Allow: /forum/action=recent Disallow: /forum/sa=showPosts Disallow: /forum/action=markasread Disallow: /forum/action=pm Disallow: /forum/action=profile Disallow: /forum/action=admin Disallow: /forum/action=mlist Disallow: /forum/action=logout Disallow: /forum/action=tpmod Disallow: /forum/action=calendar Disallow: /forum/action=printpage Disallow: /forum/action=help Disallow: /forum/action=login Disallow: /forum/action=register Disallow: /forum/action=search Disallow: /forum/action=searh2 Disallow: /forum/action=verificationcode Disallow: /forum/action=who Disallow: /forum/action=post Disallow: /forum/action=stats Disallow: /forum/wap2 Disallow: /forum/imode Disallow: /forum/function.main Disallow: /forum/function.require Disallow: /forum/action=unread Disallow: /forum/images/ Disallow: /forum/Packages/ Disallow: /forum/Sources/ Disallow: /forum/avatars/ Disallow: /forum/Smileys/ Tytuł: Odp: Przegl?danie strony z zewn?trz przez boty Wiadomość wysłana przez: roco 19.03.2009 16:16:02 Ok, z TP zosta?o jeszcze to -> Disallow: /forum/action=tpmod
Ja z g?owy tego nie pamietam, po prostu wklei?em ma?y wycinek mojego pliku. To ?e s? wpisy od TP zupe?nie nie przeszkadza, zrozum zabraniasz dost?pu robotom np. do "action=tpmod" -> dalej robota nie interesuje czy masz tak? akcj?, czy katalog.., skoro jest zabronione.. Po za tym wszystko jest ok w Twoim robots.txt, pod warunkiem, ?e wrzucasz ten plik do g?ównej domeny, ale swoje forum masz NAPRAWD? w katalogu "forum/" bo je?li np. masz w katalogu nie forum tylko "smf" to konstrukcja powinna by? m/w taka: ... .. Disallow: /smf/avatars/ Disallow: /smf/Smileys/ ... itd. Natomiast, gdyby? mia? jednak w g?ównej domenie swoje forum a nie w jakim? subkatalogu np. "forum" lub "smf" itd, to konstrukcja powinna wyglada? m/w tak: ... .. Disallow: avatars/ Disallow: Smileys/ ... itd. ?cie?ki s? bardzo istotne, musz? by? takie wpisy, jaki jest faktyczny stan. Pozdrawiam :) roco Tytuł: Odp: Przegl?danie strony z zewn?trz przez boty Wiadomość wysłana przez: tomeh 19.03.2009 16:57:52 Wiem jestem zielony ale nie a? tak. Logicznie umys? mój pracuje.
Dzi?ki za pomoc jeszcze raz. Tytuł: Odp: Przegl?danie strony z zewn?trz przez boty Wiadomość wysłana przez: roco 19.03.2009 17:25:21 Na zdrowie :)
Tomeh, nie w?tpi?, ?e masz logiczny umys?. Odpowiadaj?c ludziom na pytania i problemy, dok?adam wszelkich stara?, ?eby i inni mogli skorzysta?, i staram si?, ?eby moje odpowiedzi by?y jak najpe?niejsze, poniewa? nie wszyscy maj? logiczne umys?y i mo?e przychodzi? im to trudniej... Robi? to za ka?dym razem, wi?c nie traktuj tego personalnie. Pozdrówka :) roco |