Plik robots.txt na serwerze definiuje jakich treści nie powinny indeksować roboty(czyli. np nie powinny pojawiać się w google).
http://forum.gazeta.pl/robots.txt
http://forum.gazeta.pl/robots.txt
Kod: Zaznacz cały
User-agent: *
Disallow: /forum/w,902,70089051,70118797,Kurdupel_Kaczynski_moze_w_maluchu_.html
Disallow: /forum/w,902,87962441,87968815,Re_Lech_VETO_Kaczynski_cham_i_dziad_.html
Disallow: /forum/w,902,87962441,87963251,_font_color_red_C_font_Lech_VETO_Kaczynski_ch.html
Disallow: /forum/w,902,88478493,88491770,Mlaskacz_Veto_Kaczynski_pierdola_.html
Disallow: /forum/w,28,76641708,76691415,Maly_kaprawy_knyp_.html
Disallow: /forum/w,53,86511055,86512845,Re_Kaczynski_ty_kutasie_jebany_fiucie_zlamany_wy.html
Disallow: /forum/w,53,86511055,86511897,Przeciez_kazdy_wie_ze_Kaczynski_to_KUTAS_wiec_w_c.html
Disallow: /forum/w,902,88079540,88103714,Kaczynski_to_debil_i_kretyn_.html?t=1271079708469
Disallow: /forum/w,902,87962441,87968815,Re_Lech_VETO_Kaczynski_cham_i_dziad_.html
Disallow: /forum/w,902,87962441,87974772,Re_Prezydent_Kaczynski_wielkie_g_no.html
Disallow: /forum/w,1119,86311746,86321184,_Prezydent_Kaczynski_wyjatkowym_idiota_.html
Disallow: /forum/w,902,107174056,107174877,Zalosny_i_smieszny_karzel_morany.html
Disallow: /forum/w,67,108303311,108305260,Re_Fiuhrer_Jaroslaw_Adolf_Kaczynski_Hitler.html
Disallow: /forum/w,796,84979518,84979518,zanim_kupisz_schody_RIntal.html
dObre