FiliBlox Posted May 14, 2013 Report Posted May 14, 2013 (edited) DEMO TUTORIAL : http://www.facebook.com/robots.txtInafara subiectului:Salut, acest tutorial a fost creeat de ankr pentru HF, eu doar l-am tradus si postat pe RST FORUM.Daca a mai fost postat, rog un admin sa stearga acest topic.Tutorial:1) Prima data deschide un browser de internet. ( ex: Mozilla Firefox )2) Acum introdu adresa in URL BAR la site-ul in care doresti sa afli fisierele ascunse. . ( ex: www.site.com )3) Acum la sfarsitul adresei url introdu urmatorul text /robots.txt ( ex: www.site.com/robots.txt )4) Dupa ce a-ti urmat toti pasii de mai sus, in unele cazuri va vor aparea cateva fisire ascunse pe care le detine site-ul. De ce sunt ele ascunse ? Se numesc fisiere ascunse deoarece ele nu sunt indexate de roboti precum ( google bot ), ele contin unele informatii din afara site-ului.5) Ti se pare prea complicat acest tutorial ? Atunci incearca prin Python 3, daca consideri ca este mai usor.#!/usr/bin/pythonimport requestsprint("rob0tGetter v.1.0.0 by wingb0t \n")print("Website to Check (simplest format, do file or backslash at the end: e.g http://www.google.com )\n")url = input();r = requests.get(url)if r.status_code==200: print("[+] Connected to "+url)else: exit(1)print("[+] Looking for robots.txt")n = requests.get(url+"/robots.txt")if n.status_code==200: print("[+] Successfully connected to " + url + "/robots.txt") print("Content: \n") print(n.text)else: print("[-] Connection to robots.txt failed. Exiting..") exit(1)Mentionez ca nu toate site-urile au robots.txt, asadar nu va astepti sa faceti lucruri prea marete cu aceasta metoda.Pana la urmatorul tutorial, va doresc numai bine. Edited May 14, 2013 by FiliBlox Quote
malsploit Posted May 14, 2013 Report Posted May 14, 2013 mie mi se pare amuzant Trolling ridicat la nivel de arta//e trist daca sunt membrii rst care nu stiu ce face robots.txt Quote
FiliBlox Posted May 14, 2013 Author Report Posted May 14, 2013 mie mi se pare amuzant Trolling ridicat la nivel de arta//e trist daca sunt membrii rst care nu stiu ce face robots.txtParerea mea ar fi sa mai schimbe putin la forum in sensul ca ar trebui adaugata inca o categorie gen : Beginner Hacking, asa fiecare intra in functie de experienta, si i-ar ajuta cu mult pe noii membri. Quote