Perl Web Bot , Tutorial 1 + Video Tutorial

[Vhaerun]

Salut !

Spre deosebire de tutorialul AutoIT , unde am vazut un "bot" care automatiza Internet Explorer , azi va arat acelasi bot facut in perl . Daca ati rulat bot-ul AutoIT , ati vazut cu siguranta ca se misca destul de incet . Ei bine , un bot in perl e mult mai rapid , consuma doar cativa kilo de memorie ( spre deosebire de multi mega cat consuma Internet Explorer ) , si , dupa parerea mea e mult mai usor de facut debugging asupra lui .

use strict;    # folosirea acestui modul obliga declararea variabilelor
use warnings; # folosirea acestui modul genereaza avertizari
use WWW::Mechanize; # modulul Mechanize , reprezentarea unui browser

my $user=shift || die "Username\n"; # cere user
my $pass=shift || die "parola\n"; # cere parola

my $mech=WWW::Mechanize->new(); # se creeaza mech-ul

$mech->agent_alias("Windows IE 6"); # mimam Internet Explorer

$mech->get("http://rstcenter.com/forum/"); # vizitam forumul

$mech->form_number(1); # alegem primul form

$mech->field("username",$user); # completam campul user
$mech->field("password",$pass); # si pass

$mech->click(); # realizeaza logarea


#urmatoarele linii sunt optionale ,ele creeaza un fisier html
#cu continutul paginii curente a mech-ului
#dupa deschiderea paginii , se va vedea ca mech-ul a reusit logarea
open(F,">temp.html") || die "Nu pot creea $!\n";

print F $mech->content();
close(F);

[Vhaerun]

Si un cod care sa se logheze pe Bitefight , pentru ca multa lume mi-a cerut .

ATENTIE : eu folosesc server 2 !

use strict;
use warnings;
use WWW::Mechanize;

my $user=shift || die "User\n";
my $pass=shift || die "parola\n";

my $mech=WWW::Mechanize->new();
$mech->agent_alias("Windows IE 6");
$mech->get("http://s2.bitefight.ro/bite/login.php");

$mech->form_number(1);

$mech->field("user",$user);
$mech->field("pass",$pass);
$mech->click();
sleep(2); # astept 2 secunde inainte sa cer URL-ul urmator

# merg la pagina principala
$mech->get("http://s2.bitefight.ro/bite/uebersicht.php?&web_redirected=1");

# fac un fisier html pentru a vedea mai usor sursa paginii curente
open(F,">tempbite.html") || die "nu pot creea $!\n";

#scriu sursa paginii
print F $mech->content();

#inchid fisierul
close F;

You kids have fun !

[kw3rln]

interesant .. "WWW::Mechanize" dar parca prefer "LWP::UserAgent" & "HTTP::Request::Common"

[Vhaerun]

Mechanize se bazeaza pe LWP , dar mi se pare mai usor de folosit .

[Vhaerun]

AICI se poate downloada un tutorial video facut de mine , care va arata cum sa gasiti numele campurilor ce urmeaza a fi completate .

Obligatoriu de vazut , daca nu ai experienta in domeniu

[moubik]

nice

[yoyo2008]

de ce nu merge firebug?de la windows?de ce am mozila in lb romana?de la antivirus?

[Vhaerun]

Chestie foarte ciudata : avi-ul are vreo 90 de mega si arhiva doar 4 !!!

Se pare ca nu toate playerele pot sa deschida filmul . Se vede la voi ?

[yoyo2008]

la mine se vede foarte bine doar ca nu merge firebug

[moubik]

Chestie foarte ciudata : avi-ul are vreo 90 de mega si arhiva doar 4 !!!

Se pare ca nu toate playerele pot sa deschida filmul . Se vede la voi ?

Vhaerun, avi-ul are 90mb pentru ca nu este compresat. de aceea arhiva are 4mb.

nu stiti cum se face encodarea video ?

[yoyo2008]

Vhaerun de ce nu-mi merge firebug-ul?pt ce encodarea moubik?

[Vhaerun]

@moubik

Nu sunt interesat de encoding , formate audio/video . Poate vreodata daca o sa am nevoie , o sa invat , momentan consider ca mi-as incarca memoria inutil.

@yoyo2008

Ce versiune de Firefox ai ? Se incadreaza intre cele recomandate de firebug ?

[yoyo2008]

am versiunea 2.0.0.12

[Vhaerun]

Ciudat , pe site scrie ca e suportata . Incearca sa reinstalezi firebug , si daca nu merge nici asa , incearca sa reinstalezi firefox . Are altcineva alte sugestii ? O sa mai postez niste metode alternative la firebug , just in case .

[yoyo2008]

am rezolvat e din cauza asta

Firebug crashes immediately when I try to open it.

The most likely cause for this is the Sothink SWF Catcher extension. If you have this extension installed, disabling it will allow Firebug to work properly.

[Vhaerun]

Uitati aici inca doua alternative la firebug :

1. Tamper data , cu tutorial video AICI

2. Odata cu instalarea WWW::Mechanize , vine si un script numit mech-dump,cu care pot fi gasite form-uri , precum si alte elemente dintr-o pagina. mech-dump se ruleaza astfel ( modul default de functionare arata form-urile ) :

mech-dump site

[moubik]

vhaerun, modulul Mechanize am vazut ca nu este in lista pachetelor pentru windows.

adica nu pot sa-l instalez cu 'ppm'

l-am instalat manual.

ca alta intrebare.

stie cineva cum pot sa rulez o comanda de sistem dar sa nu se opreasca exacutia programului acolo ?

adica sa pot sa omor acea comanda daca vreau, cand vreau.

[Vhaerun]

fork ? thread ?

[moubik]

da, thread. am implementat deja.

[inthel]

baieti ... imi ziceti si mie o functie pentru timp?

vreau sa determin timpul

mai exact as vrea un prog care sa faca anumite pauze intre actiunile lui

multumesc anticipat

[Vhaerun]

sleep ?

cam asta am inteles eu din mesajul tau .

[inthel]

nu.

deci vreau ca programul sa execute o actiune(de ex sa deschida o pagina)

apoi sa i-a o pauza(adica sa nu faca nimic 5 min) si dupa aceea sa faca o alta actiune (de ex sa navigheze spre o pagina).

asta nu e greu dar nu stiu eu o functie ceva cu care sa determin timpul

apropo ... ai putea sa-mi recomanzi un tutorial autoit(sau ceva apropiat) care sa fie explicit si mai complex (chiar si in engleza)

[Vhaerun]

si ce anume te-a facut sa zici nu la functia sleep ? stii ce face ?

#!/usr/bin/perl
fa_ceva();
sleep(5 * 60); # in limbaj pt muritori , 5 minute nu fa nimic
fa_altceva();

[inthel]

sincer : nu

de aia ti-am cerut si tutoriale

oricum ms mult

[F1d]

am incercat si eu sa rulez scriptul : am instalat perl dar cand il rulez primesc eroarea :

Can't locate WWW/Mechanize.pm in @INC (@INC contains: C:/Perl/lib C:/Perl/site/lib .) at Untitled1 line 4.

BEGIN failed--compilation aborted at Untitled1 line 4.

am cautat pe Google mechanize am gasit niste fisiere dar nu m-am prea descurcat .... :oops:

ar putea cineva sa ma ajute cu Mechanize ( download + instalare ) ?