Ajutor preluare date din tabel?

[Che]

 

Vreau sa preiau toate datele din acest tabel dar nu reusesc. Nu se poate nici selecta si nici automat din cauza paginatiei car nu schimba url-ul si nici nu genereaza ceva de care sa te poti lega.

Apropo, cum e facut totul de este asa de bine protejat?

Am incercat cu HTTP Headers, pluginul din Chrome, dar nu se genereaza nici un request deci toata procesarea are loc direct in browser. Prin urmare datele sunt acolo. Cum as putea sa le iau intr-un mod automatizat, programatic, folosind Python, fiindca nu vreau sa stau sa fac treaba asta manual?

Ma poate ajuta cineva, va rog?

Asta este situl:

https://www.macrotrends.net/stocks/stock-screener

Multumesc mult!

[gigiRoman]

Da linkul sau baga un proxy sa vezi ce requesturi se fac cand dai clickuri pe paginatie. Posibil sa se apeleze acelasi url cu alti parametri. Bafta!

[Kev]

2 hours ago, Che said:

folosind Python

 

@MrGrj

[Che]

7 hours ago, gigiRoman said:

Da linkul sau baga un proxy sa vezi ce requesturi se fac cand dai clickuri pe paginatie. Posibil sa se apeleze acelasi url cu alti parametri. Bafta!

Asa am crezut si eu dar nu se intampla asa. Cel putin eu asa am vazut dar poate nu am observat eu.

Linkul este deja postat si se afla chiar la sfarsitul textului.

Asta este:

https://www.macrotrends.net/stocks/stock-screener

[Pacalici]

Nu stiu pyton dar pe pagina respectiva daca poti rula in consola comanda "$("#jqxGrid").jqxGrid("getrows");" o sa iti exporte toate datele din tabel

[gigiRoman]

1 hour ago, Pacalici said:

Nu stiu pyton dar pe pagina respectiva daca poti rula in consola comanda "$("#jqxGrid").jqxGrid("getrows");" o sa iti exporte toate datele din tabel

Cum bine zici, asta am gasit si eu:

$("#excelExport").click(function() {
    $("#jqxGrid").jqxGrid('exportdata', 'csv', 'jqxGrid');
});

Datele se aduc dintr-un singur request (10 mb, paginatia nu face requesturi noi).

 

Doar cand faci click prin tabel iti aduce date doar despre firma selectata prin alt request web.

 

Fig. 1

 

Fig. 2

 

Fig. 3

[Che]

@Pacalici @gigiRoman Multumesc mult de tot!

Inca ceva, dar unde sunt stocate datele de nu se gasesc cu CTRL+F in nici un fisier .js si nici in codul sursa html? Unde le tine? Si cum se face ca nu poti sa selectezi nimic?

Multumesc mult pentru ajutor!

[gigiRoman]

Eu am gasit datele in fisierul ala mare html de 10 mb. Am intrat cu developer tools in firefox dat refresh si la response zicea ca responseul e trunchiat (doar avea 10 mb), l-am copiat in notepad++ si mi-a dat prima poza din cele 3 de mai sus), cauta si tu dupa var originalData e un json array. Succes!

[Che]

30 minutes ago, gigiRoman said:

Eu am gasit datele in fisierul ala mare html de 10 mb. Am intrat cu developer tools in firefox dat refresh si la response zicea ca responseul e trunchiat (doar avea 10 mb), l-am copiat in notepad++ si mi-a dat prima poza din cele 3 de mai sus), cauta si tu dupa var originalData e un json array. Succes!

Invata-ma si pe mine, te rog, cum faci ca sa ajungi la rezultatul din imaginea postata de tine ca m-am tot chinuit cu Firefox Developer Tools si nu reusesc sa fac sa fie la fel?

Multumesc mult!

[gigiRoman]

https://we.tl/t-QydruKoMTl