Che Posted May 14, 2017 Report Posted May 14, 2017 Un server protejat te tot directioneaza si redirectioneaza prin diverse alte servere intermediare si fiecare din ele te verifica si iti seteaza un anume cookie cu rezultatul verificarii. Am ajuns acum la pasul final in care pagina se incarca de pe un anume server dar daca ai un tabel in pagina (tabel care ala tocmai te intereseaza de fapt), atunci se mai face un request la un alt server care da un raspuns json cu datele tabelului pentru a fi populat. Problema e in felul urmator: Tu cand faci request ca si browser real catre serverul de la care primesti acel json, tu DEJA ai in headerele tale un header numit "Model-last-mode:" care are un anume hash. Uneori merge fara acest header dar daca nu il ai te blocheaza rapid. Se pare ca se genereaza independent, inital am crezut ca iti ia cookieurile si ti le intoarce si ti le suceste dar se pare ca de fapt nu are treaba cu ele fiindca poti sa ai aceleasi cookie-uri iar la refresh sa ai de fiecare data alt hash pentru acest header. Pe urma am crezut ca are legatura cu un alt header de la un server precedent si care e un soi de numar si se numeste xinfo sau x-info. Chestia e ca nu are treaba nici cu acest header si, la fel, este tot independent si de acesta. Am nevoie sa generez cu scriptul meu acest hash ca sa pot lua valorile din tabel. Va pun aici niste exemple, poate va dati seama cum sunt generate aceste hash-uri: OaxjSLRuAY0+NXbuwxIym+IhVKdqRokXyE3jj/h3yNY= mketEUOgoeD+DsMcLc1lU03r6E8S0Fyqb9i3iRFKSNk= +a/hKjynE+WxYwffrrwbqOhdlc0fZUCdPOli1FGn3/U= 60nPUO7Mn2Q39+gTZ6dsbBR1pMUf1HHUyyc9wb7327Y= PwiuxH2MlLNp6Lf26H7V9q2XkDSRH0Bu3rU3WJYlyw0= Uneori ti-l lasa tot pe acelasi dar cam la al treilea request ti-l schimba cu altul, nu stiu daca e regula sau nu. Aveti idee ce reprezinta sau cum le-as putea genera ? Multumesc mult ! Quote
u0m3 Posted May 14, 2017 Report Posted May 14, 2017 (edited) Depinde de cum e generat: daca e ceva server-side nu prea ai ce face (mai ales daca e generat server-side pe baza unor date, la care nu ai tu acces, asociate cu sesiunea). Si fiind un hash, cel mai probabil SHA-2 sau SHA-3, nu ai cum sa il decodezi sau sa il bruteforce (sau nu fara research serios). Acum dupa o scurta cautare cu google dupa header-ul minune am gasit niste niste post-uri pe StackOverflow in care se discuta despre un website de scoruri live, protejat prin aceeasi metoda. Si la prima vedere ar parea ca baiatul asta a gasit o solutie https://stackoverflow.com/questions/38618483/incapsula-module-issue-with-xhr-request. Nu am timp acum sa stau sa testez, vezi si tu daca te ajuta cu ceva. Edited May 14, 2017 by u0m3 Clarificari 1 Quote
Che Posted May 14, 2017 Author Report Posted May 14, 2017 @u0m3 Multumesc ! Stiu de postul acela de pe stackoverflow insa am testat si eu acel cod si vad ca, nu stiu... poate am gresit eu ceva dar, mie nu-mi merge. Poti, te rog sa verifici si tu sa vezi care e chichita cu acel cod, te rog ? Multumesc mult ! Quote
u0m3 Posted May 14, 2017 Report Posted May 14, 2017 Pai trebuie sa specifici si website-ul pe care ai problema. Sau request-ul, etc. Iar din cate am citit, creatorul bibliotecii Incapsula a zis ca nu poate sa intretina biblioteca. Avand in vedere ca post-ul de pe StackOverflow e din 2016 s-ar putea sa fi schimbat "provider-ul" (nu stiu cum sa il denumesc, e un fel de CloudFlare) ceva in API-urile lor, facand obsolete biblioteca python. Quote
Che Posted May 19, 2017 Author Report Posted May 19, 2017 On 5/14/2017 at 8:15 PM, u0m3 said: Pai trebuie sa specifici si website-ul pe care ai problema. Sau request-ul, etc. Iar din cate am citit, creatorul bibliotecii Incapsula a zis ca nu poate sa intretina biblioteca. Avand in vedere ca post-ul de pe StackOverflow e din 2016 s-ar putea sa fi schimbat "provider-ul" (nu stiu cum sa il denumesc, e un fel de CloudFlare) ceva in API-urile lor, facand obsolete biblioteca python. Situl e acelasi cu cel care apare la cautarea pe Google dupa headerul respectiv, adica cel cu statisticile sportive. Nu ii scriu aici numele fiindca sunt foarte atenti la tot ce misca si una-doua schimba tactica si trebuie sa o iau de la zero cu programatul. Quote