[Python] Este normal acest header setat de mine ?

[Che]

Salut !

 

Vreau sa accesez un site in Python folosind un browser custom made bazat pe pycurl.

Situl respectiv are diferite headere (nu sunt tot timpul aceleasi, uneori te mai redirectioneaza catre host-uri intermediare care au alte headere si tot asa, dupa care revine la url-ul inital. Fiecare dns verifica daca ai headerele setate de precedentul dns ca daca nu le ai te redirectioneaza intr-un punct mort, ceva gen 404.

Am stat si am studiat fiecare header setat de fiecare dns accesat si redirectionat si in final am facut o colectie de headere care arata cam asa in codul meu:

curl.setopt(curl.HTTPHEADER, ["Accept: text/css, */*",
                                  "Accept: image/png, image/svg+xml, image/*;q=0.8, */*;q=0.5",
                                  "Accept: application/javascript, */*;q=0.8",
                                  "Accept: text/html, application/xhtml+xml, */*",
                                  "Accept: application/json, text/javascript, */*; q=0.01",
                                  "Accept-Language: en-US,en",
                                  "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7",
                                  "X-Requested-With: XMLHttpRequest",
                                  "Connection: keep-alive",
                                  "Keep-Alive: 300",
                                  "Expect:"])

 

E normala partea asta de cod cu headerele sau cum ar trebui sa arate ca sa fie corect ?

(Fiecare header este verificat de fiecare dns.)

Multumesc !

 

[Sim Master]

Eu as combina toate headerele "Accept" intr-unul singur. Nu cred ca va fi vreo problema daca faci asta, chiar din contra, asta in caz ca nu ai testat deja.

 

Accept: image/png, image/svg+xml, image/*;q=0.8, */*;q=0.5, application/javascript, */*;q=0.8, text/html, application/xhtml+xml, */*, application/json, text/javascript, */*; q=0.01

 

Desi, ca sa fiu sincer, as incerca si asta doar:

 

Accept: */*

 

Esti sigur ca fiecare redirect verifica headerele setate de cel de dinainte? Par destul de generice si nu au nimic iesti din comun prin ele. Poate de fapt fiecare pagina salveaza ceva in sesiune pe server, iar la final verifica daca ai trecut prin toate paginile.

Edited January 18, 2017 by Sim Master

[Che]

1 hour ago, Sim Master said:

Eu as combina toate headerele "Accept" intr-unul singur. Nu cred ca va fi vreo problema daca faci asta, chiar din contra, asta in caz ca nu ai testat deja.

 

Accept: image/png, image/svg+xml, image/*;q=0.8, */*;q=0.5, application/javascript, */*;q=0.8, text/html, application/xhtml+xml, */*, application/json, text/javascript, */*; q=0.01

 

Desi, ca sa fiu sincer, as incerca si asta doar:

 

Accept: */*

 

Esti sigur ca fiecare redirect verifica headerele setate de cel de dinainte? Par destul de generice si nu au nimic iesti din comun prin ele. Poate de fapt fiecare pagina salveaza ceva in sesiune pe server, iar la final verifica daca ai trecut prin toate paginile.

 

Nu verifica doar astea care, vorba ta, sunt generice, mai adauga si altele si ma gandesc ca poate le ia impreuna. Nu am incercat sa le bag pe toate la gramada.

Multumesc !