Che Posted July 13, 2021 Report Posted July 13, 2021 Vreau sa rulez niste scripturi in Python, simultan, care sa faca urmatoarele: Sa ia informatii despre stocuri si indexuri de pe Yahoo Finance (sunt vreo 253.000 in total si dureaza cam cateva secunde la fiecare, in functie de care este informatia la care faci request). Nu se poate simultan sa iau si income statement si balance sheet si istoricul pretului ci trebuie sa le fac pe rand (la istoricul pretului va dura si mai mult de cateva secunde fiindca sunt mai multe informatii de descarcat). Sa ia datele de pe whoscored si flashscore. Lucru care poate fi facut simultan cu cel de dinainte si chiar si vreau asta. Acestea sunt niste situri care fac display la date dupa ce fac verificari peste verificari sa vada daca nu cumva faci scraping si abia apoi iti arata datele. Cu multa bataie de cap se pot prelua datele dar doar folosind Selenium care este practic o clona indentica de Chrome care necesita resurse. Sa descarc niste carti prin backup la niste grupuri de Telegram. Acest lucru dureaza fiindca sunt carti mari si de cateva sute de MB si sunt peste 120.000 de carti doar pe un singur grup. Momentan doar atat am in plan. Cum sa fac? Initial am vrut sa fac asta pe PC dar fiindca dureaza trebuie sa-l las peste noapte si pur si simplu nu pot dormi din cauza lui. I-am dezactivat mai toate ventilatoarele si tot scoate un bazait fin, un zgomot de fond pe care il auzi si nu poti dormi de te trezesti cu durere de cap a doua zi. Chiar asa se intampla. Am incercat si nu am mai suportat. Apoi am incercat sa rulez Python pe telefonul mobil, fiind cu Android este o aplicatie prin care poti sa rulezi Python. Problema este ca merge doar pentru Yahoo Finance, adica doar punctul 1. Apoi, nu poti rula Selenium si nici nu poti face mai multe lucruri simultan. Iar pentru Telegram nu ai optiune de backup la fisiere in versiunea de mobil. Ce ziceti sa fac? Care ar fi cea mai buna varianta? Eu ma gandesc sa cumpar un laptop ca il pun pe balcon si nu-l mai aud si pot sa dorm linistit si eventual imi amintesc de el dupa ceva timp, cand o sa-mi amintesc. Problema este ca nu am mai avut laptop niciodata si nu stiu ce configuratie ar fi buna. Ma gandeam sa iau o varianta de asta de HP Mini, de ala micut dar vad ca toate au celeron N** (ceva) care nu stiu cat de bune sunt. Ce parere aveti? Eu am avut inainte Pentiun D 925 cu 2GB RAM si se cam bloca atunci cand deschideam Chrome destul de frecvent, mergea dar cam te enerva de-ti venea sa-l spargi si sa-l arunci pe geam. Acum am i7 2600 si 8GB RAM si mi se pare racheta. Acum nu stiu, la laptopuri Celeron e bun sau ce configuratie ar fi buna? Nu as vrea sa dau un sac de bani doar pentru ce am eu nevoie fiindca pentru alte chestii folosesc PC-ul. Multumesc anticipat! P.S. Am uitat sa spun ca la punctul 2 trebuie sa rulezi neaparat Selenium in full si nu se poate headles ca sa folosesti doar cmd prompt fiindca are scripturi care iti verifica fereastra sa vada daca are marime normala sau nu deci e musai sa deschizi Chrome de fiecare data si asa mai departe. Si inca ceva, scripturile trebuie verificate periodic daca descarca sau nu fiindca mi s-a mai intamplat sa stau linistit si din cauza unei probleme la retea el sa fie in asteptare si eu sa cred ca descarca datele cand el de fapt nu descarca nimic. Ce ziceti sa fac? Quote
dimss Posted July 13, 2021 Report Posted July 13, 2021 In functie de ce resurse ai nevoie pentru scripturile tale, poti incerca un VPS pe care nu il vei auzi cum ruleaza, iar la 6 euro pe luna este un pret avantajos. Daca vrei sa detii tu hardware-ul, te poti uita pe OLX sau alte platforme de genul pentru un SFF. De obicei costa cateva sute de lei... si au i5,i7 cu 8 sau 16 giga de ram. Eu am cumparat unul acum vreo 2 ani sa fac router din el. 1 Quote
UnixDevel Posted July 13, 2021 Report Posted July 13, 2021 de ce nu un raspbery pi. in teorie ar putea rula cam ce ai tu nevoie acolo 1 Quote
Che Posted July 13, 2021 Author Report Posted July 13, 2021 (edited) 1 hour ago, dimss said: In functie de ce resurse ai nevoie pentru scripturile tale, poti incerca un VPS pe care nu il vei auzi cum ruleaza, iar la 6 euro pe luna este un pret avantajos. Daca vrei sa detii tu hardware-ul, te poti uita pe OLX sau alte platforme de genul pentru un SFF. De obicei costa cateva sute de lei... si au i5,i7 cu 8 sau 16 giga de ram. Eu am cumparat unul acum vreo 2 ani sa fac router din el. Ma uitam si aici pe linode ca am vazut intr-un video pe Youtube si parea interesant dar nu stiu ce sa aleg: https://www.linode.com/pricing/ Plus ca ai 100$ free credit pentru 60 de zile daca te inscrii printr-un referal dar faza este ca nu stiu ce se intampla dupa daca tu ti-ai terminat treaba doar intr-o luna?... Plus ca plata este pe ora calculata de fapt si scrie acolo la ei pe site ca platesti si daca lor li se intrerupe serverul (curentul sau mai stiu eu ce) si serverul este offline. Ma gandesc ca au fost poate reclamatii de s-au gandit sa scrie asta. Faza este ca daca s-a intrerupt conexiunea la internet si serverul este offline scriptul in Python ramane blocat si de fapt nu ruleaza ci asteapta sa se conecteze. Bineinteles ca tu daca nu stii urmeaza doar sa le platesti lor bani fara beneficii in schimbul lor. Am cautat si pe google de VPS acum dupa ce ti-am citit postarea dar sincer nu stiu cum e cu VPS-ul. Cum functioneaza? Este ca un remote desktop conection si practic te contectezi la el ca si cum te-ai conecta la un alt PC cu TeamViewer sau cum anume este cu VPS-ul? Ce situri recomanzia (daca stii) ca fiind serioase ca sa nu ai probleme cu hostingul, cu serviciile sau cu plata prin card ca poate mai sunt si de astia? Apropo, vad ca la toate ofertele de VPS iti arata ca er nu stiu cate vCPU/VCores. Bun, dar care anume? Este i7, i5, i3 sau ce anume este si cum iti dai seama ca sa stii daca este bun pentru ce ai tu nevoie? Totusi, parca mi se pare mai sigur sa detin eu controlul asupra hardware-ului si nu stiu, pe asa ceva ar merge la ce zic eu: https://www.olx.ro/d/oferta/vensmile-ipc002-plus-mini-pc-windows-10-IDe2wYl.html#e120e62a68 sau https://www.olx.ro/d/oferta/mini-computer-giada-slim-n10-IDbIL5l.html#ca30ab27d2 avand in vedere ca am avut Pentium D 925 Dual Core de 3.0 Ghz si 2GB RAM si se bloca destul de des cand deschideam Chrome? @lzomedia Nu stiu. De unde iau? Este mai scump decat un laptop slab dar care sa mearga la ce am eu nevoie? Ala nu trebuie programat special ca si Arduino? Poti instala Python 3.8 sau 3.7 pe el si sa ruleze Chrome? Are harddisk sau unde salveaza? Multumesc mult de tot! Edited July 13, 2021 by Che Quote
UnixDevel Posted July 13, 2021 Report Posted July 13, 2021 https://www.optimusdigital.ro/en/raspberry-pi-boards/8617-raspberry-pi-4-model-b4gb-765756931182.htm Nu trebuie codat ca arduino , merge python fara nici o problema . ii pui linux debian si poti face tot ce vrei cu el . Eu de exemplu folosesc unul pentru NAS si un altul pentru TV streeming 1 Quote
Che Posted July 13, 2021 Author Report Posted July 13, 2021 46 minutes ago, lzomedia said: https://www.optimusdigital.ro/en/raspberry-pi-boards/8617-raspberry-pi-4-model-b4gb-765756931182.htm Nu trebuie codat ca arduino , merge python fara nici o problema . ii pui linux debian si poti face tot ce vrei cu el . Eu de exemplu folosesc unul pentru NAS si un altul pentru TV streeming Dar ce putere are acel procesor? Este mai bun decat Pentium D925 care este cotat cu ~800 de puncte pe benchmark (passmark) ca eu am avut acest procesor pe PC si mai mult statea decat mergea, iti venea sa-l arunci direct la gunoi? Cum se misca Google Chrome pe el? 1 hour ago, Che said: Totusi, parca mi se pare mai sigur sa detin eu controlul asupra hardware-ului si nu stiu, pe asa ceva ar merge la ce zic eu: https://www.olx.ro/d/oferta/vensmile-ipc002-plus-mini-pc-windows-10-IDe2wYl.html#e120e62a68 sau https://www.olx.ro/d/oferta/mini-computer-giada-slim-n10-IDbIL5l.html#ca30ab27d2 avand in vedere ca am avut Pentium D 925 Dual Core de 3.0 Ghz si 2GB RAM si se bloca destul de des cand deschideam Chrome? De astea ce parere ai? Sunt mai bune decat Raspbery Pi? Ce zici? Multumesc frumos! Quote
UnixDevel Posted July 13, 2021 Report Posted July 13, 2021 Nu am avut probleme cu chrome , nu stiu cee sa zic de Giada Slim-N10, nu am folosit . din ce vad are 2GB de ram , si chrom-ul manica mult 1 Quote
SirGod Posted July 13, 2021 Report Posted July 13, 2021 2 hours ago, Che said: Ma uitam si aici pe linode ca am vazut intr-un video pe Youtube si parea interesant dar nu stiu ce sa aleg: https://www.linode.com/pricing/ Plus ca ai 100$ free credit pentru 60 de zile daca te inscrii printr-un referal dar faza este ca nu stiu ce se intampla dupa daca tu ti-ai terminat treaba doar intr-o luna?... Plus ca plata este pe ora calculata de fapt si scrie acolo la ei pe site ca platesti si daca lor li se intrerupe serverul (curentul sau mai stiu eu ce) si serverul este offline. Ma gandesc ca au fost poate reclamatii de s-au gandit sa scrie asta. Faza este ca daca s-a intrerupt conexiunea la internet si serverul este offline scriptul in Python ramane blocat si de fapt nu ruleaza ci asteapta sa se conecteze. Bineinteles ca tu daca nu stii urmeaza doar sa le platesti lor bani fara beneficii in schimbul lor. Am cautat si pe google de VPS acum dupa ce ti-am citit postarea dar sincer nu stiu cum e cu VPS-ul. Cum functioneaza? Este ca un remote desktop conection si practic te contectezi la el ca si cum te-ai conecta la un alt PC cu TeamViewer sau cum anume este cu VPS-ul? Ce situri recomanzia (daca stii) ca fiind serioase ca sa nu ai probleme cu hostingul, cu serviciile sau cu plata prin card ca poate mai sunt si de astia? Apropo, vad ca la toate ofertele de VPS iti arata ca er nu stiu cate vCPU/VCores. Bun, dar care anume? Este i7, i5, i3 sau ce anume este si cum iti dai seama ca sa stii daca este bun pentru ce ai tu nevoie? Totusi, parca mi se pare mai sigur sa detin eu controlul asupra hardware-ului si nu stiu, pe asa ceva ar merge la ce zic eu: https://www.olx.ro/d/oferta/vensmile-ipc002-plus-mini-pc-windows-10-IDe2wYl.html#e120e62a68 sau https://www.olx.ro/d/oferta/mini-computer-giada-slim-n10-IDbIL5l.html#ca30ab27d2 avand in vedere ca am avut Pentium D 925 Dual Core de 3.0 Ghz si 2GB RAM si se bloca destul de des cand deschideam Chrome? @lzomedia Nu stiu. De unde iau? Este mai scump decat un laptop slab dar care sa mearga la ce am eu nevoie? Ala nu trebuie programat special ca si Arduino? Poti instala Python 3.8 sau 3.7 pe el si sa ruleze Chrome? Are harddisk sau unde salveaza? Multumesc mult de tot! Eu nu as opta pentru ceva fizic, ci un server pe undeva. Daca te frizeaza Linode, poti incerca la ei. Eu sunt convins ca sunt mai pregatiti de un eveniment (e.g. picat curent, picat net) decat un home user si ca nu ar trebui sa iti faci griji de asta. Un VPS este ca un server fizic dedicat, doar ca virtual. Unele au shared vCPU, altele dedicat. Nu stiu daca poti afla cu exactitate hardware-ul (unii provideri specifica tipul, e.g. Intel Cascade Lake), dar sunt sigur ca nu e vorba de Intel Atom sau Celeron. Poti sa ai pe el RDP, VNC, X11, in functie de ce sistem de operare iti instalezi si ce vrei sa folosesti. Uite aici au pus oamenii score-urile de la diverse benchmark-uri pe CPU, poti sa iti faci o idee cam ce poate: https://www.vultr.com/products/cloud-compute/ 1 Quote
Zatarra Posted July 13, 2021 Report Posted July 13, 2021 TLDR - Use AWS serverless si axeaza-te cat poti de mult pe API-uri 1 2 Quote
andr82 Posted July 13, 2021 Report Posted July 13, 2021 (edited) Eu folosesc Aruba Cloud VPS de 2 ani si nu am avut probleme cu uptime-ul, nici macar o singura cadere si e Low-Cost, merge RDP, VM, merge crome rezonabil, merg scripturile python cu requesturi la milisecunda, viteza gigabyte, cronjob la minut fara probleme. Nu contorizeaza bandwith asa cum zic ei poate doar daca ai trafic foarte mare... Chestia este ca atunci cand l-am luat era versiunea 16.04 Ubuntu Virtual Desktop si nu cred ca mai este disponibil iar daca pui 20 pe configuratia asta nu stiu ce sa zic, doar sa iei un server obisnuit care nu este default Virtual Desktop si sa-i instalezi tu rdp, desktop-ul, etc. Partea nasola este ca aum 2 ani era 4 euro iar aum este 6,50 si probabil tot va creste... Si cele de la vultr sunt ok https://www.vultr.com/products/cloud-compute/#pricing Edited July 13, 2021 by andr82 1 Quote
Che Posted July 13, 2021 Author Report Posted July 13, 2021 @andr82 Ar trebui sa aleg pentru Chrome varianta de 4 sau de 8GB RAM, nu? Pai atunci mai e convenabil? Pentru Chrome trebuie mai mult de 2GB RAM, nu? Quote
andr82 Posted July 13, 2021 Report Posted July 13, 2021 (edited) 54 minutes ago, Che said: @andr82 Ar trebui sa aleg pentru Chrome varianta de 4 sau de 8GB RAM, nu? Pai atunci mai e convenabil? Pentru Chrome trebuie mai mult de 2GB RAM, nu? Mie pe Win, Chrome imi consuma ~ 54000K RAM in idle in nici un caz nu are o limita minima de 2Gb RAM. Chrome consuma cat bagi in el... si consumul de memorie depinde de ce faci in Chrome, am ajuns si la 9Gb RAM lejer. Depinde de scriptul tau, eu nu iti pot da un sfat, dar daca alegi un pc atunci trebuie sa tii cont de IP fix sau ddns, ups daca esti in zona unde pica curentul, config firewall daca preiei din logurile scripturilor si pui online undeva, daca nu ai nevoie de pus online din ce culegi este si normal sa alegi un laptop sau RspbPi fata de vps. Cred ca tu stii mai bine ce ai de facut, succes. Edited July 13, 2021 by andr82 Quote
gigiRoman Posted July 13, 2021 Report Posted July 13, 2021 Cel mai bine pui headless chrome cu selenium pe raspberry cu debian, cum bine spune @lzomedia Sau daca te scremi putin, cu termux si pupeteer pe android :)))) https://www.browserstack.com/guide/puppeteer-vs-selenium https://github.com/rishabhrpg/puppeteer-on-termux 1 Quote
Kev Posted July 14, 2021 Report Posted July 14, 2021 Ati deviat de la subiect toti cu psihologia lui On: omul a intrebat cum poate tine mai multe tab-uri deschise fara sa-i bubuie capul On2: vezi in market ce gasesti Quote
