Dorel80 Posted March 29, 2020 Report Posted March 29, 2020 Salut, ma intrebam daca sunt platforme unde iti poti dezvolta conturi pentru reddit, spre exemplu, in cazul meu. Daca este asa ceva, care ar fi ? Daca nu este ma pun sa incep eu o platforma de genul. Ma intreb ce feature uri ar trebui ? - vpn rotativ in spate - headles chrome sau ceva care sa mearga pe acel vpn rotativ - suport creare conturi (mai multe odata) - suport trimitere mesaje - etc etc Sunt curios ce ar trebui sa faca o platforma de asta ca sa fie utila si de ajutor. De ce ? Nu am incredere in conturile cumparate de pe net, adica au istoric / sunt pe liste / clasificati ca shills etc Pot sa dezvolt conturi pe nise clare Challenge ? Cred ca am paleta intreaga de cunostinte sa dezvolt o aplicatie de asta (backend, frontend, DEVOPS) Trebuie sa planific / optimizez treaba asta bine, sunt in faza in vietii in care am cunostinte multe, bani decenti si timp putin. Sunt curios de parerile voastre pe tema asta. Mersi, Dorel Quote
UnixDevel Posted March 29, 2020 Report Posted March 29, 2020 2 hours ago, Zatarra said: Unde e win-ul in a face asa ceva? 1.cred ca publicitate ? 2. eu zic ca te complici cu chrome headless mai degraba Golang cu connect automat prin vpn, ori python cu scrappy Quote
Dorel80 Posted March 30, 2020 Author Report Posted March 30, 2020 Da, este ceva de publicitate. fain cu golang, python etc. dar aia e mainly pentru scrapping. Ma intereseaza sa fac asa ceva si pt sentiment analysis pe anumite topicuri, serviciile care le am vazut ori sunt PREA scumpe ori sunt niste mizerii unde dai tu paste la text si-ti spune sentimentul ... Ce zic eu implica: - interactiune cu reddit / whathaveyou - conturi logate in acelasi timp, - o aplicatie cu care sa maintainuiesti un car de conturi de reddit, sa postezi comentarii / creat posturi etc Am pornit aseara o duma cu: - angular universal (pentru ca sunt super comfortabil cu angular) - am pus un websocket server (legat la node serverul de la ssr server de la angular universal) - chrome-launcher Si incerc sa pun bazele ideii de a controla multiple headless chrome-uri dintr-o interfata. Sunt curios sa vad de ce obstacle ma lovesc. Quote
gigiRoman Posted March 30, 2020 Report Posted March 30, 2020 7 minutes ago, Dorel80 said: Da, este ceva de publicitate. fain cu golang, python etc. dar aia e mainly pentru scrapping. Ma intereseaza sa fac asa ceva si pt sentiment analysis pe anumite topicuri, serviciile care le am vazut ori sunt PREA scumpe ori sunt niste mizerii unde dai tu paste la text si-ti spune sentimentul ... Ce zic eu implica: - interactiune cu reddit / whathaveyou - conturi logate in acelasi timp, - o aplicatie cu care sa maintainuiesti un car de conturi de reddit, sa postezi comentarii / creat posturi etc Am pornit aseara o duma cu: - angular universal (pentru ca sunt super comfortabil cu angular) - am pus un websocket server (legat la node serverul de la ssr server de la angular universal) - chrome-launcher Si incerc sa pun bazele ideii de a controla multiple headless chrome-uri dintr-o interfata. Sunt curios sa vad de ce obstacle ma lovesc. E mare bataie de cap cu headless browsers. Daca face requesturile programatic ai mai putin consum. Quote
Dorel80 Posted March 30, 2020 Author Report Posted March 30, 2020 (edited) Sunt de acord cu tine, dar altfel am avea nevoie access api la platforma cu care vrem sa comunicam. In cazul reddit-ului, stiu ca poti sa iti faci enable la un api app, primesti un key, si dupa ce te loghezi cu OAuth poti sa faci actiuni in numele utilizatorului cu care esti logat. E frumos asa, dar nu toate platformele au asa ceva, si mi se pare ca <gandindu-ma paranoic> daca toata interactiunea ta cu X user e facuta de pe un API, platforma respectiva te poate cataloga ca ceva automated / bot / entitate controlata. O sa iau in considerare si asta, si oricum, la inceput ai nevoie de interactiune 'manuala' ca sa creezi contul, sa setezi un API key s.a.m.d. Imi place interactiunea asta, sa vedem ce idei mai ies de aici. Edited March 30, 2020 by Dorel80 inca un cuvant Quote
UnixDevel Posted March 30, 2020 Report Posted March 30, 2020 Cateva resurse de boti deja construiti poate te ajuta https://github.com/topics/reddit-bot Quote
Dorel80 Posted March 30, 2020 Author Report Posted March 30, 2020 Multam! Sa vedem. Arunc un ochi dupa job! Quote
Dorel80 Posted April 7, 2020 Author Report Posted April 7, 2020 Deci am facut treaba asta ultimele zile: https://ibb.co/rx3X37d O haita de instante de chrome-uri headless, la care m-am conectat si cu puppeteer (dupe ce le-am instantat) si pe care - ca fapt divers - le afisez si ceea ce se vede (plus ca interfata aia e de fapt si interactiva, nu ajuta la automatizare dar na) Cu puppeteer pot programatic sa fac actiuni pe toate, ar fi magic sa pun mana toata suita de testare a alora de la reddit sa o bag in puppeteer :)))), as avea toate actiunile acolo numa gata sa fac tot cu ele in masa. Realitate bate filmul deci clar ca o sa scriu eu 'testele' de mana. Alea 12 instante din poza ruleaza pe un laptop acum (fara sa loveasca prea tare CPU, dar toate stau si o freaca, nu lucreaza), dar cred ca le voi pune pe ceva masina locala mai puternica cu o aroma de linux light, si acolo cred ca pot face linistit 50-60 instante. Opinii, pareri, feature requests ? Salut! Dorel 1 Quote
Tiberiu.Pop Posted April 8, 2020 Report Posted April 8, 2020 (edited) Salutare! Daca vrei sa mergi pe full paranoia iti recomand sa citesti urmatoarele articole https://antoinevastel.com/bot detection/2019/07/19/detecting-chrome-headless-v3.html si https://www.tenantbase.com/tech/blog/cat-and-mouse/. Doua articole foarte interesante despre fingerprinting-ul pe Chrome Headless. Edited April 8, 2020 by Tiberiu.Pop 1 Quote