Vand 58K emailuri de firme & developeri Android

[shark0der]

Sunt incluse detaliile despre aplicatiile din paginile carora s-a extras emailul (numele aplicatiei, numele autorului, pretul aplicatiei, ratingul, numarul de voturi) ceea ce inseamna ca se pot targeta actiunile (se pot filtra de exemplu doar mailurile developerilor cu aplicatii free sau doar alea cu plata).

Toate mail-urile sunt de pe Google Play store colectate de mine personal. Planuiesc sa mai strang si altele (trebuie sa modific un pic scriptul ca sa descopar id-uri de aplicatii noi).

UPDATE: Am modificat scriptul si colectez adrese in continuare.

Mai multe detalii:

# numarul total de aplicatii in tabel

mysql> select count(*) from apps where state = 'done';
+----------+
| count(*) |
+----------+
|   156632 |
+----------+
1 row in set (0.00 sec)

Structura tabelului

- toate preturile sunt in $, asa cum le vezi cu un proxy de US ( vezi demo mai jos )

- state e doar pentru uz intern:

* "locked" e doar pentru a nu parsa aceeasi aplicatie in mai multe threaduri odata

* "error" se refera la aplicatiile pagina carora imi da 404 (au fost sterse de pe store inainte de a ajunge sa le parsez).

mysql> explain apps;
+--------+-----------------------------------------+------+-----+---------+----------------+
| Field  | Type                                    | Null | Key | Default | Extra          |
+--------+-----------------------------------------+------+-----+---------+----------------+
| id     | int(10) unsigned                        | NO   | PRI | NULL    | auto_increment |
| app_id | varchar(64)                             | YES  | UNI | NULL    |                |
| title  | varchar(32)                             | YES  |     | NULL    |                |
| author | varchar(64)                             | YES  |     | NULL    |                |
| email  | varchar(64)                             | YES  | MUL | NULL    |                |
| price  | varchar(16)                             | YES  | MUL | NULL    |                |
| rating | decimal(5,2)                            | YES  |     | NULL    |                |
| votes  | int(10) unsigned                        | YES  |     | NULL    |                |
| state  | enum('pending','locked','done','error') | YES  | MUL | NULL    |                |
+--------+-----------------------------------------+------+-----+---------+----------------+
9 rows in set (0.00 sec)

Numarul de mailuri unice in db (a se intelege ca acelasi mail se gasea la mai multe aplicatii de acelasi developer)

mysql> select count(*) from (select count(*) from apps where email like '%@%' group by email) x;
+----------+
| count(*) |
+----------+
|    58553 |
+----------+
1 row in set (0.00 sec)

Demo. Prefixul "mailto:" il pot sterge foarte usor, no worries.

mysql> select * from apps order by rand() limit 5 \G;
*************************** 1. row ***************************
    id: 115385
app_id: com.gau.go.launcherex.theme.Sira
 title: Sira GO LauncherEX Theme
author: ZT.art
 email: mailto:ztart.theme@gmail.com
 price: $1.99
rating: 4.50
 votes: 300
 state: done
*************************** 2. row ***************************
    id: 140109
app_id: com.androjunky.prop.delhi
 title: Delhi Real Estate Finder
author: Shamanth
 email: mailto:shamanth.murthy@gmail.com
 price: Free
rating: 4.50
 votes: 4
 state: done
*************************** 3. row ***************************
    id: 132382
app_id: org.marcus905.wifi.ace
 title: WiFi Advanced Config Editor
author: Marcus905
 email: mailto:marcus90@gmail.com
 price: Free
rating: 4.30
 votes: 464
 state: done
*************************** 4. row ***************************
    id: 17448
app_id: com.naturalapps.vinos
 title: My Wines
author: Natural Apps
 email: mailto:info@naturalapps.com
 price: $5.76
rating: 3.80
 votes: 14
 state: done
*************************** 5. row ***************************
    id: 14327
app_id: com.movingplayer.dragon
 title: Drag'On
author: MovingPlayer
 email: mailto:support@movingplayer.com
 price: Free
rating: 4.20
 votes: 107
 state: done
5 rows in set (0.54 sec)

Astept intrebari si oferte.

Edited August 24, 2012 by shark0der

[shark0der]

Dupa cum am zis, rulez scriptul in continuare si acum am 80K de mailuri.

[MrEnrich]

ai si un warn pt post dublu in continuare , oricum e interesanta oferta

[shark0der]

ai si un warn pt post dublu in continuare , oricum e interesanta oferta

Recunosc ca nu sunt un utilizator destul de experimentat in domeniul forumurilor, pentru ca nu petrec prea mult timp pe ele, dar nu am postat acelasi anunt de 2 ori. Cel putin asta e definitia double-post-ului pe wikipedia:

One common faux pas on Internet forums is to post the same message twice. Users sometimes post versions of a message that are only slightly different.

Am citit si regulamentul forumului, si punctul care se refera la double-posting:

3. NU se face double-post, adica post dublu. Daca postul tau este ultimul in topic si vrei sa mai adaugi ceva, foloseste butonul "Modifica".

da de inteles clar ca daca vrei sa adaugi ceva, nu trebuie sa copiezi tot postul inca o data ci sa-i faci update - asa am si facut prima oara cand am anuntat ca am modificat scriptul si continui colectarea de adrese. Dat fiind ca atunci cand am venit cu informatii noi erau mai mult de 24 de ore trecute de cand am inceput threadul, am considerat de cuviinta sa comunic noile informatii intr-un post nou. E ca si cum ai folosi "pardon" in vorbire: imediat dupa ce ai zis ceva si iti dai seama ca ai spus ceva gresit, daca vrei sa te corectezi sau sa adaugi ceva, spui "pardon", si zici ce ai de zis iar daca a doua zi vrei sa mai zici ceva, ar fi dubios sa spui "pardon" asa din senin, nu?

Imi cer scuze si promit sa nu mai fac pe viitor daca gresesc si se demonstreaza ca intr-adevar nu e asa cum zic.

Edited August 26, 2012 by shark0der