Che Posted May 12, 2019 Report Posted May 12, 2019 (edited) Salut! Am un tabel .csv de 1100 coloane si peste 5 milioane de randuri. Vreau sa fac train pe el la un neural network, in python. Este vorba de Neural netwok si nu convolutional. Momentan am scriptul in python scris pentru procesor dar am de gand sa-l transform pentru CUDA ca pentru procesor posibil sa trebuiasca foarte mult timp sa fac train la neural net. Nu am placa video care sa suporte CUDA si de asta as vrea sa stiu ce varianta sa aleg: - sa-mi cumpar o placa video care sa suporte asta ? Care credeti ca ar face asta ? Am nevoie sa se antreneze in MAXIMUM 3-4 ore si nu mai mult. - sa apelez la un serviciu online pentru asta ? Care e mai avantajos si in acelasi timp sa fie simplu de utilizat, adica numai sa urc scriptul si aia e, nu sa imi mai bat capul cu diverse API-uri de ale lor ? Dupa cum sunt rezultate datele din acel csv eu trebuie sa antrenez NN dupa fiecare adaugare de noi date. E mai avantajos cu plata lunara sau sa platesc per utilizare doar atunci cand am nevoie ? Ce-mi recomandati? Cum e mai avantajos ? Multumesc mult! @Turry Edited May 12, 2019 by Che Quote
QuoVadis Posted May 12, 2019 Report Posted May 12, 2019 ON: Am folosit un Nvidia Tesla P100 gratuit timp de cateva ore prin Google Cloud. - facut cont de trial pentru $300 - adaugat card ca si metoda de billing (nu mi-au tras nici un ban) - creat VM cu slectia de P100 - trimis ticket la Google Compute Engine Quota Support sa dea enable la global attribute | GPUS_ALL_REGIONS pentru proiectul meu (in mai putin 24 ore mi-au aprobat, am bagat motiv credibil la request) - facut treaba ce am avut nevoie - dat cancel la billing, delete la vm, anulat tot. OFF: tot cu retelele neuronale ai ramas... 1 1 Quote
Guest Posted May 12, 2019 Report Posted May 12, 2019 Pentru uz personal, un GTX 1060 are destule CUDA cores în principiu. Și un 1660Ti ar fi interesant iarăși. Asta presupunând că nu e un proiect de amploare. Quote
yoyois Posted May 12, 2019 Report Posted May 12, 2019 (edited) Doame da-mi putere! E in tensorflow? daca e in Tensorflow 2.0 mie pe windows 10 ia crash tensorflow-gpu, ca e inca in beta. Am auzit ca VM lor linux merge mai bine. Daca e in altceva vezi daca are suport cuda engine-ul lor, ca altfel nu te ajuta. 2. Esti sigur ca arhitectura retelei e convergenta pe datasetul tau? ia un training set de 50,000 - 100,000 din alea 5 milioane + un testset de 10,000 - 20,000 si verifica daca e convergent. 5 milioane de puncte e exagerat pentru un training set, mai ales daca NN tau e dens pe tote layerele. Inainte sa arunci cu bani in fanteziile tale verifica pe scara mai mica daca e realistic ce vrei tu sa obtii. Eu prezic ca ai sa fii foarte dezamagit de rezultate. Edited May 12, 2019 by yoyois 2 1 1 Quote
Zatarra Posted May 12, 2019 Report Posted May 12, 2019 Guys ca tot ati deschis topicul, eu sunt praf pe domeniu asa dar sunt curios daca a rulat cineva tensorflow pe mai multe GPU-uri deodata pe acelasi OS. BTW, tensorflow merge super easy in docker. Quote
MihaiIonut Posted May 13, 2019 Report Posted May 13, 2019 https://www.khronos.org/opencl/ https://developer.nvidia.com/opencl OpenCL ar fi ca si librarie pentru a rula pe CUDA, are wrapper si pentru python. In orice caz, ce e asa special in use case-ul tau incat sa folosesti NN? Iti recomand mclust (RStudio) sau orice alt 3rd party tool pentru data mining, sunt destule. Cea mai "handy" solutie ramane cea a lui QuoVadis - fa un cont si profita de trial. Spor! 1 Quote
