Jump to content
Sign in to follow this  
Che

CUDA ?

Recommended Posts

Salut!

 

Am un tabel .csv de 1100 coloane si peste 5 milioane de randuri.

Vreau sa fac train pe el la un neural network, in python. Este vorba de Neural netwok si nu convolutional.

Momentan am scriptul in python scris pentru procesor dar am de gand sa-l transform pentru CUDA ca pentru procesor posibil sa trebuiasca foarte mult timp sa fac train la neural net.

Nu am placa video care sa suporte CUDA si de asta as vrea sa stiu ce varianta sa aleg:

- sa-mi cumpar o placa video care sa suporte asta ? Care credeti ca ar face asta ? Am nevoie sa se antreneze in MAXIMUM 3-4 ore si nu mai mult.

- sa apelez la un serviciu online pentru asta ? Care e mai avantajos si in acelasi timp sa fie simplu de utilizat, adica numai sa urc scriptul si aia e, nu sa imi mai bat capul cu diverse API-uri de ale lor ? Dupa cum sunt rezultate datele din acel csv eu trebuie sa antrenez NN dupa fiecare adaugare de noi date. E mai avantajos cu plata lunara sau sa platesc per utilizare doar atunci cand am nevoie ? 

Ce-mi recomandati? Cum e mai avantajos ?

Multumesc mult!

@Turry

Edited by Che

Share this post


Link to post
Share on other sites

ON:

Am folosit un Nvidia Tesla P100 gratuit timp de cateva ore prin Google Cloud.

- facut cont de trial pentru $300

- adaugat card ca si metoda de billing (nu mi-au tras nici un ban)

- creat VM  cu slectia de P100

- trimis ticket la Google Compute Engine Quota Support sa dea enable la global attribute |  GPUS_ALL_REGIONS pentru proiectul meu (in mai putin 24 ore mi-au aprobat, am bagat motiv credibil la request)

- facut treaba ce am avut nevoie

- dat cancel la billing, delete la vm, anulat tot.

 

OFF: tot cu retelele neuronale ai ramas... :-j

  • Thanks 1
  • Upvote 1

Share this post


Link to post
Share on other sites

Pentru uz personal, un GTX 1060 are destule CUDA cores în principiu. Și un 1660Ti ar fi interesant iarăși. Asta presupunând că nu e un proiect de amploare.

  • Upvote 1

Share this post


Link to post
Share on other sites

Doame da-mi putere!

 

E in tensorflow? daca e in Tensorflow 2.0 mie pe windows 10 ia crash tensorflow-gpu, ca e inca in beta. Am auzit ca VM lor linux merge mai bine.

Daca e in altceva vezi daca are suport cuda engine-ul lor, ca altfel nu te ajuta.

 

2. Esti sigur ca arhitectura retelei e convergenta pe datasetul tau? ia un training set de 50,000 - 100,000 din alea 5 milioane + un testset de 10,000 - 20,000 si verifica daca e convergent.

5 milioane de puncte e exagerat pentru un training set, mai ales daca NN tau e dens pe tote layerele.

 

Inainte sa arunci cu bani in fanteziile tale verifica pe scara mai mica daca e realistic ce vrei tu sa obtii. Eu prezic ca ai sa fii foarte dezamagit de rezultate.

Edited by yoyois
  • Like 2
  • Thanks 1
  • Upvote 1

Share this post


Link to post
Share on other sites

Guys ca tot ati deschis topicul, eu sunt praf pe domeniu asa dar sunt curios daca a rulat cineva tensorflow pe mai multe GPU-uri deodata pe acelasi OS. BTW, tensorflow merge super easy in docker.

Share this post


Link to post
Share on other sites

https://www.khronos.org/opencl/

 

https://developer.nvidia.com/opencl

 

 

OpenCL ar fi ca si librarie pentru a rula pe CUDA, are wrapper si pentru python.

 

In orice caz, ce e asa special in use case-ul tau incat sa folosesti NN? Iti recomand mclust (RStudio) sau orice alt 3rd party tool pentru data mining, sunt destule.

 

Cea mai "handy" solutie ramane cea a lui QuoVadis - fa un cont si profita de trial.

 

Spor! :P

  • Upvote 1

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

×
×
  • Create New...