Servere virtuale VPS si overselling - mituri si realitate

[Acidripp]

Pentru ca de foarte multe ori ne confruntam cu clienti de genul:

Andrei Apostol:

Andrei Apostol: cik cele mai ieftine vps

Andrei Apostol is typing...

Andrei Apostol: pe cand si cei de la hostico - alfahost dau vps mai ieftine

M-am hotarat sa va explic de ce unii provideri de hosting ofera preturi mici pentru anumite servicii si cum sa nu va luati teapa in acest domeniu.

Pentru inceput, vreau sa va explic ce este overselling-ul in domeniul serverelor virtuale:

Ideea care sta la baza principiului de Overselling in hosting este destul de simpla si se bazeaza pur si simplu pe statistici: sa zicem ca o firma de hosting ofera spre vanzare pachete de hosting care au un spatiu de 50 GB. Insa serverul pe care ofera aceste pachete de hosting are un singur HDD cu o capacitate de 100 GB, asa ca teoretic firma respectiva poate gazdui doar 2 pachete de hosting a cate 50 GB spatiu fiecare. In loc sa faca asta, firma vinde 5 pachete de hosting fiecare avand alocat spatiu de 50 Gb.

Cum poate face firma respectiva acest lucru? Ei bine, daca exista statistici ca spatiul folosit de catre clienti dintr-un astfel de pachet de 50 Gb este in medie de cel mult 15 GB, atunci un simplu calcul matematic ne arata ca spatiul ce va fi folosit de clientii care au cumparat cele 5 pachete de hosting nu va trece de 75 GB, care este mai putin decat capacitatea de 100 GB a HDD-ului de pe serverul respectiv.

Sursa: Ce este oversellingul in web hosting? | Blog Megahost.ro - noutati din industria de hosting si IT

In aceasta ordine de idei, va pot explica, de exemplu, cum firma noastra ofera pachete webhosting cPanel Unlimited la 5 euro/luna, noi avand un RAiD array de 6 HDD-uri SaS de 500GB si oferind pana la 100 de pachete de hosting (undeva la 30GB/client), dar sa revenim la VPS, deoarece aici se impute treaba...

Bazandu-se pe aceleasi formule, majoritatea firmelor de hosting VPS (atat din Romania, cat si din afara) impart resursele (procesor, ram, etc) la mai multi clienti.

Aici vreau sa va explic inca o chestie, ca raspuns la o intrebare de care ne lovim frecvent:

De ce NUMAI 100Mbps banda?

Este foarte simplu!

Sunt 100Mb pe SECUNDA!

Credeti, sau nu, aceasta banda este arhi-suficienta pentru 99% din clientii de hosting.

Sa luam un exemplu concret: Website speed test

Din acest test, putem vedea ca site-ul s-a incarcat in 3 secunde, facand 44 de requesturi si descarcand n total 333 kB, deci 111 kB/secunda.

O conexiune de 100Mbps va ofera o viteza REALA de 12.5 MB/s sau, mai exact, 12800 kB.

De aici rezulta ca pe o banda de 100Mbs, putem servi, IN ACEIASI SECUDA, 12800/111, adica 115 clenti.

Ce inseamna asta? Inseamna ca intr-o ora putem servi 414000 de requesturi UNICE, intr-o zi, 9936000!

Acum, spuneti-mi voi, cate website-uri cu 10 MILIOANE de afisari zilnice cunoasteti?

Ca sa facem un mic calcul, tot pentru site-ul de mai sus, avem: WebTrafficAnalysis - wta.server-romania.ro - Statistici - server-romania.ro

Facand o medie, TOTALA, de 13 afisari/vizitator. De aici, ar rezulta ca printr-o conexiune de 100Mbps putem servi ZILNIC un numar de 760000 (SAPTE sute saizeci de MII) de vizitatori UNICI.

Revenind acum la ale noastre (VPS-uri) putem sa ne folosim de niste formule asemanatoare si sa calculam ca unui client care a cerut 8GB RAM pentru un VPS, ii ajung in MEDIE 2-4GB, avand sa ziem si peak-uri de 8GB, dar si puncte idle de 512MB, sau mai putin.

Astfel, dupa cum v-am spus, majoritatea firmelor de hosting, fac overselling!

Ce inseamna asta mai exact!?

Daca au un server DEDICAT cu 16GB RAM, ei in loc sa ofere 2 masini virtuale (VPS) cu 8 GB RAM, vor oferi 4 (sau mai mult), deoarece sunt FOARTE MICI SANSE ca acei clienti sa foloseasca TOTI, SIMULTAN, cei 32GB RAM alocati, si asa "imprumuta" memorie unii de la altii, majoritatea clientilor nici macar nu sesizeaza acest lucru.

Acum, intrebarea care-mi vine in minte este "CUM vinzi 32GB Ram cand tu ai numai 16GB !?!?!?"

Simplu (se pare)!

Folosind sisteme de virtualizare care permit acest lucru! si anume OpenVZ si XEN!

Myth 1: Xen can't be oversold

False. Xen can be oversold just as easily as OpenVZ. Xen now supports ballooning which allows providers to oversell RAM just like OpenVZ. However, even before that, providers could oversell. Let me show you how below.

Non-oversold server with 30 1GB virtual servers:

Dual Xeon

32GB of RAM

4xRAID10

Oversold server with 60 1GB virtual servers:

Same Dual Xeon

64GB of RAM

2xRAID1

In this scenario, Xen would have no limitations, but the CPU and Disk I/O would be exhausted long before the 64GB of RAM. In fact, disk I/O is the most common bottleneck in VPS nodes. Xen has no protection against hosts overselling this.

Myth 2: Xen is faster than OpenVZ

False. OpenVZ and Virtuozzo are the fastest forms of virtualization due to their design. The OS level virtualization creates a system that performs similar to a native dedicated server. Xen and KVM can actually reduce system performance of upward of 10-15%, this can be shown by benchmarking the system before Xen is setup, then benchmarking after.

University of Michigan provided a study in 2007 about OpenVZ and Xen: source

Myth 3: OpenVZ is the most commonly oversold

Partially true. While OpenVZ may be the most commonly oversold, it is not because OpenVZ makes it easier to oversell than Xen, it is because OpenVZ is the most commonly used virtualization software with new hosts because of its history and ease of use.

Sursa: Overselling Explained: OpenVZ v. Xen - VPS Hosting - Web Hosting Talk

Acum, sa nu ma intelegeti gresit, DAR, daca un provider va ofera OpenVZ sau XEN, nu inseamna neaparat ca face overselling, desi sansele sunt de 90% ca sa o faca si, intr-un fel, pe buna dreptate

Who oversells?

Just about every hosting provider has some sort of resource oversold, whether it be network, CPU, RAM, disk, or other. In fact, if a provider is not overselling at some level, they are being somewhat inefficient. Overselling can be a good thing, but when abused can also cause harm.

Sursa: Overselling Explained: OpenVZ v. Xen - VPS Hosting - Web Hosting Talk

Ok, vreti un VPS care sa nu fie overselled?

No problem! Desi noi am implementat aceasta solutie inainte de a ne lovi de intrebarile despre overselling, exista si ESXi!

hi does any one know if i can over sell with vmware esxi 5 free vertion

1.) for exmple if i have 8 gb ram can i create 2 mechines with 8 gb ram ? (both will have 16 gm virtually) both will not use the total 8 gb.

2.) also can i oversell hard disk space ? i got a 1 tb drive can i create 4 X 500gb drives virtually but it'll only use less than 700 with all 4 drives.

3.) is it possible to assign static ips to vms from DHCP, i want to specily the mac and assign the ips

Iar raspunsul este:

Basicly you cant Oversell in ESXi, you can only allocate what you have available.

Sursa: over selling with VMWARE ESXI 5 - VPS Hosting - Web Hosting Talk

Acum, ca sa nu credeti ca mi fac reclama aiurea, vreau sa stiti ca am decis sa scriu acest tutorial pentru a raspunde unora la intrebari si pentru ca aceste lucruri poate va vor ajuta sa intelegeti mai bine resursele alocate VPS-ului pe care il cumparati.

Majoritatea acestor lucruri NU le stiam nici eu!

Edited August 1, 2013 by Acidripp

[Brenin]

E foarte de apreciat ca nu faci overselling, insa impactul asteptat de tine, sau mai bine zis opinia clientului, nu cred ca e cea dorita.

Ma refer aici la faptul ca, desi tu esti de treaba, si chiar faci ceea ce zici, efectele asupra clientului sunt aproape invisible. Asta in masura in care nu exagerezi.

Cum scrie si in post-ul tau , in sa zic 90% din cazuri, daca nu supra vinzi, nu esti eficient cu resursele tale, asta in cazul in care dispui intr-adevar de niste resurse decente.

Ma ocup si eu tot cu asta, vand vps-uri de ani buni, am facut diverse teste, iar pe cele pe care am fost 'baiat bun' si nu am supra vandut nimic, am ajuns ca pe un e3 1240v2 32gb 2x1TB SAS, cu 60 de clienti pentru pachetul de 512, sa am idle ram in peak time aproape 10gb. De asta, de obicei pe serverul sus mentionat, "indes" de voie aprox 90-95 clienti.

Ce vreau sa zic cu asta, sa nu se intelegeaba ca bat campii, este ca, in multe cazuri, ca si al meu, daca nu as supra vinde, as arunca niste bani de pomana pe alte servere, doar de dragu de a nu supra vinde.

Numarul de clienti "fortati" ca sa zic asa creste exponential cu servere mai bune, si in general nu apar probleme.

INSA, sunt si firme, gen santrex , care chiar o dau in nesimtire.

[Acidripp]

Nu mi-am pus niciodata problema asupra impactului la client, noi am ales ESXi din alte motive, dupa cum am spus, nu doresc sa imi fac reclama, ci doaream sa iluminez cateva persoane asupra a ceea ce cred ei ca platesc si asupra a ceea ce primesc in realitate, iar aici ma refer la alti provideri de hosting, sunt niste aspecte pe care, sincer, nici eu nu le cunosteam.

Cat despre overselling, eu intotdeauna incerc sa ii ofer clientului strict ceea ce are el nevoie, chiar daca el mi-a cerut altceva, prefer ca nici eu sa nu am resurse (platite ce-i drept) alocate aiurea, nici clientului sa nu-i iau banii pe ceva ce nu-i trebuie, de accea lumea trebuie sa inteleaga ca nu au nevoie de 5 GB ram si 2Gbps banda pentru un server de Counter-Strike, am client care ruleaza decent 5 servere de CS pe un dedicat celeron cu 1 GB ram.

Atunci cand va uitati la preturi, nu cautati un host care va ofera 5GB ram la pretul unuia cu 2GB, nu veti folosi acei rami, veti plati insa pentru ei ca sa-i foloseasca altcineva, trebuie sa va faceti tot timpul un calcul clar asupra a ce resurse aveti nevoie.

[bodostyle]

Alfahost e cel mai prost serviciu de hosting din Romania .Daca cineva floodeaza un site gazduit de ei pica inclusiv www.alfahost.ro .Exemplu : Las eu 5 minute acum sa vezi ca ii mananca banda inclusiv la alfahost.ro .Incearcati sa intrati pe alfahost.ro

[Acidripp]

Lol, e mort de curiozitate, da-i in http://www.purehost.ro cu floodu si vezi daca pica de exemplu https://www.rotunneling.net

[bodostyle]

Lol, e mort de curiozitate, da-i in http://www.purehost.ro cu floodu si vezi daca pica de exemplu https://www.rotunneling.net

Da, au picat amandoua ...o sa isi revina in vreo 9 minute ...cred...La alfahost am oprit si inca nu a revenit.

[Acidripp]

Mie-mi merg acum, o sa te rog daca poti duminica cand se intoarce Cheater sa mai dai odata sa vedem ce reguli trebuie puse in firewal. De curiozitate, ce tip de flood este?

Snortu nu-mi da alerte nu de alta:

08/01/13-16:46:23 2 UDP Attempted Denial of Service 68.157.81.27 Delete 0 93.120.84.224 0 123:13:2 click to add to suppress list (spp_frag3) Tiny fragment

08/01/13-16:46:23 2 UDP Attempted Denial of Service 68.157.81.27 Delete 0 93.120.84.224 0 123:13:2 click to add to suppress list (spp_frag3) Tiny fragment

08/01/13-16:46:03 2 UDP Attempted Denial of Service 89.222.226.65 Delete 0 93.120.84.224 0 123:13:2 click to add to suppress list (spp_frag3) Tiny fragment

08/01/13-16:46:02 2 UDP Attempted Denial of Service 89.222.226.65 Delete 0 93.120.84.224 0 123:13:2 click to add to suppress list (spp_frag3) Tiny fragment

08/01/13-16:45:49 2 UDP Attempted Denial of Service 219.166.165.123 Delete 0 93.120.84.224 0 123:13:2 click to add to suppress list (spp_frag3) Tiny fragment

08/01/13-16:45:24 2 UDP Attempted Denial of Service 70.25.19.122 Delete 0 93.120.84.224 0 123:13:2 click to add to suppress list (spp_frag3) Tiny fragment

[bodostyle]

Mie-mi merg acum, o sa te rog daca poti duminica cand se intoarce Cheater sa mai dai odata sa vedem ce reguli trebuie puse in firewal. De curiozitate, ce tip de flood este?

Snortu nu-mi da alerte nu de alta:

Iti dau privat , ca apoi le dau idei pustilor cu bani si streseaza lume nevinovata.

[Brenin]

Daca doresti, pot sa pornesc un dns reflection attack pe hostul tau pentru cateva minute pentru vedea despre ce e vorba si poate reusesti sa blochezi. Da-mi un pm cu un id si cand ai timp sa te uiti peste atac, oricine cu 10 servere si o lista de 4 mil recursive dns servers iti poate provoca ~1gbps flood.

[bodostyle]

Daca doresti, pot sa pornesc un dns reflection attack pe hostul tau pentru cateva minute pentru vedea despre ce e vorba si poate reusesti sa blochezi. Da-mi un pm cu un id si cand ai timp sa te uiti peste atac, oricine cu 10 servere si o lista de 4 mil recursive dns servers iti poate provoca ~1gbps flood.

Mai nou sunt copii ce isi fac pe servere CentOS de 12 GBPS sau 16 GBPS, nu se mai limiteaza la 1 sau 2 .

[Brenin]

Acid are banda de 200mbps, la el ma refeream.

[Acidripp]

La noi nu e vorba de banda, am avut un flood de 8Gbps pe care ni l-a filtrat foarte bine GTS-ul, insa metodele difera si doream sa vad cum putem implementa noi protectii in solutiile pe care la avem acum.

[Byte-ul]

https://rstforums.com/forum/72447-oferta-webhosting-unlimited-romania-5-euro-luna.rst

Si tu faci overselling, asa ca, sictir.

[Acidripp]

https://rstforums.com/forum/72447-oferta-webhosting-unlimited-romania-5-euro-luna.rst

Si tu faci overselling, asa ca, sictir.

am si mentionat in post ca facem!

...va pot explica, de exemplu, cum firma noastra ofera pachete webhosting cPanel Unlimited la 5 euro/luna, noi avand un ...

dar NUMAI la cPanel, eu aici vorbeam de VPS-uri, citeste cu atentie inainte sa te bagi in seama

Una este overselling-ul unui VPS unde platesti pentru anumite RESURSE si primesti altceva si alta este overselling-ul cpanel unde platesti resurse pe care stii ca le imparti cu alte persoane...

Edited August 4, 2013 by Acidripp