Replacing all instances of the word “cloud” with “somebody else’s computer” might make organisations stop and think about the security implications of cloud computing. – Graham Culey
Rimpiazzare tutte le istanze della parola “cloud” con “computer di qualcun altro” può far fermare le organizzazioni a riflettere riguardo le implicazioni di sicurezza del cloud computing – Graham Culey
Al di la di questa citazione, che ci piaceva riportare, diversi sono i motivi per cui grosse aziende pensano ai servizi cloud. Tra i vari motivi, alcune lo fanno per non doversi sobbarcare i costi di gestione di un datacenter e di acquisto hardware, altri per avere più elasticità nell’aumentare o ridurre il parco macchine, altre per moda.
Dropbox, fino ad ora, ha sempre optato per una soluzione “mista”: tutti i dati finali degli utenti venivano salvati su un servizio cloud, l’Amazon Simple Storage Solution (S3), mentre sui loro server venivano mantenuti i metadati di quanto salvato.
Due anni fa, a seguito della sua crescita (Dropbox conta all’incirca 500 milioni di utenti), hanno deciso di abbandonare il cloud di Amazon per iniziare a mantenere loro stessi i dati degli utenti. Sono arrivati ad una mole di dati tale che il costo di gestione su cloud era maggiore di quello autonomo (in-housing).
Questo ha portato Dropbox ad iniziare a pensare (ed implementare) alcune soluzioni che gli permettessero, in un primo momento, di mantenere una gestione trasparente tra quanto presente su Amazon e quanto presente sui loro sistemi. Successivamente, data la mole di dati, di implementare un proprio hardware che permettesse di gestire comodamente tutti quei dati.
La parte hardware, sviluppata internamente sull’idea dell’Open Compute lanciata da Facebook (anche se, purtroppo, con specifiche non rilasciate pubblicamente), ha preso il nome di Diskotech, e si tratta di apparati di dimensione “ridotta” (46cm x 107cm x 15cm) in grado di contenere fino ad 1 Petabyte (1024 Terabyte) di dati.
In parallelo è stato sviluppato Magic Pocket, uno strato software in grado di gestire i dati su sistemi multipli (e fisicamente anche distanti) in maniera trasparente e, a detta di Dropbox, più ottimizzata rispetto ad S3 di Amazon. Inizialmente Magic Pocket era stato sviluppato in Go, un linguaggio di programmazione OpenSource creato da Google, ma quando è stato portato sull’hardware di Dropbox ha mostrato alcuni “limiti”: il memory footprint (la quantità di memoria che un software usa o richiede durante la sua esecuzione) generata da Go risultava troppo elevata, ed è quindi stato portato il tutto in Rust, un’altro linguaggio OpenSource sviluppato da Mozilla.
L’intera storia della migrazione è stata pubblicata da Wired (in fondo il link all’articolo) ed è veramente interessante sia per capire le complessità che una progettazione e successiva migrazione così estese hanno richiesto di affrontare, sia per stupirsi di fronte agli ordini di grandezza su cui hanno dovuto lavorare.
Digitally moving petabytes of data from one machine to another isn’t exactly on the same scale as downloading a few songs for your laptop. Even the fattest Internet pipes only have so much bandwidth. Transferring four petabytes of data, it turned out, took about a day. “You’re restricted by the speed of light,”
Muovere digitalmente petabyte di dati da una macchina all’altra non è esattamente sulla stessa scala che scaricare alcune canzoni sul tuo portatile. Solo le più grosse “dorsali” Internet hanno così tanta banda. Trasferire quattro petabyte di dati, alla fine, richiedeva circa un giorno. “Sei limitato dalla velocità della luce”
Sarà anche un limite, ma 4 petabyte al giorno (considerando che le macchine si trovavano geograficamente distanti, da una parte nel datacenter di Amazon, dall’altra in quello di Dropbox), ma personalmente mi sembra impressionante come valore.
Parlando invece dell’installazione hardware
The company was installing forty to fifty racks of hardware a day, each rack holding about eight individual machines
L’aziena ha installato da 40 a 50 rack di hardware ogni giorno, ogni rack mantiene circa otto macchine individuali [Diskotech, ndt.]
Anche qui, considerando che ogni Diskotech è in grado di mantenere 1 petabyte, stiamo parlando di 320 petabyte di storage installato ogni giorno, nel peggiore dei casi.
Non possiamo che fare i nostri complimenti.
Utente Linux/Unix da più di 20 anni, cerco sempre di condividere il mio know-how; occasionalmente, litigo con lo sviluppatore di Postfix e risolvo piccoli bug in GNOME. Adoro tutto ciò che può essere automatizzato e reso dinamico, l’HA e l’universo container. Autore dal 2011, provo a condividere quei piccoli tips&tricks che migliorano il lavoro e la giornata.
Lascia un commento