.dsy:it. - RAID da 15TB. Quale soluzione migliore?

.dsy:it. (http://www.dsy.it/forum/)
- Tech (http://www.dsy.it/forum/forumdisplay.php?forumid=189)
-- RAID da 15TB. Quale soluzione migliore? (http://www.dsy.it/forum/showthread.php?threadid=15802)

Posted by LazerPhEa on 08-12-2004 14:33:

RAID da 15TB. Quale soluzione migliore?

Ciao a tutti!
Devo trovare un modo per gestire 15TB di dati in flusso continuo sotto Linux, e stavo vagliando varie ipotesi.
Non avendo mai avuto esperienze simili in precedenza mi sono documentato, e ho pensato a questa soluzione:

- N. 8 disk array SCSI Acer altos S300 da 2TB l'uno

- N. 1 interfaccia SCSI Ultra160 dual channel per configurare il tutto in RAID 1

- LVM sotto Linux

Cosa dite? è una cazzata o ci può stare?
Qualcuno ha idee migliori?

Grazie e :ciaoo:

__________________
Questo è il giardino
Dove il principe muore
Nessun sentiero
Nessun destriero
Soltanto un nome... Eterno...

Posted by lord2y on 09-12-2004 14:37:

ma che devi fare scusa?

__________________
Linux User#271051
Only God can judge me, is that right?
Only God can judge me now
Only God baby, nobody else. All you other motherfuckers get out my business (2Pac)

Posted by Gwath on 09-12-2004 14:41:

Passa a Winzozz... :asd:

__________________
L'ombra si nasconde nella notte, laddove neanche l'occhio piu' allenato riesce a scorgerla...
Homo sapiens non urinat in ventum Non c'è birra senza spina La vita e` il dono piu` prezioso che Giove ci ha fatto (Ali G)
Mastro Birromane della Falange Alcolica...
Gwath Lumbule... as darkness falls, he comes out! Dark Shadow's Blog
Tu mi dai la forza per andare avanti... Non fermarti continua a spingere!!!

Posted by LazerPhEa on 09-12-2004 14:42:

Originally posted by lord2y
ma che devi fare scusa?

Memorizzarci su un pò di roba... :asd:

Comunque non è per me!

Piuttosto: idee?

__________________
Questo è il giardino
Dove il principe muore
Nessun sentiero
Nessun destriero
Soltanto un nome... Eterno...

Posted by LazerPhEa on 09-12-2004 14:43:

Originally posted by Gwath
Passa a Winzozz...

__________________
Questo è il giardino
Dove il principe muore
Nessun sentiero
Nessun destriero
Soltanto un nome... Eterno...

Posted by Gwath on 09-12-2004 14:44:

Originally posted by LazerPhEa
Memorizzarci su un pò di roba... PORNO!!!

Posted by Alf on 09-12-2004 14:48:

Re: RAID da 15TB. Quale soluzione migliore?

Originally posted by LazerPhEa
Ciao a tutti!
Devo trovare un modo per gestire 15TB di dati in flusso continuo sotto Linux, e stavo vagliando varie ipotesi.
Non avendo mai avuto esperienze simili in precedenza mi sono documentato, e ho pensato a questa soluzione:

- N. 8 disk array SCSI Acer altos S300 da 2TB l'uno

- N. 1 interfaccia SCSI Ultra160 dual channel per configurare il tutto in RAID 1

- LVM sotto Linux

Cosa dite? è una cazzata o ci può stare?
Qualcuno ha idee migliori?

Grazie e

Scusa ma ... perche' RAID 1 ?

__________________
(\ /)
( . .)
c('')('') This is Bunny!
Help her succeed in world domination by copy and pasting her in
your signature.

Posted by Alf on 09-12-2004 14:54:

Mhhh mi spiego meglio ...

Hai parlato di 15Tb (stika) di flusso di dati ...

La configurazione dipende molto da

1) Sicurezza necessaria
2) Performance necessarie
3) Budget disponibile (Non voglio sapere la cifra ma se e' un problema spendere "troppo")

__________________
(\ /)
( . .)
c('')('') This is Bunny!
Help her succeed in world domination by copy and pasting her in
your signature.

Posted by LazerPhEa on 09-12-2004 14:56:

Originally posted by Alf
Mhhh mi spiego meglio ...

Hai parlato di 15Tb (stika) di flusso di dati ...

La configurazione dipende molto da

1) Sicurezza necessaria
2) Performance necessarie
3) Budget disponibile (Non voglio sapere la cifra ma se e' un problema spendere "troppo")

Mi serve in RAID 1 perchè mi è stato chiesto il mirroring dei dati.
Non è un problema la spesa.

__________________
Questo è il giardino
Dove il principe muore
Nessun sentiero
Nessun destriero
Soltanto un nome... Eterno...

Posted by Alf on 09-12-2004 14:58:

Originally posted by LazerPhEa
Mi serve in RAID 1 perchè mi è stato chiesto il mirroring dei dati.
Non è un problema la spesa.

Ok lo sposto qui avevo editato il post precedente

EDIT:

Se non sbaglio la soluzione che hai proposto tu ha qualcosa di strano.
Parli di 15Tb di dati e poi metti 8 dischi da 2Tb in Mirror (Raid 1).

Cosi' hai solo 8Tb di dati disponibili ... no ?

__________________
(\ /)
( . .)
c('')('') This is Bunny!
Help her succeed in world domination by copy and pasting her in
your signature.

Posted by LazerPhEa on 09-12-2004 15:00:

Originally posted by Alf
Ok lo sposto qui avevo editato il post precedente

EDIT:

Se non sbaglio la soluzione che hai proposto tu ha qualcosa di strano.
Parli di 15Tb di dati e poi metti 8 dischi da 2Tb in Mirror (Raid 1).

Cosi' hai solo 8Tb di dati disponibili ... no ?

Sì.

__________________
Questo è il giardino
Dove il principe muore
Nessun sentiero
Nessun destriero
Soltanto un nome... Eterno...

Posted by Alf on 09-12-2004 15:03:

Se vuoi un RAID 1 ti servono il doppio di dischi per 15TB
Altrimenti puoi usare un RAID 5.
Li ti serve "solo" un 33% in piu' percio' 12 dischi

vantaggi svantaggi

Radi 1 ti costa di piu' (4 dischi) ma e' "piu' sicuro".
Questo perche' ti si possono rompere fino a 8 dischi (ovviamente di mirror diversi )
Nel raid 5 non puoi perdere piu' del 33% (se non ricordo male) ma non importa quali dischi sono conta solo il numero.

Cmq devi vedere anche il tipo di accesso ai dischi.
Hai pochi file enormi o tantissimi file che continuamente hanno accessi ?
Questo per vedere se usare anche lo striping RAID 0+1 (inutile farlo se hai solo 1 file riempito)

__________________
(\ /)
( . .)
c('')('') This is Bunny!
Help her succeed in world domination by copy and pasting her in
your signature.

Posted by Alf on 09-12-2004 15:04:

Originally posted by LazerPhEa
Sì.

Ma all'inizio parlavi di 15TB di dati ...

forse ho capito male ...

Cmq quel che ho detto e' lo stesso cambiano solo le dimensioni

P.S.

Ho letto il mio post precedente ..
Oddio ... Italiano lingua morta ... :look:

__________________
(\ /)
( . .)
c('')('') This is Bunny!
Help her succeed in world domination by copy and pasting her in
your signature.

Posted by LazerPhEa on 09-12-2004 15:06:

Originally posted by Alf
Ma all'inizio parlavi di 15TB di dati ... forse ho capito male ...

Cmq quel che ho detto e' lo stesso cambiano solo le dimensioni

Se ho parlato di 15TB in RAID 1 mi sembra ovvio che siano 7.5TB di dati e 7.5TB di mirror, no?

__________________
Questo è il giardino
Dove il principe muore
Nessun sentiero
Nessun destriero
Soltanto un nome... Eterno...

Posted by Alf on 09-12-2004 15:11:

Originally posted by LazerPhEa
Se ho parlato di 15TB in RAID 1 mi sembra ovvio che siano 7.5TB di dati e 7.5TB di mirror, no?

No tu hai iniziato dicendo "Devo trovare un modo per gestire 15TB di dati in flusso continuo sotto Linux"

Per quello non capivo pensavo avessi sbagliato a sccrivere RAID 1

Cmq poco importa basta essersi chiariti.

Come soluzione non mi sembra sbagliata (resta il fatto dell'eventuale 0+1)

Unica cosa c'e' da valutare il RAID5.
Come ti dicevo nel raid5 puoi perdere fino al 33% di dischi contemporaneamente e casuali.
Con RAID 1 puoi perdere fino al 50% di dischi ma basta che tu perda anche solo 1 disco e il suo mirror e hai perso i dati.

Ma cmq e' un caso estremo quello in cui perdi piu' dischi contemporaneamente.

EDIT:

Ah scordavo fra RAID 1 e RAID 5 hai anche qualche differenza di performance a seconda del tipo di operazioni che devi fare ...

__________________
(\ /)
( . .)
c('')('') This is Bunny!
Help her succeed in world domination by copy and pasting her in
your signature.

Posted by lord2y on 10-12-2004 00:12:

Uhm...usare un RAID 0+1

Ma quanta roba dovete metterci sopra sta macchina?

Un'altra idea che mi sovviene: cluster HB.
due macchine da 15Tb l'una mirrorate insieme. Onestamente credo sia più performante, soprattutto se il volume di dati deve essere trasferito via rete (che spero sia in Gb).

Okkio che Urbani ti osserva :asd:

__________________
Linux User#271051
Only God can judge me, is that right?
Only God can judge me now
Only God baby, nobody else. All you other motherfuckers get out my business (2Pac)

Posted by LazerPhEa on 10-12-2004 00:31:

Originally posted by lord2y
Uhm...usare un RAID 0+1

Ma quanta roba dovete metterci sopra sta macchina?

Un'altra idea che mi sovviene: cluster HB.
due macchine da 15Tb l'una mirrorate insieme. Onestamente credo sia più performante, soprattutto se il volume di dati deve essere trasferito via rete (che spero sia in Gb).

Okkio che Urbani ti osserva

No, nessun cluster HB... :alsono:

disk-array collegati alla sorgente dei dati in SCSI (Ultra160).

__________________
Questo è il giardino
Dove il principe muore
Nessun sentiero
Nessun destriero
Soltanto un nome... Eterno...

Posted by Alf on 10-12-2004 01:30:

Originally posted by lord2y
Uhm...usare un RAID 0+1

Ma quanta roba dovete metterci sopra sta macchina?

Un'altra idea che mi sovviene: cluster HB.
due macchine da 15Tb l'una mirrorate insieme. Onestamente credo sia più performante, soprattutto se il volume di dati deve essere trasferito via rete (che spero sia in Gb).

Okkio che Urbani ti osserva

Perche' mai dovrebbe essere piu' performante !??!
Anzi e' uno spreco inutile ... un cluster lo usi se devi avere due macchine che hanno su entrambi processi o al limite che si facciano semplicemente da backup per i processi.
Se devi gestire solo i dati lo fai direttamente sui dischi.
Piuttosto ti prendi del ferro che fa RAID HW.

E come dicevo RAID 0+1 ha senso solo in certi casi.
In altri e' inutile.

Ah Lazer per quanto riguarda il tipo di HW (marca e modelli) non so assolutamente che dirti.
Non so se gli Acer siano adatti o facciano schifo e siano piu' affidabili altri.
Da sto punto di vista non so assolutamente nulla ...

__________________
(\ /)
( . .)
c('')('') This is Bunny!
Help her succeed in world domination by copy and pasting her in
your signature.

Posted by lord2y on 10-12-2004 17:50:

Originally posted by Alf
Perche' mai dovrebbe essere piu' performante !??!
Anzi e' uno spreco inutile ... un cluster lo usi se devi avere due macchine che hanno su entrambi processi o al limite che si facciano semplicemente da backup per i processi.
Se devi gestire solo i dati lo fai direttamente sui dischi.
Piuttosto ti prendi del ferro che fa RAID HW.

bha spreco inutile nn credo...Visto che cmq sta mole di dati la devi gestire in qualche modo...Sarà che poi sono nel periodo clustering :asd:

Anyway credo che un RAID sia la soluzione OTTIMA (ma nn la più esotica) come direbbe qualcuno :asd:

__________________
Linux User#271051
Only God can judge me, is that right?
Only God can judge me now
Only God baby, nobody else. All you other motherfuckers get out my business (2Pac)

Posted by REQUIEM on 10-12-2004 23:38:

si ma cancellali un pò di porno... mica te li puoi tenere tutti...

Posted by Alf on 11-12-2004 02:08:

Originally posted by lord2y
bha spreco inutile nn credo...Visto che cmq sta mole di dati la devi gestire in qualche modo...Sarà che poi sono nel periodo clustering
Anyway credo che un RAID sia la soluzione OTTIMA (ma nn la più esotica) come direbbe qualcuno

Si ovvio ma visto che non sai come la deve gestire e lui ha parlato di esigenze di semplici dati e non processi suppongo non gli serva un cluster

Poi magari non e' cosi' ma da quel che ha detto ... :prr:

Periodo cluster ? cioe ?

Provo a pensare una soluzione piu' esotica ...

__________________
(\ /)
( . .)
c('')('') This is Bunny!
Help her succeed in world domination by copy and pasting her in
your signature.

Posted by jdhoring on 11-12-2004 15:24:

Raccomando il RAID-5 con 5 dischi SCSI, così risparmi ma mantieni una buona fault-tolerance (non succede niente se si spacca uno dei 5 dischi).

Ma il RAID deve fartelo il ferro, mi raccomando. Trovane uno buono.

__________________
Furbo è colui che è molto bravo a togliersi da quei guai in cui il saggio non si sarebbe mai cacciato

Il bravo motociclista è come un buon amante: ha equilibrio, giudizio e tempismo.

Nessuna forma d'amore ha tanto rispetto per la libertà dell'altro come l'amicizia.

Posted by Alf on 11-12-2004 17:05:

Originally posted by jdhoring
Raccomando il RAID-5 con 5 dischi SCSI, così risparmi ma mantieni una buona fault-tolerance (non succede niente se si spacca uno dei 5 dischi).

Ma il RAID deve fartelo il ferro, mi raccomando. Trovane uno buono.

...
Veramente non succede nulla anche con il RAID 1 se si spacca un disco.

Sul fatto di farlo HW beh come dicevo sarebbe piu' performante.
Ma ti costa molto di piu'.
Dipende che esigenze hai.

Una cosa.
Consiglio, qualunque RAID tu voglia usare, di mettere dei dischi SPARE nella configurazione del LVM

Aumenti la sicurezza di molto.

__________________
(\ /)
( . .)
c('')('') This is Bunny!
Help her succeed in world domination by copy and pasting her in
your signature.

Posted by LazerPhEa on 11-12-2004 17:24:

Originally posted by jdhoring
Ma il RAID deve fartelo il ferro, mi raccomando. Trovane uno buono.

Questo può essere un problema: io ho trovato del silicio che fa 'sta cosa... va bene lo stesso?

:asd:

__________________
Questo è il giardino
Dove il principe muore
Nessun sentiero
Nessun destriero
Soltanto un nome... Eterno...

Posted by jdhoring on 11-12-2004 17:52:

Originally posted by LazerPhEa
Questo può essere un problema: io ho trovato del silicio che fa 'sta cosa... va bene lo stesso?

Off-Topic:

Si... ma lo devi fondere e stamparlo in una forma di tronco di cono abbastanza allungato, con degli anelli toroidali di lato ed un mezzo ellissoide in cima...
Poi puoi testarlo di persona e portarlo a Martina, da vendere...

Posted by jdhoring on 11-12-2004 17:54:

Originally posted by Alf
...
Veramente non succede nulla anche con il RAID 1 se si spacca un disco.

... Solo che col RAID 1 hai il 100% di ridondanza, col RAID5 a 5 dischi hai solo il 20% di ridondanza. Risparmi 3 dischi ma hai la stessa sicurezza...

Posted by LazerPhEa on 11-12-2004 18:07:

Originally posted by jdhoring
Off-Topic:

Si... ma lo devi fondere e stamparlo in una forma di tronco di cono abbastanza allungato, con degli anelli toroidali di lato ed un mezzo ellissoide in cima...
Poi puoi testarlo di persona e portarlo a Martina, da vendere...

Quando finisco la tesi te lo renderizzo! :lol:

__________________
Questo è il giardino
Dove il principe muore
Nessun sentiero
Nessun destriero
Soltanto un nome... Eterno...

Posted by LazerPhEa on 11-12-2004 18:11:

Originally posted by jdhoring
... Solo che col RAID 1 hai il 100% di ridondanza, col RAID5 a 5 dischi hai solo il 20% di ridondanza. Risparmi 3 dischi ma hai la stessa sicurezza...

Piccola precisazione: non si tratta di dati ridondati, ma di parity blocks .

Nella configurazione RAID1 invece hai il mirroring fisico delle informazioni.

__________________
Questo è il giardino
Dove il principe muore
Nessun sentiero
Nessun destriero
Soltanto un nome... Eterno...

Posted by jdhoring on 11-12-2004 18:48:

OK la tua precisazione. Il concetto applicativo è ottenere le performance dello striping senza subire la penalizzazione di affidabilità che ne conseguirebbe. Il RAID 5 consente questo minimizzando il costo aggiuntivo.

All times are GMT. The time now is 14:31.

Show all 29 posts from this thread on one page