Author Topic: Mirror dilema - GEOM Raid1 ili ZFS zpool mirror (ili oba)?  (Read 1515 times)

uporna_neznalica

  • Sr. Member
  • ****
  • Posts: 447
Mirror dilema - GEOM Raid1 ili ZFS zpool mirror (ili oba)?
« on: August 09, 2016, 05:08:00 pm »
Instalirao sam FreeBSD 10-3 stable na usb i na 32-bitnom P4 (Prescot, 2GB RAM) pokusavam da od 2 ATA HDD napravim mirror storage. Posto po obicaju ne hvatam nove stvari bas najbrze (odnosno, hvatam ih zadovoljavajucom brzinom...s obzirom na godine), ljubazno molim objasnjenje:

1) Softverski RAID1 napravim od neformatiranih diskova, formatiram fajlsistmom po zelji (pokusavao freebsd-zfs) i montiram kako se snadjem (do sada dva puta pogresno konfigurisan /etc/fstab), prema uputstvu sa http://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/geom-mirror.html

Problematican deo kod RAID1 mi je:
Code: [Select]
# gpart bootcode -b /boot/mbr mirror/gm0
# gpart set -a active -i 1 mirror/gm0
# gpart bootcode -b /boot/boot mirror/gm0s1

jer ne razumem da li treba da stavljam bootcode na mirror od dva hdd kada se boot odvija sa usb diska.

2) Iz ZFS quickstart http://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/zfs-quickstart.html i man zpool zakljucim da je moguce kreirati mirror zpool, sto i obavim komandom
Code: [Select]
#zpool create example mirror ada0 ada1
a, df -h, mount, zpool status i zpool list me ubedjuju da je sve u redu, iako su ada0 i ada1 sirovi, odnosno, nisu formatirani zfs, s tim sto je
Code: [Select]
#mount
...
example on /example (zfs, local, nfsv4acls)

kao sto i pise u handbook, ali ne kapiram sta treba da upisem u /etc/fstab da bih imao kreirano zpool nakon reboot.?

3) Pretposavljam da je moguce kreirati GEOM Raid1 i onda na Raid1 nabaciti zfs zpool kao na jedan obican hdd. Sta bi bili pros and cons za ovakav pristup?

'Fala unapred.

Oko

  • Administrator
  • Hero Member
  • *****
  • Posts: 991
Odg: Mirror dilema - GEOM Raid1 ili ZFS zpool mirror (ili oba)?
« Reply #1 on: August 12, 2016, 02:08:01 am »
Samim time sto koristite 32-bit P4 (Prescot, 2GB RAM) doveli ste sebe u sah-mat poziciju. Ne znam gde da pocnem.

Moderni file sistemi kao sto su HAMMER na DragonFly BSD-iju ili ZFS o kome cu reci nesto vise zahtevaju 64-bitne racunare. Sta vise ZFS zahteva ECC RAM tako da zahteva bolje maticne ploce koje ovde u Americi kostaju dvesta dolara pa navise. A bogami je i ECC RAM skuplji od obicnog RAM-a. Sta vise ja ZFS zahteva ogromnu kolicinu RAM-a zato sto ima svoj sopstveni cache system baziran na ARC algorithm-u. Uzgred budi receno ARC algorithm je IBM-ov patent tako da svi koji koriste ZFS na FreeBSD-iju kao sto to ja cinim na poslu trebaju da imaju plan u slucaju da od sutra FreeBSD ne postoji zbog sudskog spora sa IBM-om. 16 GB je po meni minimum za bilo kakvu pricu. Znaci odmah zaboravite ZFS.

Vidim da ste malo zbunjeni cinjenicom da je ZFS ne samo file system vec i volume manager (software RAID) tako da ga netreba ni pominjati u istoje recenici sa GEOM ili hardware RAID kartama. ZFS zahteva takozvane HBA Host Bus Adapter kada je broj hard diskova veci od broja SATA prikljucaka na maticnoj ploci.
Vasa jedina opcija za redundancy (ne znam da li za to postoji rec u srpskom jeziku) je software RAID 1. Nisam sigurn da vam je redundancy uopste potrebna. LJudi mesaju redundancy sa backup-om. Mi na poslu koristimo redundancy da mozemo da koristim file server kada disk crkne ili dok ga ja menjam. Backup je posebna prica. Mogu da napisem knjigu o backup-u.  Vi ste dobro poceli sa citanje dokumentacije za GEOM ako vam je stvarno potrebna redundancy.

https://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/geom.html

Koristite Google prevodioc ako vam je engleski slab da prevedete

https://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/geom-mirror.html

Kada formirate software-ski RAID kreirate UFS file system bas kao da se radi o normalnom hard disku i to je to. Ako zelite Journaling procitajte (to je drugaciji tip journala od ZFS-a ili HAMMER-a)  i ovo

https://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/geom-gjournal.html


Moj licni stav je da je starudiji tipa Pentum 4 mesto na djubristu posebno ako su vam podaci dragi. Isto vazi i za ljude koji koriste starudiju za firewall sto je kritican deo infrastrukture.

 

Za svoj kucni file server ja sam kupio za $39 (sa nekim kuponom)

 http://www.newegg.com/Product/Product.aspx?Item=N82E16813135350

Nista posebno ali DragonFly pici li pici. Instalirao sam OS na 32GB SSD-iju koji je povezan preko Addonics PCIe karte (na zalost BIOS ne boot-uje sa PCIe tako da je povezan sa SATA gajtanom).koji je neko bacio na poslu a podaci su na HAMMER mirroru 2x2TB (HAMMER mirror stream sto nije isto sto i software RAID 1). Maticna ploca je imala ako me secanje dobro sluzi 4 6Gb/s SATA prikljucka tako da mi hardware RAID carta nije bila potrebna. Sve u svemu napravio sam mahinu za oko 150 dolara.
$150 je mali deo moje mesene zarade ovde u Americi. Mogu da zamislim sta bih radio u Srbiji gde su plate 200-300 dolara (pricam o normali u unutrasnjosti) i sad neko hoce da pravi kompjuter od delova koji su tamo duplo skuplji nego ovde.




ZFS kao sto rekoh zahteva 64-bitni racunar, tonu do dve ECC memorije i po meni nije za kucnu upotrebu cak i ako covek sebi to moze da priusti. Kao sto rekoh ZFS nije samo file sistem vec je ujedno i volume menager sto znaci da on u sebi vec sadrzi software RAID. Ljudi to ili obozavaju ili nijsu bas ludi za time. Ja licno vise volim hardware RAID kada radim stvari za pare ali te karte kostaju $700 i jace. Kod upotrebe hardware RAID-a i glavni je provlem da je jedini ozbiljan file system koji moze da se koristi HAMMER a DragonFly-u (ZFS se ne stavlja na hardware RAID) kome fali dosta toga da bi mogao da ga picim na 100-200 file servera od kojih mi zivot zavisi. Procitajte moje poruke na ovom thread-u ako vas zanima ta tema (https://forums.freebsd.org/threads/57112/)



« Last Edit: August 12, 2016, 04:04:35 pm by Oko »

uporna_neznalica

  • Sr. Member
  • ****
  • Posts: 447
Odg: Mirror dilema - GEOM Raid1 ili ZFS zpool mirror (ili oba)?
« Reply #2 on: August 18, 2016, 12:11:50 am »
Samim time sto koristite 32-bit P4 (Prescot, 2GB RAM) doveli ste sebe u sah-mat poziciju. Ne znam gde da pocnem.
...

Hvala Vam na iscrpnom odgovoru.

32-bitni P4 koristim jer mi je trenutno slobodan za tu namenu. Da mi je pri ruci nesto 64 bitno sigurno bih testirao i HAMMER. Malo vezbam za eventualnu BSD sertifikaciju, malo selim postojece podatke, malo razradjujem zamisljeni setup, koji bi trebalo da bude postavljen (kada kupim diskove) na simple tech eksterni storage sa nekakvom RAID karticom http://www.ebay.com/itm/New-SimpleTech-Dual-Pro-drive-3-5-USB-2-0-eSata-RAID-Portable-Storage-Enclosure-/201364946078?hash=item2ee2493c9e koji bi trebalo da bude prikljucen ili na neki ARM signle board http://www.ebay.com/itm/Banana-Pro-singel-board-computer-board-with-WiFi-Heatsink-Sata-Line-/201263540777?hash=item2edc3dea29 (na kome za sada ne uspevam da poteram FreeBSD, jer sam, trazeci gigabitnu mreznu karticu prevideo da BananaPro nije isto sto i BananaPi M2 http://www.ebay.com/itm/New-BPI-M2-Banana-Pi-M2-A31S-Quad-Core-1GB-RAM-singel-board-computer-/221855817864?hash=item33a7a32088:g:9iwAAOSwNSxVJ2w1 koja je podrzana na FreeBSD https://wiki.freebsd.org/FreeBSD/arm/Allwinner ) ili, verovatnije, na APU2 http://pcengines.ch/apu2c4.htm sa 32Gb mSata karticom. Problem sa APU2 je sto na njemu zamisljen OpenBSD, pa cu verovatno morati da investiram u jos jedan.

Firewall je https://www.amazon.com/Ubiquiti-EdgeMax-EdgeRouter-ERLite-3-Ethernet/dp/B00CPRVF5K (shipping kurirom, spedicija, carina i porez na sve to kostali su me za njega djavo i po - za Srbiju treba narucivati samo i iskljucivo dostavu postom)

Inace, sve sam Vase tekstove na freebsd i daemon forumima u pogledu ZFS vec procitao pre nego sto sam krenuo u ovu pustolovinu. Bas bih voleo da procitam Vasu knjigu o backup, ako ni zbog cega da se hvalim okolo da sam sa autorom nekada bio na ti, a vise nisam, ali ne svojom zeljom ni krivicom.

P.S. S obzirom da u USA patent traje 17 godina od prijave, dobre su sanse da je IBM-ov patent na ARC algoritam tamo istekao. Ako jos nije, ubrzo ce isteci.

soxxx

  • Administrator
  • Hero Member
  • *****
  • Posts: 1438
Odg: Mirror dilema - GEOM Raid1 ili ZFS zpool mirror (ili oba)?
« Reply #3 on: August 24, 2016, 10:02:10 pm »
@uporna_neznalica

Koliko te je na kraju izasao ERLite3? :)

Ako zelis samo jednostavan i relativno jeftin backup kucni server koji ne trosi previse struje, onda moze neki arm, ja imam BPi M1 i na njega prikacen jedan HDD. Sluzi mi za kucni backup stvari, tako da stvarno ne znam kakav je sa zvukom. Na njemu je NetBSD, i mislim da je sve podrzano. Disk sam podelio da dve particije, jednu eksportujem preko iSCSI a drugu preko SAMBA-e - oba do Windows 10 laptopa.
Trosi struju ko upaljac. :)

Vidis, ona profina varijanta gore izgleda dobro sa tim integrisanim Intelovim CPU, ne znam samo koliko je kod nas takva ploca.
The best way to learn UNIX is to play with it, and the harder you play, the more you learn.
If you play hard enough, you'll break something for sure, and having to fix a badly broken system is arguably the fastest way of all to learn. -Michael Lucas, AbsoluteBSD

uporna_neznalica

  • Sr. Member
  • ****
  • Posts: 447
Odg: Mirror dilema - GEOM Raid1 ili ZFS zpool mirror (ili oba)?
« Reply #4 on: August 27, 2016, 09:28:57 pm »
@uporna_neznalica
...

ERLite3 me je izasao cca 22.000,00 RSD (oko 190 E), kupio preko Slovenaca NV Elektronika, poslali mi iz Italije kurirskom sluzbom, pa onda na to spedicija, pa na to carina, pa na sve to PDV. K'o bos po trnju. Za te pare sam mog'o ovde da pazarim ERLite8 (mada ne znam sta bih sa 8 portova). Cisco/failover kabl sam preko ebay platio jos nesto malo. Ybt, moj ThinkPad T410 me je kostao cca 140 $ (polovno preko ebay, + separatno novi HDD 320 Gb ebay + free shipment za USA pa mi donela cera uz carinu 0).

BPI M1 je cool, ja sam se, izgleda zeznuo sa BananaPro, jos ne uspevam da poteram FreeBSD na njemu, ali nada umire poslednja. Doduse, BPI M2 mi izgleda more cool than BPI M1.

But/medjutim, gorepomenuti APU2C4 je ultra cool. Fainless x86_64 sa 4Gb RAM. Na njemu moze sta 'oces od BSD/Linux/OpenIndiana, a kostao me sve zajedno (mSata 32Gb i napajenje preko ebay, kuciste i serijski kabl u Netiks, posto sam preko ebay dobio neispravan/bofl serijski kabl) cca 17.000,00 RSD. Na parce sam narucivao da bih ustedeo na troskovima transporta i izbegao carinske obaveze, a sve je stizalo postom. Sve sam mogao da uzmem i od PC Engines za malo visu maloprodajnu cenu (1-5 evra razlike po item), ali bi tezina posiljke povecala postarinu za cca 20 evra i vrednost bi presla limit preko koga se placa carina. pa je ovo bila bolja varijanta (za nas Pirocance :D ). Dakle, prava stvar bi bila da uzmem jos jedan takav pa na njega nakacim ono RAID kuciste kada kupim diskove (i naucim ZFS :D ). Razmatram i da sa OpenBSD na APU2C4 dizem FreeBSD kroz Qemu, pa na njega storage, ali nisam siguran da mi se ta varijanta svidja.

Lep je arm i vrlo zanimljiva igracka, ali APU/APU2 je ipak x86_64. Osim male potrosnje, meni je vrlo bitno i sto je fainless, necujan je, isto k'o Banane. Profina ploca njemu vrsi posao, ali nije fainless, a i verujem da bi bila skuplja i sigurno zauzimala vise prostora od APU2/Banana. Osim toga, u poredjenju sa APU, na Profinoj ploci uskraceno je zadovoljstvo prikljucivanja i koriscenja serijskog kabla :D :D :D

uporna_neznalica

  • Sr. Member
  • ****
  • Posts: 447
Odg: Mirror dilema - GEOM Raid1 ili ZFS zpool mirror (ili oba)?
« Reply #5 on: August 29, 2016, 06:12:38 am »
@uporna_neznalica
...
... Osim toga, u poredjenju sa APU, na Profinoj ploci uskraceno je zadovoljstvo prikljucivanja i koriscenja serijskog kabla :D :D :D

Ovo naravno nije tacno. Moze se na svakoj ploci koja ima serijski izlaz koristiti serijski kabl. Razlika kod APU/APU2 je sto se serijski kabl mora koristiti.

uporna_neznalica

  • Sr. Member
  • ****
  • Posts: 447
Odg: Mirror dilema - GEOM Raid1 ili ZFS zpool mirror (ili oba)?
« Reply #6 on: September 01, 2016, 09:52:53 pm »
GEOM mirror "radi", tj. radi u degradiranom statusu.

Code: [Select]
Script started on Thu Sep  1 20:00:11 2016
$ gmirror status
      Name    Status  Components
mirror/gm0  DEGRADED  ada0 (ACTIVE)
$ dmesg | grep 'ada1'
ada1 at ata0 bus 0 scbus0 target 1 lun 0
ada1: <WDC WD800BB-00FJA0 13.03G13> ATA-6 device
ada1: Serial Number WD-WMAJ96805895
ada1: 100.000MB/s transfers (UDMA5, PIO 8192bytes)
ada1: 76319MB (156301488 512 byte sectors)
ada1: Previously was known as ad1
GEOM_MIRROR: Component ada1 (device gm0) broken, skipping.
$ ^D
Script done on Thu Sep  1 20:00:40 2016

Jedan HDD je ispao, dmesg ga i dalje vidi. Pretpostavljam da je stvar do diska koji crkava. Ako neko ima drugacija iskustva, slobodno neka kaze, necu mu nista. :D