Virtualização e serviço de arquivos em cluster de alta disponibilidade com Debian Etch, com redundância, espelhamento, replicação, em ambientes de desenvolvimento (parte 1)

Nesta primeira parte do trabalho, iremos apresentar as linhas gerais, objetivos , resultados esperados, o glossário e a bibliografia utilizada ao longo do texto em todas as suas partes.

Uma parte técnica essencial já foi publicada, sobre os patches necessários para compilar e instalar a RedHat Cluster Suite no Debian GNU/Linux 4.0 Etch.

Este trabalho foi inscrito no ConSERPRO 2007.

Devemos ressaltar que a primeira versão do registro do trabalho foi redigida em maio de 2007, e que a RedHat Cluster Suite já tem versão 2.x lançada pela Red Hat e incluída na versão Testing (atualmente Lenny) do Debian. A versão 2 da suite implementa avanços e correções a muitos dos problemas e necessidades percebidas durante nossa implementação.

Porém, a própria Red Hat alerta para que a nova versão 2 do sistema de arquivos GFS ainda não é madura e estável o suficiente para uso em ambientes de produção ou de confiabilidade equivalente, conforme pode ser verificado pelos problemas indicados na lista de discussão própria. Além disso, a redhat cluster suíte 2.x está compilada para kernel 2.6.23 Debian e seria um backport não trivial para o 2.6.18, com risco de instabilidades.

Como o sistema de arquivos em cluster é primordial para nosso trabalho, permaneceremos com a versão 1.x da suíte até que a versão 2.x esteja madura o suficiente. A nossa implementação GFS com redhat cluster suite 1.x funciona desde abril 2007 com estabilidade e confiabilidade.

Objetivos:

  • Apresentar o uso e benefícios de solução de virtualização de máquinas e serviços, em ambientes de desenvolvimento, alternativamente centralizada e consolidada em servidores de alta disponibilidade e redundantes;
  • Apresentar implementação de sistemas de arquivos remotos compartilhados e em cluster em conformidade com padrões POSIX, quotas e recursos ACL (Access Control Lists), com montagem local, como alternativa ao NFS v3 e NFS4.
  • Apresentar implementação de sistema de arquivos em cluster, com suporte a ACL, quotas, direct I/O (dio), asynchronous I/O (aio), homologado para banco de dados Oracle RAC e compatível com PostgreSQL.
  • Apresentar implementação de sistema de arquivos remotos em cluster, espelhado, replicado e centralizado em servidores de alta disponibilidade redundantes, montados localmente e de comportamento local POSIX, com ACL, transparente para aplicações concorrentes.
  • Apresentar implementação de cluster de alta disponibilidade, redundância, espelhamento e replicação, sem Ponto Único de Falhas (Single POint of Failure, SPOF), implementado com software livre, máquinas de baixo custo, para uso em ambientes de desenvolvimento.
  • Apresentar solução e implementação de sistema de arquivos 64 bits nativo em cluster de até 16 Terabytes, apropriado a utilização em Data Warehousing em ambientes de desenvolvimento.
  • Apresentar as dificuldades, as peculiaridades, problemas obscuros e não documentados, e as soluções criadas ou encontradas, na implementação de cluster em condições máximas de carga de servidores, discos, e saturação de rede em processos concorrentes.
  • Apresentar resultados de testes de desempenho comparativos de diferentes configurações para avaliações de custos X benefícios em diferentes situações e em aplicações em ambientes de desenvolvimento.
  • Apresentar alternativas e configurações, em desenvolvimento, para futuras implementações ainda melhores e mais eficientes.

Resultados alcançados ou a alcançar:

Quantificar (mensurar a economia gerada ou a alcançar ou outro parâmetro objetivo)

  • Disponibilidade Classe 3 (99% a 99,9%) e viabilidade de implantar Disponibilidade Classe 4 (99,9% a 99,99%) nos serviços departamentais críticos se replicar a estrutura remotamente.
  • A economia de cada hora departamental parada média é de R$ 5 mil. Um incidente grave de disponibilidade pode tomar 3 dias efetivos, R$ 120 mil. Um incidente real registrado tomou 22 dias e perda irrecuperável de informações estimadas em R$ 2,5 milhões.
  • Implementação completa em software livre. Economia de licenças de sistemas operacionais e programas específicos para clusters.
  • Implementação completa a partir de hardware comum, reciclado, e redes comuns já é viável. Dispensa exigência de SAN, HW RAID, FC, Ultra320 SCSI, Firewire, GbE, InfiniBand, embora claramente se beneficie desses recursos para aumento de confiabilidade.

Qualificar (benefícios alcançados ou a alcançar)

  • Disponibilidade Classe 3 e até Classe 4 nos serviços departamentais de desenvolvimento permite melhor atendimento dos compromissos com clientes.
  • Integridade de dados em caso de falhas catastróficas completas de servidores. Maior garantia de patrimônio. Um incidente prévio registrado causou prejuízo de milhões de reais em informações.
  • Reprodução em escala de ambientes de produção em condições limite para melhor desenvolvimento e depuração.
  • Melhor controle de configurações e reprodutibilidade no desenvolvimento por toda equipe. Maior qualidade, controle e agilidade nas responsabilidades e tarefas de GCS e GCI.
  • Maior agilidade na experimentação e avaliação rápida de alternativas de implementação. Menor prazo e esforço em homens hora no desenvolvimento.
  • Implantação em produção potencialmente mais controlada e ágil. Menores problemas inesperados. Menores custos e prazos.
  • Viabilização de virtualização, clusters, alta disponibilidade, redundância, espelhamento e replicação a custos baixos e já a partir de recursos de hardware e rede amplamente disponíveis. Até hoje exigia hardware, software e rede exóticos, proprietários, dispendiosos, justificáveis apenas em altos volumes de processamento e produção, sendo inviáveis em ambientes departamentais de desenvolvimento.
  • Maior preservação, menor risco à estabilidade e segurança de ambientes de homologação e produção.
  • Máxima continuidade e integridade de serviços e informações de desenvolvimento impacta positivamente toda a cadeia de compromissos com clientes e imagem da empresa no mercado.
  • Configuração sem SPOF. Redundância completa. Mesmo clusters comerciais possuem um ou mais SPOF. Disponibilidade maior que soluções comerciais.
  • Conformidade total com POSIX, tendo ACL e montagem local. Transparência total para todo tipo de aplicações.
  • Homologado para Oracle RAC e compatível com PostgreSQL. Disponibiliza direct I/O (dio) e asynchronous I/O (aio) do sistema de arquivos para aplicações como Oracle RAC.
  • Sistema de arquivos nativo de 64 bits e alta capacidade (16 TB) e desempenho para Data Warehousing.

 

INTRODUÇÃO

A configuração, manutenção, controle e gestão de configuração de hardware e software em ambientes de desenvolvimento para toda uma equipe, bem como o ágil desenvolvimento e experimentação de alternativas, a depuração e testes, homologação e transição para implantação em produção são tarefas potencialmente complexas, demoradas, dispendiosas e sujeitas a até inesperadas dificuldades, inconsistências, riscos à estabilidade e segurança.

A disponibilidade de serviços e integridade das informações em ambientes de desenvolvimento são aspectos que impactam diretamente os compromissos de projeto assumidos com clientes e os custos da empresa.

O compartilhamento de arquivos e serviço de arquivos remotos centralizado atualmente é problemático em ambientes de desenvolvimento. As alternativas consolidadas, NFS v3 (NFS3) [1] e Samba (SMB, CIFS) [2], são limitadas, em desempenho, inconformidade POSIX [3] e ACL [4], opacidade para as aplicações, inadequação para bancos de dados, segurança, estabilidade, gerenciamento e configuração. Até mesmo o recente NFS v4 (NFS4) [5] não resolve todas as limitações [6] e ainda é considerado instável para altas cargas. Em conseqüência, muito desenvolvimento é feito localmente em estações de trabalho, com implicações em segurança, estabilidade, agilidade, desempenho, gerenciamento, disponibilidade e integridade de dados.

Em um ambiente de desenvolvimento em micro-informática usual, com estações de trabalho completas e efetivamente isoladas em termos de desenvolvimento, estes problemas ficam evidentes. Até hoje, as soluções propostas estavam inviáveis para esses ambientes.

Este trabalho apresenta o uso e benefícios de solução de virtualização de máquinas e serviços, em ambientes de desenvolvimento, alternativamente centralizada e consolidada em servidores de alta disponibilidade e redundantes.

Apresenta implementação de sistemas de arquivos remotos compartilhados e em cluster em conformidade com padrões POSIX, quotas e recursos ACL (Access Control Lists), com montagem local, como alternativa ao NFS v3 e NFS v4.

Apresenta implementação de sistema de arquivos POSIX em cluster, com suporte a ACL, quotas, direct I/O (dio) [31], [32], asynchronous I/O (aio) [33], [34], homologado para banco de dados Oracle RAC [28] e compatível com PostgreSQL [29].

Apresenta implementação de sistema de arquivos remotos em cluster, espelhado, replicado e consolidado em servidores de alta disponibilidade redundantes, montados localmente e de comportamento local POSIX, com ACL, transparente para aplicações concorrentes.

Apresenta implementação de cluster de alta disponibilidade (Classe 3, viabilidade de Classe 4) [23], [24], [25], [26], [27], redundância, espelhamento e replicação, sem Ponto Único de Falhas (Single POint of Failure, SPOF) [27], [30], implementado com software livre, máquinas de baixo custo, para uso em ambientes de desenvolvimento.

Apresenta solução e implementação de sistema de arquivos 64 bits nativo em cluster de até 16 Terabytes, apropriado a utilização em Data Warehousing em ambientes de desenvolvimento.

Apresenta as dificuldades, as peculiaridades, problemas obscuros e não documentados, e as soluções criadas ou encontradas, na implementação de cluster em condições máximas de carga de servidores, discos, e saturação de rede em processos concorrentes.

Apresenta resultados de testes de desempenho comparativos de diferentes configurações para avaliações de custos X benefícios em diferentes situações e em aplicações em ambientes de desenvolvimento.

Apresenta alternativas e configurações, em desenvolvimento, para futuras implementações ainda melhores e mais eficientes.

Este trabalho, portanto, apresenta implementações testadas e quantificadas que racionalizam, integram e consolidam ambientes de desenvolvimento, aumentando agilidade das equipes, minimizando prazos, esforços de configuração, gerenciamento, riscos, custos, e maximizando disponibilidade de serviços e integridade de informações nesses ambientes; viáveis técnica e economicamente já em pequenas equipes departamentais, com potencial de extrapolação para outros ambientes, em todo ou em parte.

GLOSSÁRIO

ACL – Access Control List. Lista com as permissões associadas a um objeto. Num sistema de arquivos, usualmente é identificação de usuário, grupo, direitos de escrita, leitura e execução.

Asynchronous I/O – forma de acesso ao sistema de I/O sem que o sistema todo fique esperando a conclusão da transação.

CIFS – Common Internet File System, proposto pela Microsoft.

CLVM2 – Cluster Logical Volume Manager version 2.

Direct I/O – forma de acesso direto ao sistema de I/O, dispensando o cache.

DRBD – Distributed Replicated Block Device.

Fencing – Recurso utilizado em clusters para cercar e excluir controlada e seguramente um nó que seja considerado em comportamento inadequado e que poderia prejudicar a integridade de dados ou disponibilidade de serviços.

GCI – Gestor de Configuração de Infraestrutura. Papel definido em processo conformante ao CMMI.

GCS – Gestor de Configuração de Software. Papel definido em processo conformante ao CMMI.

Failover – chaveamento em caso de falhas.

FC – Fiber channel. Forma serial de conectar dispositivos de hardware. Em 2007 pode alcançar 12,75 Gb/s.

Firewire – Forma serial de conectar dispositivos de hardware. Em 2007 pode alcançar 800 Mb/s.

GbE – Gigabit Ethernet.

GFS – Global File System.

GNBD – Global Network Block Device. Programa que viabiliza acesso remoto a dispositivo de blocos, independentemente de sistema de arquivos. Possui recursos de integração a clusters e recursos de fencing.

InfiniBand – arquitetura de interconexão em malha de alta velocidade, escalabilidade e disponibilidade. Em maio 2007 pode alcançar 96 Gb/s.

iqn – iSCSI qualified name.

iSCSI – internet SCSI. Permite uso do protocolo SCSI sobre redes tcp/ip.

iSCSI initiator – É a parte cliente de dispositivo de blocos segundo o protocolo iSCSI.

iSCSI target – É a parte servidora de dispositivo de blocos segundo o protocolo iSCSI.

Journal – num sistema de arquivos, é um registro temporário prévio de mudanças a serem realmente escritas no sistema de arquivos perene oportunamente. Após a real escrita, o registro prévio é removido.

OCFS2 – Oracle Cluster File System versão 2.

POSIX – Portable Operating System Interface. É um conjunto de padrões (IEEE 1003) definido pelo IEEE que define as Interfaces de Programação de Aplicações dos sistemas compatíveis com Unix.

SAN – Storage Area Network. É uma arquitetura que implementada viabiliza que dispositivos de armazenamento remotos sejam conectados a computadores de forma que , para o sistema operacional, sejam considerados conectados localmente.

SMB – Server Message Block, protocolo proposto pela Microsoft.

SPOF – Single Point of Failure. Em um sistema, diz-se de ponto ou integrante que, caso falhe, causará falha sistêmica.

Ultra320 SCSI – Ultra 320 MB/s SCSI.

BIBLIOGRAFIA

[1] IETF. Linux NFS faq. NFS. USA. Disponível em: <http://nfs.sourceforge.net>. Acesso em: 10/07/2007.

[2] The Samba Team. Samba. Samba, Opening Windows to a Wider World. USA. Disponível em: <http://www.samba.org>. Acesso em: 10/07/2007.

[3] IEEE. POSIX.1 faq. The Open Group. EUA, 02/02/2006, v 1.12. Disponível em : <http://www.opengroup.org/austin/papers/posix_faq.html>. Acesso em : 10/07/2007.

[4] WikiMedia Foundation Inc. et al. Acess control list. Wikipedia. USA, Florida, v 22/06/2007. Disponível em: <http://en.wikipedia.org/wiki/Access_control_list>. Acesso em: 10/07/2007.

[5] University of Michigan, Center for Information Technology Integration. NFS Version 4 Open Source Reference Implementation . EUA, Michigan, Ann Arbor. Disponível em: <http://www.citi.umich.edu/projects/nfsv4>. Acesso em: 10/07/2007.

[6] KIRCH, Olaf. Why NFS sucks. Proceedings of the Linux Symposium 2006, volume 2, p. 59 a p.72. Canada, Ontario, Ottawa, 19/07/2006. Disponível em: <http://www.linuxsymposium.org/2006/linuxsymposium_procv2.pdf>. Acesso em: 10/07/2007.

[7] XEN SOURCE, Inc. Xen Source: Delivering the Power of Xen. Xen Source. EUA. Disponível em: <http://www.xensource.com>. Acesso em: 10/07/2007.

[8] VMWARE, Inc. VmWare Player. VmWare. EUA, California, Palo Alto. Disponível em: <http://vmware.com/products/player>. Acesso em: 10/07/2007.

[9] VMWARE, Inc. VmWare Server. VmWare. EUA, California, Palo Alto. Disponível em: <http://vmware.com/products/server>. Acesso em: 10/07/2007.

[10] INNOTEK, Inc. Virtual Box. Virtual Box. Alemanha, Weinstadt. Disponível em: <http://www.virtualbox.org>. Acesso em: 10/07/2007.

[11] QUMRANET, Inc. Kernel Virtual Machine Open Source Project. KVM Project. EUA, Califórnia, Santa Clara. Disponível em: <http://kvm.qumranet.com>. Acesso em: 10/07/2007.

[12] KEMP, Steve. Xen-Tools. Xen-Tools.org. Inglaterra. Disponível em: <http://www.xen-tools.org>. Acesso em: 10/07/2007.

[13] CONVIRT, comunidade. XenMan. Convirt. EUA. Disponível em: <http://xenman.sourceforge.net>. Acesso em: 10/07/2007

[14] RED HAT, Inc. Virt-Manager. Virtual Machine Manager. EUA. Disponível em: <http://virt-manager.et.redhat.com>. Acesso em: 10/07/2007.

[15] VMWARE, Inc. Clock in a Linux Guest Runs More Slowly or Quickly Than Real Time. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&externalId=1420>. Acesso em: 10/07/2007.

[16] VMWARE, Inc. VMware Tools Installation Instructions. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&externalId=340>. Acesso em: 10/07/2007.

[17] VMWARE, Inc. Topic: NTP Setup Issues. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://www.vmware.com/community/message.jspa?messageID=535133>. Acesso em: 10/07/2007.

[18] VMWARE, Inc. ESX as a NTP server for VM's. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://www.vmware.com/community/message.jspa?messageID=566318>. Acesso em: 10/07/2007.

[19] VMWARE, Inc. Topic: ntp client on host but not on guest. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://www.vmware.com/community/thread.jspa?threadID=50568&tstart=0>. Acesso em: 10/07/2007.

[20] VMWARE, Inc. Topic: Unable to setup NTP correctly. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://www.vmware.com/community/message.jspa?messageID=447429>. Acesso em: 10/07/2007.

[21] VMWARE, Inc. Installing and Configuring NTP on VMware ESX Server. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&externalId=1339>. Acesso em: 10/07/2007.

[22] VMWARE, Inc. Timekeeping in VmWare Virtual Machines. VmWare Support documentation. EUA, California, Palo Alto. Disponível em: <http://www.vmware.com/pdf/vmware_timekeeping.pdf>. Acesso em: 10/07/2007.

[23] ______. High Availability. Epowiki. V 25/04/2004. Disponível em: <http://www.possibility.com/epowiki/Wiki.jsp?page=HighAvailability>. Acesso em: 10/07/2007.

[24] SIEWIOREK, Daniel P., Jim GRAY. High Availability Computer Systems. IEEE Computer, September 1991 (Vol. 24, No. 9) pp. 39-48. Disponível em: <http://research.microsoft.com/~gray/papers/ieee_HA_Swieorick.pdf>. Acesso em: 10/07/2007.

[25] ORACLE, Corp. Oracle high availability. Oracle. Disponível em: <http://www.oracle.com/technology/deploy/availability/htdocs/HA_Overview.htm>. Acesso em: 10/07/2007.

[26] ORACLE, Corp. Oracle failsafe / failover clusters. Oracle. Disponível em: <http://www.oracle.com/technology/deploy/availability/htdocs/unix_clusters.html>. Acesso em: 10/07/2007.

[27] BOTTOMLEY, James. Achieving High Availability, What You Need to Know before You Start. SteelEye Technology. EUA, 21/01/2004. Disponível em: <http://licensing.steeleye.com/support/papers/lwny_2004_slides.pdf>. Acesso em: 10/07/2007.

[28] ORACLE, Corp. Oracle Real Application Cluster. Oracle. Disponível em: <http://www.oracle.com/technology/products/database/clustering/index.html>. Acesso em: 10/07/2007.

[29] POSTGRESQL Global Development Group. PostgreSQL. Disponível em: <http://www.postgresql.org>. Acesso em: 10/07/2007.

[30] WikiMedia Foundation Inc. et al. Reliable system design. Wikipedia. USA, Florida, v 22/06/2007. Disponível em: <http://en.wikipedia.org/wiki/Reliable_system_design>. Acesso em: 10/07/2007.

[31] RED HAT, Inc. Red Hat GFS 6.1: Administrator's Guide. Chapter 5. Managing GFS, 5.7 Direct I/O. Red Hat. Disponível em: <http://www.redhat.com/docs/manuals/csgfs/browse/rh-gfs-en/s1-manage-direct-io.html>. Acesso em: 10/07/2007.

[32] ROGERS, Howard. Enabling and using direct I/O. Dizwell Informatics. Disponível em: <http://www.dizwell.com/prod/node/73>. Acesso em: 10/07/2007.

[33] WikiMedia Foundation Inc. et al. Asynchronous I/O. Wikipedia. USA, Florida, v 26/06/2007. Disponível em: <http://en.wikipedia.org/wiki/Asynchronous_I/O>. Acesso em: 10/07/2007.

[34] SALISBURY, Joseph, SHAKSHOBER, D. John.. Tuning Oracle Database 10g for ext3 file systems. Red Hat Magazine. Edição 13, novembro 2005. Disponível em: <http://www.redhat.com/magazine/013nov05/features/oracle/>. Acesso em: 10/07/2007.

[35] OpenSSI. Cluster File System. OpenSSI. Disponível em: <http://openssi.org/cgi-bin/view?page=features.html>. Acesso em: 10/07/2007.

[36] Z RESEARCH, Inc. Gluster File System. Gluster. EUA, Califórnia, Fremont. Disponível em: <http://www.gluster.org>. Acesso em: 10/07/2007.

[37] WARNES, Gregory R. ClusterNFS. Disponível em: <http://clusternfs.sourceforge.net>. Acesso em: 10/07/2007.

[38] LINUX HIGH AVAILABILITY community. HaNFS. Linux High Availability. Disponível em: <http://www.linux-ha.org/HaNFS>. Acesso em: 10/07/2007.

[39] Carnegie Mellon University. OpenAFS. Disponível em: <http://www.openafs.org>. Acesso em: 10/07/2007.

[40] DANGA Interactive. MogileFS. Danga Interactive. Disponível em: <http://www.danga.com/mogilefs>. Acesso em: 10/07/2007.

[41] DIGITAL BAZAAR. StarFish Distributed File System. Digital Bazaar. Disponível em: <http://wiki.digitalbazaar.com/en/Starfish_Distributed_Filesystem>. Acesso em: 10/07/2007.

[42] CLUSTER File Systems, Inc. Lustre file system. Lustre.org. Disponível em: <http://www.lustre.org>. Acesso em: 10/07/2007.

[43] SYMANTEC, Inc. Veritas Storage Foundation Cluster File System. Symantec. Disponível em: <http://www.symantec.com/enterprise/products/overview.jsp?pcid=1020&pvid=209_1>. Acesso em:10/07/2007.

[44] HEWLETT-PACKARD Development Company, L.P. PolyServe File Serving Utility. PolyServe. Disponível em: <http://www.polyserve.com/optimized_file_serving.php>. Acesso em: 10/07/2007.

[45] IBRIX, Inc. Ibrix Fusion Scalable File System. Ibrix. Disponível em: <http://www.ibrix.com/pages/products.php>. Acesso em: 10/07/2007.

[46] SGI. Cluster XFS, CXFS. SGI. Disponível em: <http://www.sgi.com/products/storage/tech/file_systems.html>. Acesso em: 10/07/2007.

[47] PVFS community. Parallel Virtual File System, v2. PVFS. Disponível em: <http://www.pvfs.org>. Acesso em: 10/07/2007.

[48] IBM. IBM General Parallel File System. GPFS. EUA. Disponível em: <http://www-03.ibm.com/systems/clusters/software/gpfs.html >. Acesso em: 10/07/2007.

[49] INTERMEZZO community. Intermezzo.org. Disponível em: <http://www.inter-mezzo.org >. Acesso em: 10/07/2007.

[50] RACKABLE Systems. RapidScale Clustered Storage. Rackable Systems. EUA. Disponível em: <http://www.rackable.com/products/rapidscale.htm >. Acesso em: 10/07/2007.

[51] CARNEGIE MELLON UNIVERSITY. CODA file system. EUA. Disponível em: <http://www.coda.cs.cmu.edu >. Acesso em: 10/07/2007.

[52] PANASAS, Inc. Parallel NFS. pNFS. EUA. Disponível em: <http://www.pnfs.com >. Acesso em: 10/07/2007.

[53] OPENMOSIX community. Mosix File System, MFS. OpenMosix. Disponível em: <http://www.openmosix.org >. Acesso em: 10/07/2007.

[54] SUN Microsystems, Inc. Zeta File System, ZFS. OpenSolaris.org. Disponível em: <http://www.opensolaris.org/os/community/zfs >. Acesso em: 10/07/2007.

[55] WikiMedia Foundation Inc. et al. Zeta File System, ZFS. Wikipedia. USA, Florida, v 10/07/2007. Disponível em: <http://en.wikipedia.org/wiki/ZFS>. Acesso em: 10/07/2007.

[56] CORREIA, Ricardo. ZFS on FUSE. Disponível em: <http://zfs-on-fuse.blogspot.com >. Acesso em: 10/07/2007.

[57] CORREIA, Ricardo. ZFS on FUSE. Disponível em: <https://developer.berlios.de/projects/zfs-fuse/ >. Acesso em: 10/07/2007.

[58] ORACLE, Corp. Oracle Cluster File System 2, OCFS2. Oracle Open Source Solutions. Disponível em: <http://oss.oracle.com/projects/ocfs2/>. Acesso em: 10/07/2007.

[59] RED HAT, Inc. Red Hat Global File System, GFS. Red Hat Infrastructure. Disponível em: <http://www.redhat.com/gfs/>. Acesso em: 10/07/2007.

[60] RED HAT, Inc. GFS Project Page. Cluster Project. Disponível em: <http://sources.redhat.com/cluster/gfs/>. Acesso em: 10/07/2007.

[61] RED HAT, Inc. Cluster Project FAQ - Frequently Asked Questions. Cluster Project. Disponível em: <http://sources.redhat.com/cluster/faq.html>. Acesso em: 10/07/2007.

[62] RED HAT, Inc. Red Hat Cluster Suite. Red Hat Infrastructure. Disponível em: <http://www.redhat.com/cluster_suite>. Acesso em: 10/07/2007.

[63] RED HAT, Inc. Cluster Project Page. Cluster Project. Disponível em: <http://sources.redhat.com/cluster/>. Acesso em: 10/07/2007.

[64] DEBIAN PROJECT. Debian GNU / Linux. Debian Project. Disponível em: <http://www.debian.org >. Acesso em: 10/07/2007.

[65] SUN Microsystems, Inc. RFC 1094 - NFS: Network File System Protocol specification. Faqs.org. Disponível em: <http://www.faqs.org/rfcs/rfc1094.html>. Acesso em: 10/07/2007.

[66] NOVELL, Inc. File systems primer. Novell, Inc. Disponível em: <http://wiki.novell.com/index.php/File_System_Primer >. Acesso em: 10/07/2007.

[67] WikiMedia Foundation Inc. et al. iSCSI. Wikipedia. USA, Florida, v 10/07/2007. Disponível em: <http://en.wikipedia.org/wiki/ISCSI>. Acesso em: 10/07/2007.

[68] VAROQUI, Christophe. Multipath Tools. Disponível em: <http://christophe.varoqui.free.fr>. Acesso em: 10/07/2007.

[69] LINBIT Information Technologies, Gmbh. Distributed Replicated Block Device, DRBD. Drbd.org . Áustria, Viena. Disponível em: <http://www.drbd.org >. Acesso em: 10/07/2007.

[70] DAVISON, Wayne e SAMBA Team. rsync. Rsync home page. Disponível em: <http://rsync.samba.org/ >. Acesso em: 10/07/2007.

[71] PIERCE, Benjamin. Unison file synchronizer tool. Unison. Disponível em: <http://www.cis.upenn.edu/~bcpierce/unison/ >. Acesso em: 10/07/2007.

[72] SILICON GRAPHICS, Inc. FAM project. SGI. Disponível em: <http://oss.sgi.com/projects/fam/ >. Acesso em: 10/07/2007.

[73] LEWIS, J. P. Xfiles file tree synchronization and cross-validation. Xfiles. Disponível em: <http://www.idiom.com/~zilla/xfiles.html >. Acesso em: 10/07/2007.

[74] ZANDT, James Van. mirrordir. Debian Packages. Disponível em: <http://packages.debian.org/stable/utils/mirrordir >. Acesso em: 10/07/2007.

[75] ROSENQUIST, Nathan, CANTRELL, David et al. Rsnapshot. Disponível em: <http://rsnapshot.org/ >. Acesso em 10/07/2007.

[76] ANDERSON, James. Tsync. Tsync Sourceforge site. Disponível em: <http://tsyncd.sourceforge.net/ >. Acesso em: 10/07/2007.

[77] LINBIT Information Technologies, Gmbh. Cluster Synchronization Tool 2, csync2. Csync2 project . Áustria, Viena. Disponível em: <http://oss.linbit.com/csync2/ >. Acesso em: 10/07/2007.

[78] RED HAT, Inc. GNBD Project Page. Cluster Project. Disponível em: <http://sourceware.org/cluster/gnbd/>. Acesso em: 10/07/2007.

[79] iSCSI Target community. iSCSI Enterprise Target Project. EUA. Disponível em: <http://iscsitarget.sourceforge.net/ >. Acesso em: 10/07/2007.

[80] AIZMAN, Alex, YUSUPOV, Dmitry et al. Open-iSCSI initiator project. Open-iSCSI. Disponível em: <http://www.open-iscsi.org >. Acesso em: 10/07/2007.

[81] MACHADO, André Felipe. Red Hat cluster suite in Debian GNU / Linux 4.0 Etch. Linux Blog. Brasil. Disponível em: <http://www.techforce.com.br/index.php/news/linux_blog/red_hat_cluster_suite_debian_etch >. Acesso em: 10/07/2007.

[82] ORACLE, Corp. Oracle Data Guard. Oracle. Disponível em: <http://www.oracle.com/technology/deploy/availability/htdocs/DataGuardOverview.html>. Acesso em: 10/07/2007.

[83] ORACLE, Corp. Oracle Recovery Manager, RMAN. Oracle. Disponível em: <http://www.oracle.com/technology/deploy/availability/htdocs/rman_overview.htm>. Acesso em: 10/07/2007.

[84] BAKBONE Software, Inc. NetVault Replicator. Bakbone. EUA, Califórnia, San Diego. Disponível em: <http://www.bakbone.com/product.aspx?id=1374 >. Acesso em: 10/07/2007.

[85] RED HAT, Inc. 2.2. Fencing GNBD Server Nodes. Using GNBD with GFS for RHEL5. Disponível em: <http://www.redhat.com/docs/manuals/enterprise/RHEL-5-manual/Global_Network_Block_Device/s1-gnbd-mp-sn.html >. Acesso em: 10/07/2007.

[86] RED HAT, Inc. Red Documentation and Manuals. Red Hat. Disponível em: <http://www.redhat.com/docs/manuals>. Acesso em: 10/07/2007.