Apache HBase – Base de dados NoSQL do ecossistema Hadoop
O Apache HBase é um datastore de Big Data altamente escalável e distribuído no ecossistema do Apache Hadoop. Esta plataforma open source, desenvolvida em Java, foi criada para dar acesso aleatório e em tempo real a tabelas com milhares de dados.
Vamos conhecer melhor esta plataforma que pode ser usada nos mais diversos cenários.
O HBase é uma base de dados não-relacional (NoSQL) que é executado em cima do Hadoop Distributed File System (HDFS). O Apache HBase fornece acesso aleatório e em tempo real aos dados do Hadoop. Este projeto foi criado para armazenar tabelas muito grandes, tornando-se uma ótima opção para armazenar dados multi-estruturados ou esparsos.
HBase - Região
A unidade mais simples e fundamental da escalabilidade horizontal no HBase é a Região, isto é, um conjunto contíguo e ordenado de linhas que são armazenadas. A arquitetura do HBase possui um único nó mestre (Master) e vários escravos (Slaves), ou seja, RegionServers.
Cada RegionServer serve um conjunto de regiões mas uma região pode ser atendida somente por um único RegionServer. Sempre que um cliente envia uma solicitação, o Master recebe-a e encaminha-a para o Region-Server correspondente.
Modelo de Dados
O modelo de dados do HBase armazena dados semiestruturados com diferentes tipos de dados. O modelo de dados do HBase consiste em vários componentes lógicos - chave de linha, família de colunas, nome da tabela, registo de data e hora, etc.
Componentes da Arquitetura (Daemons)
HMaster - O Hmaster atribui regiões aos RegionServers com a ajuda do ZooKeeper para distribuir os pedidos de forma equilibrada, deslocando as regiões para RegionServers menos ocupados.
Este componente é responsável por alterações do esquema e outras operações de metadados, como criação de tabelas e famílias de colunas.
HRegionServer - O HRegionServer, é executado em todos os nós DataNode no cluster do hadoop. Esses são os nós de trabalho que manipulam solicitações de leitura, gravação, atualização e exclusão.
Zookeeper (HQuorumPeer) - O HBase usa o ZooKeeper como um serviço de coordenação distribuída. Alguns serviços fornecidos são:
- Estabelecer a comunicação do cliente com os servidores da região.
- Acompanhar falhas do servidor e partições de rede.
- Manter informações de configuração.
Modos de funcionamento
STAND-ALONE MODE
- HBase é executado completamente num único host .
- Executa todos os daemons do Hbase num só nó, numa única JVM.
- Utiliza o sistema de ficheiros local e não o HDFS.
- É o perfil de implementação mais básico.
PSEUDO-DISTRIBUTED MODE
- HBase é executado completamente num único host (Localhost).
- Executa todos os daemons num só nó, em JVM’s (Processo Java) separadas.
- Utiliza o sistema HDFS.
- Bom para testes, debug e execução de protótipos.
FULLY-DISTRIBUTED MODE
- HBase é executado em vários hosts (Master e Slaves).
- Os daemons são distribuídos por todos os nós do cluster, em que existe o Master e vários RegionServers que utilizam o ZooKeeper para coordenação, em JVM’s (Processo Java) separadas.
- Utiliza o sistema HDFS.
- Ótimo para clusters de produção e de desenvolvimento.
Este foi um artigo de apresentação do Apache HBase. Num próximo artigo iremos ensinar a configurar e mostraremos alguns exemplos de utilização. Estejam atentos! Alguma dúvida ou questão deixem nos comentário.
Este artigo tem mais de um ano
Mais um excelente artigo….go go go
Ótima iniciativa. Espero por meter as mãos na prática.
No entanto deixo aqui algumas questões.
Como é que os dados são guardados? Todos os slaves contém a mesma informação?
Tendo apenas um master Não poderemos ter ai o tal bottleneck?
E isso serve para quê meu filho ? Para o comum dos mortais isso serve para quê ?
Para o comum dos mortais, vulgo, utilizador comum do dia a dia, serve exactamente para nada, isto na perspectiva da sua máquina, porque na perspectiva dos serviços que você usa, serve para você não se queixar que não existe serviços ou que são super lentos, e que a tecnologia não presta.
Pelo teu comentário abaixo, claramente demonstra que: achas que tens piada e que sabes para o que isto serve.
Com o lubrificante certo e se alargares as goelas ele passa bem, não há bottleneck nenhum.
Vejo que tiveste uma educação a primor, a tua mãe realmente é ou foi boa no assunto, da educação claro.
Só não digo para pedirmos todos conselhos à tua mãe porque a marca dos lubrificantes de antigamente provavelmente não se comercializam agora. Mas ainda assim, deves estar orgulhoso dela, com tanta sabedoria transmitida. Dá um beijo à tua mamã.
Foi uma grande profissional. A Erica tinha muito a aprender, já não se fazem profissionais daquele calibre. Foi mulher para aviar 16 numa só noite. Gerou muita riqueza e hoje o mundo bebe vinho produzido nas terras que aquela riqueza comprou.
Não é possível aos moderadores eliminarem estes comentários? Claramente não acrescentam nada.