Nesta nova revolução tecnológica, certamente que já ouviram falar em Big Data. Como é também vulgarmente referido, os dados são o novo petróleo. Mas afinal a que se refere o conceito Big Data?
Big Data é um termo usado para descrever um grande volume de dados — estruturados ou não estruturados — que são gerados constantemente por pessoas, empresas, máquinas e sistemas. Mas o mais importante do que o volume em si é o que se faz com esses dados.
Big Data consiste num conjunto de tecnologias e práticas para recolher, armazenar, processar e analisar grandes volumes de dados com o objetivo de obter insights e tomar decisões.
- Dados Estruturados
- São dados organizados num formato fixo e conhecido, como tabelas com colunas e linhas. São facilmente armazenados em bases de dados relacionais (como o MySQL, SQL Server, Oracle, etc.).
- Exemplos:
- Tabelas de clientes com nome, idade, e-mail.
- Registos de vendas com data, produto e valor.
- Dados de sensores com hora e temperatura.
- Exemplos:
- São dados organizados num formato fixo e conhecido, como tabelas com colunas e linhas. São facilmente armazenados em bases de dados relacionais (como o MySQL, SQL Server, Oracle, etc.).
- Dados Não Estruturados
- São dados sem um formato fixo ou predefinido, o que os torna mais difíceis de organizar e analisar com ferramentas tradicionais.
- Exemplos:
- Textos de e-mails, comentários em redes sociais.
- Imagens, vídeos, ficheiros de áudio.
- PDFs, documentos Word.
- Logs de servidores e aplicações.
- Exemplos:
- São dados sem um formato fixo ou predefinido, o que os torna mais difíceis de organizar e analisar com ferramentas tradicionais.
“5 Vs” do Big Data
O conceito de Big Data é frequentemente explicado através de cinco características fundamentais:
- Volume
- Quantidade massiva de dados (ex: terabytes, petabytes).
- Velocidade
- A rapidez com que os dados são gerados e processados (ex: redes sociais em tempo real).
- Variedade
- Diferentes tipos de dados: texto, imagem, vídeo, sensores, etc.
- Veracidade
- A fiabilidade dos dados (se são corretos ou não).
- Valor
- A utilidade dos dados: que insights ou vantagens podem trazer?
No que diz respeito a tecnologias associadas ao Big Data, destaque para o Hadoop, Spark, NoSQL databases (ex: MongoDB, Cassandra), ferramentas de BI e visualização (ex: Power BI, Tableau) e Machine Learning e IA.