Big Data: afinal o que é? Saiba quais são os 5 V’s

Nesta nova revolução tecnológica, certamente que já ouviram falar em Big Data. Como é também vulgarmente referido, os dados são o novo petróleo. Mas afinal a que se refere o conceito Big Data?

Big Data é um termo usado para descrever um grande volume de dados — estruturados ou não estruturados — que são gerados constantemente por pessoas, empresas, máquinas e sistemas. Mas o mais importante do que o volume em si é o que se faz com esses dados.

Big Data consiste num conjunto de tecnologias e práticas para recolher, armazenar, processar e analisar grandes volumes de dados com o objetivo de obter insights e tomar decisões.

• Dados Estruturados
  • São dados organizados num formato fixo e conhecido, como tabelas com colunas e linhas. São facilmente armazenados em bases de dados relacionais (como o MySQL, SQL Server, Oracle, etc.).
    • Exemplos:
      • Tabelas de clientes com nome, idade, e-mail.
      • Registos de vendas com data, produto e valor.
      • Dados de sensores com hora e temperatura.
• Dados Não Estruturados
  • São dados sem um formato fixo ou predefinido, o que os torna mais difíceis de organizar e analisar com ferramentas tradicionais.
    • Exemplos:
      • Textos de e-mails, comentários em redes sociais.
      • Imagens, vídeos, ficheiros de áudio.
      • PDFs, documentos Word.
      • Logs de servidores e aplicações.

"5 Vs" do Big Data

O conceito de Big Data é frequentemente explicado através de cinco características fundamentais:

• Volume
  • Quantidade massiva de dados (ex: terabytes, petabytes).
• Velocidade
  • A rapidez com que os dados são gerados e processados (ex: redes sociais em tempo real).
• Variedade
  • Diferentes tipos de dados: texto, imagem, vídeo, sensores, etc.
• Veracidade
  • A fiabilidade dos dados (se são corretos ou não).
• Valor
  • A utilidade dos dados: que insights ou vantagens podem trazer?

No que diz respeito a tecnologias associadas ao Big Data, destaque para o Hadoop, Spark, NoSQL databases (ex: MongoDB, Cassandra), ferramentas de BI e visualização (ex: Power BI, Tableau) e Machine Learning e IA.