Você sabe a diferença entre Data Lake e Data Warehouse? Então confira esse artigo do blog da Darede que traz tudo sobre esses conceitos.

Por Flávio Rescia e Cassius Oliveira
A transformação digital já é uma realidade, seja como forma de atender as demandas atuais ou para seguir um caminho de otimização de custos, alta performance e segurança nos processos de uma empresa. Para isso o investimento em tecnologia em cloud pode trazer grandes ganhos na infraestrutura do negócio, isso se dá por sua capacidade de integração com outras áreas da tecnologia da informação, como a Ciência de Dados, por exemplo.
Como forma de implementar uma verdadeira gestão estratégica na empresa, as empresas começaram a olhar de forma mais cuidadosa para ferramentas capazes de gerenciar e analisar dados corporativos, e a partir desse cenário as equipes de big data e análise de dados ganharam mais espaço no processo de decisão das empresas. E com o auxílio das plataformas de serviços em cloud, como a AWS, encontram serviços cada vez mais otimizados e de baixo custo ao processar e armazenar dados. É aí que entram os conceitos de ‘Data Lake’ e ‘Data Warehouse’.

O que é Data Lake e Data Warehouse?

Normalmente Data Lakes são comparados com Data Warehouse. Mas não deveriam. Eles apresentam conceitos totalmente diferentes, desde a estrutura e processamento até quem os utiliza e o porquê.

Data Warehouse

Um data warehouse é um banco de dados relacional que é projetado para o trabalho analítico e não transacional, uso mais comum de banco de dados a décadas. Ele coleta e agrega dados de uma ou várias fontes para que possa ser analisado para produzir insights de negócio, além disso ele trabalha essencialmente com dados estruturados. Os Data Warehouses estão mais ligados a analistas de big data e business intelligence (BI) e por isso suas ferramentas ajudam as organizações a se tornarem mais eficientes, pois eles as ajudam a tomar decisões empresariar que auxiliam no gerenciamento de processos.
Aquele ‘banco de dados de BI’ que você tem na sua empresa, talvez seja um Data Warehouse e você nem saiba. Com o tempo empresas de tecnologia desenvolveram bancos de dados otimizado para analise de dados, como é o caso do Amazon Redshift, que é um serviço baseado em postgres (banco de dados opensource), mas que com o tempo veio sofrendo diversas modificações de modo a ser um especialista em Data Warehouse. Serviços usados para um Data Warehouse costumam ter um custo alto por Gigabyte, uma vez que deve ter rápido acesso com alta performance.

Veja aqui como podemos utilizar o Data Lake em empresas do setor elétrico!

Data Lake

Já um Data Lake é um repositório de armazenamento capaz de guardar, com um baixo custo, uma grande quantidade de dados, sejam eles estruturados, semi-estruturados, ou não estruturados. Em um Data Lake podemos armazenar quaisquer tipos de dados em seu formato nativo, sem limites fixos no tamanho da conta ou do arquivo.
Os serviços usandos para construir um Data Lake oferecem uma grande quantidade de dados para um maior desempenho analítico e integração nativa, como é o caso do S3 da AWS, o custo do Gigabyte pode variar entre $0,025 até $0,00099 o Gigabyte para arquivamento de dados históricos, além de um limite virtualmente infinito para capacidade de armazenamento. O S3 se integra com diversos serviços da AWS e de terceiros, o que torna seu uso muito comum pelos times de engenharia e cientistas de dados, o Data Lake auxilia na automação de processos e a inovação com base em dados, assim os gerenciando de forma econômica e segura. É muito comum que os dados mais recentes, ou mais utilizados do Data Lake, estejam também no Data Warehouse, para assim serem consultados pelos cientistas de dados, analistas de BI e até aplicações que usam as informações do Data Warehouse para tomada de decisões transacionais.

Saiba mais sobre o mundo da cloud no blog da Darede!

OUTRAS PUBLICAÇÕES

Outlook e a Autenticação Moderna

Não é de hoje que o Outlook dá suporte a autenticações modernas, como o MFA. E para te auxiliar para resover problemas de login utilizando esses tipos de autenticação, nosso #cloudspecialist José Anderson Vila Nova preparou um artigo bem especial! Confere aí!

BIOS vs UEFI

Entenda a diferença ente BIOS e UEFI neste artigo escrito pelo nosso #cloudspecialist José Anderson Vila Nova

Container Registry

Seguindo a série de artigos sobre container, dessa vez nosso #cloudspecialist Thiago Nunes fala sobre as principais ferramentas de container.

Nós usamos cookies para garantir e oferecer a melhor experiência de navegação em nosso site! Mais informações