Você sabe a diferença entre Data Lake e Data Warehouse? Então confira esse artigo do blog da Darede que traz tudo sobre esses conceitos.

Por Flávio Rescia e Cassius Oliveira
A transformação digital já é uma realidade, seja como forma de atender as demandas atuais ou para seguir um caminho de otimização de custos, alta performance e segurança nos processos de uma empresa. Para isso o investimento em tecnologia em cloud pode trazer grandes ganhos na infraestrutura do negócio, isso se dá por sua capacidade de integração com outras áreas da tecnologia da informação, como a Ciência de Dados, por exemplo.
Como forma de implementar uma verdadeira gestão estratégica na empresa, as empresas começaram a olhar de forma mais cuidadosa para ferramentas capazes de gerenciar e analisar dados corporativos, e a partir desse cenário as equipes de big data e análise de dados ganharam mais espaço no processo de decisão das empresas. E com o auxílio das plataformas de serviços em cloud, como a AWS, encontram serviços cada vez mais otimizados e de baixo custo ao processar e armazenar dados. É aí que entram os conceitos de ‘Data Lake’ e ‘Data Warehouse’.

O que é Data Lake e Data Warehouse?

Normalmente Data Lakes são comparados com Data Warehouse. Mas não deveriam. Eles apresentam conceitos totalmente diferentes, desde a estrutura e processamento até quem os utiliza e o porquê.

Data Warehouse

Um data warehouse é um banco de dados relacional que é projetado para o trabalho analítico e não transacional, uso mais comum de banco de dados a décadas. Ele coleta e agrega dados de uma ou várias fontes para que possa ser analisado para produzir insights de negócio, além disso ele trabalha essencialmente com dados estruturados. Os Data Warehouses estão mais ligados a analistas de big data e business intelligence (BI) e por isso suas ferramentas ajudam as organizações a se tornarem mais eficientes, pois eles as ajudam a tomar decisões empresariar que auxiliam no gerenciamento de processos.
Aquele ‘banco de dados de BI’ que você tem na sua empresa, talvez seja um Data Warehouse e você nem saiba. Com o tempo empresas de tecnologia desenvolveram bancos de dados otimizado para analise de dados, como é o caso do Amazon Redshift, que é um serviço baseado em postgres (banco de dados opensource), mas que com o tempo veio sofrendo diversas modificações de modo a ser um especialista em Data Warehouse. Serviços usados para um Data Warehouse costumam ter um custo alto por Gigabyte, uma vez que deve ter rápido acesso com alta performance.

Veja aqui como podemos utilizar o Data Lake em empresas do setor elétrico!

Data Lake

Já um Data Lake é um repositório de armazenamento capaz de guardar, com um baixo custo, uma grande quantidade de dados, sejam eles estruturados, semi-estruturados, ou não estruturados. Em um Data Lake podemos armazenar quaisquer tipos de dados em seu formato nativo, sem limites fixos no tamanho da conta ou do arquivo.
Os serviços usandos para construir um Data Lake oferecem uma grande quantidade de dados para um maior desempenho analítico e integração nativa, como é o caso do S3 da AWS, o custo do Gigabyte pode variar entre $0,025 até $0,00099 o Gigabyte para arquivamento de dados históricos, além de um limite virtualmente infinito para capacidade de armazenamento. O S3 se integra com diversos serviços da AWS e de terceiros, o que torna seu uso muito comum pelos times de engenharia e cientistas de dados, o Data Lake auxilia na automação de processos e a inovação com base em dados, assim os gerenciando de forma econômica e segura. É muito comum que os dados mais recentes, ou mais utilizados do Data Lake, estejam também no Data Warehouse, para assim serem consultados pelos cientistas de dados, analistas de BI e até aplicações que usam as informações do Data Warehouse para tomada de decisões transacionais.

Saiba mais sobre o mundo da cloud no blog da Darede!

OUTRAS PUBLICAÇÕES

Educação 4.0

Por Cassius Oliveira Graças a uma cultura de inovação contínua presente em diversas empresas mundo afora, às necessidades da indústria 4.0 e de tecnologias como o Big Data e a Inteligência Artificial (IA), as instituições de ensino precisaram se reinventar. Velhos métodos de aprendizagem que englobam basicamente a sala de aula com lousa, giz e papel já não são suficientes para atender as demandas das novas gerações de alunos que certamente ocuparão cargos que ainda nem existem. Ao mesmo tempo, encaramos um momento singular em que escolas do mundo inteiro tiveram suas portas fechadas e se viram forçadas a implementar o ensino a distância de uma hora para outra. Mas o que é Educação 4.0? A Educação 4.0 é um novo modelo de aprendizagem que busca se alinhar as demandas da quarta revolução industrial que se concentra na tecnologia inteligente, na inteligência artificial e na robótica dentro dos processos de empresas de todos os setores. Uma modelagem que deve ser aplicada desde os estágios da educação de base, onde os alunos podem desenvolver habilidades de inovação e criatividade até as universidades onde os estudantes podem colocar em prática tecnologias como o Cloud Computing, por exemplo, para assim diminuir a distância, que hoje é clara, entre essas novas profissões e alunos recém formados. Cloud e Educação A tecnologia em Cloud pode ser uma grande facilitadora para implementar a Educação 4.0 nos processos de uma instituição de ensino. Ela pode trazer uma moderna abordagem de ensino e aprendizagem, a utilização de softwares como o Moodle, um serviço open-source projetado para ajudar profissionais da educação a criar um método de aprendizagem de forma totalmente eficaz, e o Amazon AppStream 2.0, um serviço de streaming de aplicativos totalmente gerenciado, que facilita a virtualização de espaços de laboratório de informática, além de oferecer um suporte integral ao ensino online. Uma tecnologia, facilmente utilizada a partir da cloud computing, que pode auxiliar de forma clara setores da educação é a Machine Learning, pois ela pode ser utilizada tanto em sala de aula no processo de desenvolvimento de alunos, como para detectar estudante em dificuldades de forma preventiva e agir de forma mais assertiva, além de auxiliar na retenção de alunos. Assim como outras empresas, as instituições de ensino pretendem investir na tecnologia em cloud nos próximos anos, a expectativa é que, de acordo com a VexxHost, o mercado de cloud na educação deva girar em torno de US$ 54 milhões. A partir desse cenário, a Amazon Web Services (AWS) investe constantemente neste setor além de oferecer um grande portfólio voltada para empresas de educação, como o Amazon Workspaces, um serviço gerenciado que ajuda a provisionar desktops Windows ou Linux, para assim auxiliar aulas remotas, além do AWS Educate, um portal completo tanto para instituições quanto para estudantes. Benefícios da Educação 4.0 A Educação 4.0 traz diversos benefícios tanto para as instituições de ensino quanto para os alunos. Assim como para as demais empresas, a tecnologia em cloud proporciona entregas mais rápidas, um melhor desempenho no ambiente de TI da instituição, mais segurança nas informações tratadas na estrutura além da otimização de custos, que aparece como uma grande vantagem, uma vez que o modelo pay-as-you-go, bastante utilizado nas plataformas, pode auxiliar as instituições de ensino no período de férias, em que a demanda é baixa. Veja nosso artigo sobre Cloud e Educação! E veja tudo sobre tecnologia no Blog da Darede!

Nós usamos cookies para garantir e oferecer a melhor experiência de navegação em nosso site! Mais informações