Entenda o que são esses tipos de dados e como a AWS nos ajuda a usá-los da melhor forma.

Diariamente nós geramos dados de diferentes maneiras e quando o assunto é tecnologia acontece o mesmo. Por conta disso, a AWS fornece o necessário para analisá-los e processá-los em tempo real. Vamos entender um pouco sobre esses tipos de dados ao longo do artigo.

O que são dados em tempo real?

Quando falamos sobre esses tipos de dados estamos nos referindo àqueles que são obtidos de forma simultânea. Eles costumam ser resultantes de fluxos, tecnologias IoT (Internet das Coisas – em inglês) e aplicações que possuem eventos como guia.

Assim como dados são usados para a procura de uma informação ou a busca pela solução de um obstáculo, os em tempo real tem o mesmo propósito, com a diferença de auxiliar na tomada de decisões urgentes e que precisam de rápida resposta. Por conta disso, a AWS fornece diversos serviços, gerenciados ou não, que possuem como objetivo auxiliar na coleta, análise e processamento do fluxo de dados em tempo real. 

Abaixo veremos alguns exemplos desses serviços e como eles podem nos ajudar:

Amazon Kinesis Data Streams

O Data Streams é um serviço Serverless (não possui servidores para gerenciar)  de consumo, processamento e armazenamento de transmissão de dados com alta escalabilidade otimizado para dados de streaming (transmissão contínua de dados).

Por meio da coleta de diferentes tipos, é possível abastecer painéis instantâneos, gerar métricas  e entregar dados a repositórios que o armazenam. Além disso, graças a aplicações ativadas por eventos é possível reagir ou se ajustar a ocorrências imediatas.

Amazon Kinesis Firehouse

O Firehouse é um serviço para extração, transformação e entrega de dados de um modo confiável para armazenamento e serviços de análise. Com ele, é possível monitorar a segurança em tempo real e criar diferentes alertas com ferramentas compatíveis quando possíveis perigos aparecerem. Além disso, por meio do uso de modelos de Machine Learning é possível melhorar os fluxos de dados para análise e previsão.

Amazon Kinesis Data Analytics

O Data Anaytics tem como objetivo a simples transformação e análise de dados de transmissão em tempo real por meio do uso do Apache Flink (ferramenta de fluxo de dados de streaming). Por meio deste serviço é possível executar a procura e estudo dos mesmos de uma forma interativa em tempo real. Além disso, é possível efetuar a detecção de anomalias segundo as tendências de dados históricos. 

Amazon MSK

O MSK é utilizado com o objetivo de simplificar o tratamento e a obtenção de dados de streaming em tempo real por meio do uso de Apache Kafka totalmente gerenciado. Este serviço permite que os desenvolvedores possam se concentrar no desenvolvimento de aplicativos e menos no gerenciamento da infraestrutura. Além disso, ajuda a implantar de forma fácil aplicações compatíveis, seguras e prontas para produção.

Amazon OpenSearch Service

O Amazon OpenSearch Service libera de maneira segura o monitoramento, a procura e a análise de dados de operação em tempo real. Este também é um serviço gerenciado com o objetivo de aumentar a excelência operacional. Além disso, por conta de sua alta observabilidade, é possível detectar possíveis perigos e reagir ao estado de um sistema por meio de uma solução de código aberto.

Caso deseje saber mais sobre esses e outros serviços da AWS que possam ajudar na análise e processamento de dados em tempo real, acesse o site: https://aws.amazon.com/pt/big-data/datalakes-and-analytics/

Acompanhe mais sobre esse e outros assuntos no Blog da Darede!

“O que é perigoso é não evoluir”.       Jeff Bezos

foto-giovana-costa
Mateus Passos Assistente de Projetos
mateus.passos@darede.com.br

Matheus tem um vasto conhecimento na área de tecnologia e hoje atua no setor de projetos na Darede. Ele possui diversas certificações, sendo a última Scrum Fundamentals Certified.

OUTRAS PUBLICAÇÕES

Veeam Backup para AWS

Entenda como a ferramenta Veeam Backup pode ser uma grande alternativa para realizar backups na AWS e de forma econômica!

Novidades da Semana 19 a 25 de fevereiro

Todos os dias a AWS lança uma série novidades e atualizações em seus produtos que visam melhorar a vida de seus usuários. Reunimos algumas delas que fazem mais sentido para nosso mercado e que certamente aplicaremos em nosso dia a dia. Confira as novidades da última semana. Segurança | Governança AWS Control Tower – AWS Control Tower agora oferece o recurso de selecionar região O AWS Control Tower agora permite fazer seleção de regiões, ou seja, ao criar uma conta é possível especificar quais regiões poderão ser usadas. Se você já usa o Control Tower, poderá fazer esse ajuste por conta. AWS Config – Suporte para criptografia do KMS em buckets do S3 através do AWS Config O AWS Config possibilitou o envio de dados para o S3 encriptando com o KMS, antes era possível enviar encriptado sem o KMS. AWS Cloud Formation – StackSets adiciona o recurso de delegar responsabilidades contas AWS O AWS CloudFormation StackSets estendeu a funcionalidade de pilhas, permitindo que você crie, atualize ou as exclua em várias contas e regiões com uma única operação. Esse recurso permite que você adote uma prática recomendada de segurança da AWS, que recomenda que você delegue responsabilidades fora da conta de gerenciamento sempre que possível. Operações | Infraestrutura Amazon EC2 – Instâncias do Amazon EC2 Mac agora suportam macOS Big Sur O AWS EC2 for macOS suporta a nova versão do sistema operacional, o Big Sur, além disso a nova versão tem suporte nativo a conexão ao EFS. Amazon EC2 – AutoScaling agora exibe histórico de escalabilidade O Amazon EC2 AutoScaling agora disponibiliza o histórico de escalabilidade para AutoScaling Groups deletados, você pode especificar quanto tempo irá querer o histórico; Essa função é muito importante principalmente quando se automatiza a criação dos ASG, como é o caso do Code Deploy com Blue Green. AWS Network Firewall – Recurso Firewall Deployment Automations para AWS Transit Gateway está disponível O AWS Network Firewall com AWS Transit Gateway pode agora ser configurados facilmente com novas soluções de IaC da própria AWS, para isto basta rodar o CloudFormation e estará tudo pronto! É importante tomar cuidado com os custos do Transit Gateway. DevOps AWS CodeBuild – Suporte a workloads Arm-base com AWS Graviton2 AWS CodeBuild suporta processadores Graviton 2 ARM sem necessitar qualquer configuração adicional. Banco de Dados Amazon RDS for Oracle – Suporte à Release Update (RU) de janeiro de 2021 O Amazon RDS Oracle disponibilizou a Release Update de janeiro de 2021. A atualização é importante e está disponível para as versões 12.2, 18c, and 19c. Amazon RDS – Suporte a PostgreSQL 13 O Amazon RDS Aurora for PostgreSQL tem novos patches para as versões do cluster 1.8.1 / 2.6.2 / 3.3.2. Amazon Aurora PostgreSQL – Patches 1.8.1 / 2.6.2 / 3.3.2 disponíveis O Amazon RDS para PostgreSQL agora oferece suporte à versão principal 13. PostgreSQL 13 inclui funcionalidade e desempenho aprimorados de novos recursos , como eliminação de duplicação de entradas de índice de árvore B, desempenho aprimorado para consultas que usam tabelas particionadas, classificação incremental para acelerar classificações de dados, processamento paralelo de índices com o comando VACUUM. Amazon Elasticsearch Service – Suporte ao recurso de exportar relatórios do Kibana Amazon Elasticsearch adicionou o recurso de exportar relatórios de dashboards do Kibana em PDF e CSV. Amazon Elasticsearch Service – Suporte a roll-ups Amazon Elasticsearch possui novas features com suporte a rollups, o que reduz consumo de dados para series que podem ser resumidas; AWS Database Migration Service – Suporte a versão 10.5 do MariaDB O AWS DMS agora suporta a versão 10.5 do MariaDB tanto como origem como para destino em RDS. Amazon RDS for SQL Server – Suporte ao recurso AlwaysOn O AWS RDS SQL Server agora oferece suporte ao recurso AlwaysOn na versão Standard. Caso tenha a versão Enterprise somente por essa função, pode economizar um bom dinheiro. Amazon RDS – Adicionou novos eventos para implantações Multi-AZ O AWS RDS adicionou novos eventos relatando a causa de um failover de banco de dados automatizado Amazon RDS Multi-AZ para que você possa detectar e responder a interrupção com mais agilidade, além de receber os motivos do incidente no log de eventos. Amazon CloudWatch – Contributor Insights for Amazon DynamoDB com suporte ao CloudFormation O Amazon CloudWatch Contributor Insights para Amazon DynamoDB agora oferece suporte ao AWS CloudFormation, permitindo que você gerencie as configurações de Contributor Insights para DynamoDB com modelos do CloudFormation. Outros Amazon SageMaker Studio – Suporte a presigned URL O Amazon SageMaker agora suporta presigned URL, ou seja, agora é possível criar URLs com tempo de expiração para fornecer em sua aplicação. Amazon Lookout for vision – Nova solução A AWS anunciou um novo serviço: o Amazon Lookout. Solução para manufatura que permite detecção de anomalias de qualidade baseada em Computer Vision, a visão de imagens computacionais. Quer saber as novidades da AWS das últimas semanas? Leia nosso blog! E acompanhe toda sexta-feira em nosso canal do Youtube nossa live sobre as Novidades da Semana.

Nós usamos cookies para garantir e oferecer a melhor experiência de navegação em nosso site! Mais informações