Entenda de forma prática e simplificada a funcionalidade do Amazon Kinesis

11/09/2023

Por Everton Santos

O Amazon Kinesis é um serviço de streaming de dados totalmente gerenciado pela Amazon Web Services (AWS). Ele permite a ingestão, processamento e análise em tempo real de grandes volumes de dados de streaming, como logs, métricas, transmissões de mídia e dados de IoT. Com o Kinesis, as empresas podem extrair insights valiosos dos seus dados em tempo real, tomar decisões mais rápidas e tomar ações imediatas.

Melhores práticas com o Amazon Kinesis:

Ao utilizar o Amazon Kinesis, algumas práticas recomendadas podem ajudar a otimizar a sua utilização e garantir um desempenho eficiente:

  • Design de streaming resiliente: Planeje a arquitetura do seu fluxo de dados para alta disponibilidade, escalabilidade e resiliência. Distribua a carga entre várias instâncias do Kinesis para evitar gargalos e falhas únicas de pontos de falha.
  • Partitioning adequado: Ao criar uma stream no Kinesis Data Streams, defina o número adequado de shards (fragmentos) com base nos requisitos de taxa de ingestão e volume de dados. Isso permite um processamento paralelo eficiente e evita gargalos.
  • Gerenciamento de retenção de dados: Configure o período de retenção dos dados na stream de acordo com as necessidades de negócio. Isso permite que você acesse e análise dados históricos dentro de um intervalo de tempo definido.
  • Monitoramento e métricas: Utilize as métricas do Amazon CloudWatch para monitorar o desempenho e a saúde do seu fluxo de dados. Acompanhe o consumo de shards, latência, taxa de transferência e outras métricas importantes para garantir um fluxo de dados contínuo e eficiente.

O Amazon Kinesis é composto por três principais serviços:

  • Kinesis Data Streams: É o serviço central do Kinesis, permitindo a ingestão de dados de streaming em tempo real. Os dados são divididos em shards, que são unidades de throughput e capacidade de armazenamento. Cada shard pode processar um determinado volume de dados por segundo.

(fonte da imagem: https://docs.aws.amazon.com/streams/latest/dev/key-concepts.html)

  • Kinesis Data Firehose: Esse serviço permite que você colete, transforme e carregue dados de streaming em serviços de armazenamento, como o Amazon S3, Amazon Redshift e Amazon Elasticsearch. O Kinesis Data Firehose gerencia automaticamente o dimensionamento e o carregamento dos dados para esses destinos.
  • Kinesis Data Analytics: Com esse serviço, você pode processar e analisar dados de streaming em tempo real usando consultas SQL padrão. O Kinesis Data Analytics permite que você extraia insights dos dados em tempo real, aplique transformações e agregações, e gere resultados para tomada de decisões imediatas.

Precificação do Amazon Kinesis:

O Amazon Kinesis possui uma estrutura de preços baseada no consumo de shards, taxa de ingestão e volume de dados processados. Cada shard tem um custo por horário, e o número de shards necessários depende do volume de dados e da taxa de ingestão desejada. É importante considerar esses fatores ao planejar o dimensionamento e estimar os custos do serviço.

O Amazon Kinesis também oferece uma camada Free Tier, que permite o uso gratuito de um determinado volume de shards e taxa de ingestão de dados durante o primeiro ano de uso. 

foto-everton-santos
Everton Santos Coordenador de Segurança Cibernética
evander.souza@darede.com.br

Estudando prioritariamente Cloud AWS e metodologias ágeis. Ele possui certificados na área de Data Science, com foco em Business Intelligence. Certificados em OLAP com SQL Server, ETL com Integration Services, Consultas Multidimensionais: MDX com SQL Server e Report Analysis com Power BI pela Alura.

OUTRAS PUBLICAÇÕES

Qual é a nuvem ideal para seu negócio?

Ao migrar para cloud, muitos questionamentos podem aparecer: quais são os tipos de nuvens que existem? Veja nosso artigo que auxilia como decidir a nuvem ideal para seu negócio.

Novidades da Semana – 08 a 12 de fevereiro

Todos os dias a AWS lança uma série novidades e atualizações em seus produtos que visam melhorar a vida de seus usuários. Reunimos algumas delas que fazem mais sentido para nosso mercado e que certamente aplicaremos em nosso dia a dia. Confira as novidades da última semana. Security & Analytics AWS IAM – Suporte a tags em novos recursos O AWS IAM agora permite o uso de tags para gerenciar e garantir o acesso seguro em diversos recursos como Customer Managed Policies, Instance Profiles, OpenID Connect Providers, SAML Providers, Server Certificates, e Virtual MFAs. AWS Glue – Suporte ao FindMetrics O AWS Glue incluiu em sua ferramenta o recurso FindMaches ML que identifica, por meio de machine learning a quantidade de dados duplicados independente de sua chave primária. AWS Glue – DataBrew permite configurar o tamanho do dataset a ser analisado O AWS Glue DataBrew agora permite a configuração do tamanho do dataset que será analisado. AWS Cloud HSM – Adiciona novas AZs O AWS CloudHSM adicionou em sua ferramenta novas zonas de disponibilidade (AZs) das seguintes regiões: Leste dos EUA (Virgínia do Norte), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Tóquio) e AWS GovCloud (Oeste dos EUA). Networking & Developer Tools AWS Cloud9 – Integração visual com o Github O AWS Cloud9 anunciou a integração visual dos controles do GitHub em sua console, de forma que seja possível desenvolver projetos na ferramenta. Amazon VPC- Traffic Mirroring suporta instâncias do tipo non-Nitro O Amazon VPC Traffic Mirroring agora permite habilitar a ferramenta em suas instâncias do tipo non-Nitro como as instâncias: C4, D2, G3, G3s, H1, I3, M4, P2, P3, R4, X1 e X1e. Amazon VPC – Anúncio do Endopoints para AWS CloudHSM O Amazon VPC Endpoints agora permite o acesso das APIs do serviço AWS CloudHSM sem requerer uma internet gateway ou uma instância Network Address Translation (NAT). AWS Cloud Map – Suporte a tag de recursos no Console O AWS Cloud Map agora permite utilizar o recurso da tag em seus namespaces e serviços da ferramenta por meio do Console AWS. Aplication Load Balancer (ALB) – Suporte à cookies de aplicativos O Application Load Balancer (ALB) agora oferece suporte à perdurabilidade de cookies baseados em aplicativos. Database AWS Data Exchange – Permite subscribers para exportar revisões O AWS Data Exchange agora permite a inclusão de subscribers para exportar arquivos do Amazon S3 em uma única chamada. Amazon Keyspaces – Suporte ao point-in-time recovery utilizando o AWS CloudFormation O Amazon Keyspaces (for Apache Cassandra) agora permite criar tabelas automatizadas através do recurso point-in-time recovery (PITR) através do AWS Cloudformation. Amazon Aurora – Global Database suporta a mudança de região do cluster primário O Amazon Aurora Global Database agora permite mudar a região que hospeda seu cluster primário de forma que a topologia física de seu banco de dados seja preservada e evitando desnecessárias mudanças em suas aplicações. Amazon DynamoDB – Suporte ao PartiQL O DynamoDB local agora oferece suporte ao PartiQL para consultar, inserir, atualizar e excluir dados de tabelas do Amazon DynamoDB. Outros Novo curso – Managing Amazon S3 A AWS lançou um novo curso “Managing Amazon S3”. Voltado para desenvolvedores, Cloud Architects, Storage Architects, entre outros. O curso tem 2h30 de duração. Quer saber as novidades da AWS das últimas semanas? Leia nosso blog! E acompanhe toda sexta-feira em nosso canal do Youtube nossa live sobre as Novidades da Semana.

Novidades da Semana – 08 a 12 de novembro de 2021

Por Thiago Nunes Marques Todos os dias a AWS lança uma série novidades e atualizações em seus produtos que visam melhorar a vida de seus usuários. Reunimos algumas delas que fazem mais sentido para nosso mercado e que certamente aplicaremos em nosso dia a dia. Confira as novidades da última semana. Machine Learning Amazon Translate Agora o Amazon Translate suporta Português (de Portugal). Storage AWS Backup – DocumentDB e Neptune O AWS Backup é um serviço gerenciado que garante a proteção dos dados via backup com um console central, e até essa semana suportava serviços como EC2, EBS, RDS entre outros. Essa semana foi lançado o suporte a DocumentDB e ao Neptune. Computação: Health dos EC2 Um recurso simples e funcional: agora o já tão utilizado health dos EC2 está disponível no EC2. Com isso tanto o ECS no EC2, quando o ECS Anywhere terá uma análise da AWS no runtime do container e mostrará o status do mesmo na console ou via API com o healthStatus. Management: Manage Access Centrally for CyberArk Users com AWS Single Sign-On CyberArk vem se tornado popular em grandes corporações para centralização do acesso, e conformidade de permissões e logs. Agora a AWS já suporta realizar o SSO com a ferramenta (utilizando ou o SCIM ou SAML 2.0), inclusive a utilizando como frontend para autenticação. AWS CloudTrail – adiciona suporte a ErrorRate Insights Agora o cloudtrail adicionou suporte a análises de taxas de erros para APIs. O ErrorRate Insights trabalha construindo uma baseline do comportamento da API, elaborando modelos estatísticos de padrões em uma operação normal. Com isso qualquer anomalia que saia fora do padrão é logada, o que oferece ao cliente a possibilidade de ser proativo em alguns erros antes do cliente final ter um impacto maior. AWS Systems Manager – disponível em outras regiões Lançado em maio de 2021, o Incidente Manager agora está disponível em São Paulo, e mais 6 regiões. O Incidente Manager é um serviço voltado para todo o fluxo de resolução de um incidente, desde a identificação, logs, alarmes, escalonamento, timeline e até uma análise de causa raiz. AWS Batch – Novas métricas O Batch é um serviço da AWS que ajuda os clientes a agendarem a execução de processos em lote, provisionando a quantidade e tipos de recursos computacionais para execução da tarefa. Até hoje ele trabalhava apenas em filas FIFO (primeiro entra, primeiro sai), e agora é possível trabalhar com outras métricas, como: Peso, Prioridade e Reserva. Outros: AWS Resilience Hub – Novo Serviço AWS nosso blog! E acompanhe toda sexta-feira em nosso canal do Youtube nossa live sobre as Novidades da Semana.

Novidades da AWS – 21 a 25 de setembro

Todos os dias a AWS lança uma série novidades e atualizações em seus produtos que visam melhorar a vida de seus usuários. Veja as novidades da semana de 21 a 25 de setembro.

Nós usamos cookies para garantir e oferecer a melhor experiência de navegação em nosso site! Mais informações