31/05/2022
Por Luana Farinazzo
Todos os dias a AWS lança uma série novidades e atualizações em seus produtos que visam melhorar a vida de seus usuários. Reunimos algumas delas que fazem mais sentido para nosso mercado e que certamente aplicaremos em nosso dia a dia. Confira as últimas novidades sobre Data!
AWS Glue – Novas APIs no Glue Studio
O AWS Glue Studio é uma ferramenta gráfica utilizada para criar, rodar e monitorar Jobs de ETL no AWS Glue, tornando acessível para quem não tem experiência de codificação no Apache Spark, e acelerando o trabalho para aqueles que tem experiência.
A novidade disponibiliza APIs para criar, ler, atualizar e deletar Jobs do Glue Studio.
Amazon Redshift – Suporte a algoritmo de aprendizagem linear
O Amazon Redshift ML traz a possibilidade de utilizar modelos de machine learning (SageMaker) nos dados armazenados no Redshfit através de comandos SQL.
Agora o Redshift ML suporta o algoritmo de aprendizado linear para resolver problemas de regressão logística e linear.
Um cenário aplicado ao nosso dia a dia é utilizar o modelo de regressão linear para realizar o planejamento de capacidade de um sistema.
AWS Glue – Suporte a autenticação SASL para Apache Kafka
O AWS Glue suporta streams de dados através do Kinesis e Kafka, aplicando transformações e cargas “in-flight” dentro de data stores para analytics e Machine Learning.
A partir de agora, a conexão do Glue ao Apache Kafka suporta SASL (Simple Authentication and Security Layer) usando SCRAM (Salted Challenge Response Authentication Mechanism) ou GSSAPI (Kerberos).
Amazon Athena – Suporte a views no Apache Hive metastores
O Apache metastore é utilizado como um catálogo comum de metadados para ambientes de big data. Nele é possível criar views, sendo estas definidas utilizando HiveQL, não completamente compatível com SQL.
A partir de agora é possível utilizar o Athena para consultar as views do Apache Hive metastores. Por baixo dos panos o Athena trata as diferenças de sintaxe entre o SQL e o HiveQL.
Amazon SageMaker- Data Wrangler com suporte adicional às instâncias M5 and R5
Com o Amazon SageMaker Data Wrangler, é possível simplificar o processo de preparação de dados e engenharia de recursos, além de executar cada etapa do fluxo de trabalho de preparação de dados, incluindo seleção, limpeza, exploração e visualização de dados em uma só interface visual.
O Data Wrangler executa, por default, em instâncias ml.m5.4xlarge. Agora é possível rodar o SageMaker Data Wrangler em instâncias M5 e R5 com mais memória e CPU.
Amazon SageMaker – Data Wrangler com suporte a insights
A partir de agora o SageMaker Data Wrangler possui a feature de insights, em que é possível gerar o Data Quality e insights report já contendo uma análise automática de qualidade de dados e detecção de anomalias, facilitando o trabalho do cientista de dados.
Amazon ElastiCache – Nova console
Está disponível uma nova console para gestão do Amazon ElasticCache para Redis e para Memcached.
Amazon RDS for PostgreSQL – Maior capacidade de read réplicas em cascata
A partir do PostgreSQL 14 é possível ter 3 níveis de read réplicas em cascata, 5 réplicas por instância, suportando até 155 réplicas de leitura por instância de origem, aumentando bastante a capacidade para workloads com consumo pesado de leitura.
Amazon RDS – Performance Insights novas features de visualização de métricas
O Performance Insights é uma importante ferramenta utilizada na monitoração de performance de serviços RDS, muito útil em cenários de troubleshooting.
Agora é possível visualizar a performance e o comportamento de instâncias RDS em intervalos específicos de tempo. Anteriormente só era possível escolher intervalos relativos como, 1 hora, últimas 24 horas.
AWS Outposts – Suporte a storage autoscaling para RDS
AWS Outposts é um serviço gerenciado da AWS que permite que você utilize a infraestrutura, serviços, APIs e ferramentas da AWS em datacenters, colocations ou facility on-premises.
A partir de agora é possível configurar o autoscalling de storage para RDS em Outposts.
Amazon RDS – Suporte a IPV6
A partir de agora o RDS suporta a utilização de IPV6 em instâncias existentes e novas.
Amazon RDS – Recurso que publica métricas de uso para o CloudWatch
O RDS agora publica métricas de uso para o CloudWatch. Com isso é possível monitorar se os limites do serviço do RDS já foram alcançados a nível de conta.
Foram criadas as seguintes 11 métricas: AllocatedStorage, DBInstances, DBClusters, DBSecurityGroups, ReservedDBInstances, DBClusterParameterGroups, DBParameterGroups, ManualSnapshots, ManualClusterSnapshots, DBSubnetGroups, OptionGroups.
Amazon RDS for PostgreSQL, MySQL e MariaDB – Suporte a novos tamanhos das instâncias M6i and R6i
PostgreSQL acima da versão 11, MySQL versão 8 e MariaDB acima da versão 10.4 agora possuem novos tamanhos de instâncias da sexta geração (AWS Nitro System). O novo tamanho 32xlarge tem 128 vCPUs e 512 GB de memória para a família M6i e 1024 GB de memória para a família R6i.
Ainda não disponível para São Paulo.
Amazon ElastiCache – Data tiering disponível em novas regiões
Agora é possível utilizar tiering de dados para o Elasticache for Redis com o intuito de diminuir os custos, armazenando os dados em drivers de baixo custo.
AWS Glue – Detecção de Personal Identifiable Information (PII)
A partir de agora, durante a execução de jobs no Glue, é possível detectar Personal Identifiable Information (PII) e outros dados sensíveis, tanto em nível de colunas quanto células.
Além da detecção, é possível tomar ações sobre estes dados, possibilitando, por exemplo, que um dado sensível seja alterado antes de ser armazenado no Data Lake.
Amazon Athena – 10 novos conectores
Disponibilização de 10 novos conectores para o Athena, são eles:
AP HANA (Express Edition),
Teradata,
Cloudera,
Hortonworks,
Snowflake,
Microsoft SQL Server,
Oracle,
Azure Data Lake Storage (ADLS) Gen2, A
zure Synapse, e
Google BigQuery
AWS Glue – Autoscaling disponível para produção
Agora é possível fazer o scaling dinâmico de recursos do AWS Glue.
Quer saber as últimas novidades da AWS? Leia nosso blog!
E acompanhe toda segunda-feira em nosso canal do Youtube nossa live sobre as Novidades da AWS.
Luana Farinazzo
Technical Account Manager
luana.farinazzo@darede.com.br
Luana Farinazzo atua como Technical Account Manager, e tem vasta experiência com Tecnologia da Informação trabalhando na função de Project Manager, SDM , pré-vendas, entre outros. Ela também possui diversas certificações sendo a última AWS Solutions Architect Associate.
