O AWS Transfer Family é uma ferramenta da AWS que pode te ajudar a sanar muitos problemas! Entenda de forma prática como ele funciona!

14/09/2023

Por Thiago Marques

O pai ta on!!

Nesse blog existem diversos posts falando sobre serviços, soluções e possibilidades, e hoje vamos falar de um serviço da AWS, que resolve problemas muito comuns, mas que muitas vezes acaba sendo deixado de lado: o Transfer Family.

Neste artigo, vamos explorar o que é o AWS Transfer Family, seus principais recursos e opções, além de fornecer um guia passo a passo para criar um servidor SFTP (Secure File Transfer Protocol) com código Python utilizando a biblioteca boto3 e um template CloudFormation para provisionar um servidor SFTP. 

Fonte:https://d1.awsstatic.com/cloud-storage/product-page-diagram_AWS-Transfer-Family_HIW-Diagram.4af0b3b19477f22bc7e37995c43cf833b6db0ce9.png

O que é o AWS Transfer Family

O Transfer Family é uma solução versátil e poderosa da AWS que simplifica significativamente o processo de transferência de arquivos para a nuvem. O serviço permite que você configure facilmente servidores de transferência de arquivos além de oferecer suporte a vários protocolos de transferência, incluindo FTP (File Transfer Protocol), FTPS (FTP Secure), SFTP e até mesmo APIs personalizadas. 

Essas características abrem possibilidades que vão desde um compartilhamento de arquivos seguros entre uma fonte externa e sua conta na AWS, outras aplicações para a solução podem ser:

  • Backup de dados: Garantir que os dados que estão no onpremises utilizem um conector criptografado para transferência segura;
  • Compartilhamento de arquivos: Compartilhar arquivos de forma segura com clientes, parceiros e fornecedores. Soluções como bucket S3, podem até resolver essa questão, mas nesse caso vai precisar de controles externos, profiles ou (no pior dos casos) deixar o bucket público (desaconselho fortemente).
  • Integração com aplicativos: Como o Transfer Family vai garantir que a transferência de arquivos pontuais, ou mesmo contínuos, é possível integrá-lo com S3 e o Event Bridge para iniciar processamento de arquivos automaticamente;

Vantagens do AWS Transfer Family

  • Facilidade de configuração: Ele elimina a complexidade da configuração e gestão de servidores de transferência de arquivos. Dessa forma o provisionamento e gerenciamento de servidores pode ser feito facilmente ou pela console, ou via IaC.
  • Segurança: O serviço fornece recursos de segurança robustos, e possui compatibilidade com modelos de conformidade como o FedRAMP (Federal Risk and Authorization Management Program), além de incluir mecanismos de autenticação baseadas no IAM, ou mesmo customizadas com utilização de Secrets Manager e Lambda.
  • Escalabilidade: Além de ser um serviço gerenciado, ele é altamente escalável, permitindo ajustes de capacidade conforme a necessidade da solução evolui.
  • Observabilidade: Com sua integração com o CloudWatch, criar métricas, alarmes e até o traceback dos logs com o cloudwatch logs é além de simples, totalmente eficaz e eficiente para coletas daqueles registros detalhados solicitados em auditorias.
  • Múltiplas formas de saída (outputs): Se pode armazenar os arquivos diretamente em um bucket no S3, proporcionando durabilidade e escalabilidade, além de integração com outros serviços da AWS, ou ainda garantir uma maior facilidade na aplicação com a utilização do EFS como outputs.

Adicionalmente é possível utilizar scripts no Lambda para enviar/processar esses arquivos diretamente.

Pontos de atenção com o Transfer Family

Mesmo com diversas vantagens existem alguns pontos de atenção a serem observados. 

O serviço não tem por padrão uma forma simples para utilização de clientes.

Dessa forma é necessário a utilização de clientes que suporte SFTP/FTP para a transferência de dados, ou mesmo de uma aplicação que faça essa função, o que deixa o trabalho um pouco árduo para usuários que não possuem familiaridade com os clientes.

Bônus: Solution Web Client

Como disse, por padrão não existe uma forma simples de utilização do serviço, contudo a AWS desenvolveu uma solução de web cliente, garantindo vantagens como simplicidade, suporte a multi-client e gerenciamento dos arquivos (upload, download, rename e delete).

A solução esta disponível em: Web Client for AWS Transfer Family, e basicamente um cloudFormation que faz deploy da estrutura abaixo:

Ao final teremos uma página web (CRUD) com autenticação, gerenciamento e interação muito mais útil e eficiente.

Comparação de preços

Por ser um serviço gerenciado em comparação direta com as mesmas funcionalidades em um IaaS o Transfer Family acaba ficando com um preço mais elevado. Obviamente todo o custo em operação, administração e infraestrutura deve ser colocado na balança.

Conduto, considerando uma m6i.2xlarge com 200G de TransferOut/mês, o Transfer Family teria uma vantagem financeira:

 Obs.: Aqui não consideramos savings plans, nem reserva.

Infra como Código

Como sempre vamos ver um exemplo de código para criar o deploy em python:

import boto3

 

# Cria o objeto de cliente do serviço

transfer_client = boto3.client(‘transfer’)

 

# Parametros

server_params = {

   

    ‘IdentityProviderType’: ‘SERVICE_MANAGED’, 

    ‘Protocols’: [‘SFTP’],

    ‘EndpointType’:’PUBLIC’,

    ‘Domain’:’S3′,

    ‘Tags’:'[{‘Key’: ‘Name’, ‘Value’: ‘SFTP by Python’}]’

 

}

 

# Crie o servidor SFTP

response = transfer_client.create_server(**server_params)

 

# Imprima o ID do servidor recém-criado

print(‘ID do Servidor SFTP:’, response[‘ServerId’])

Conclusão

O Transfer Family é uma ferramenta valiosa, que simplifica a transferência de arquivos para AWS, gerando facilidade na configuração, a segurança com diversos frameworks de compliantes, e toda a integração que a AWS possui entre seus serviços.

Xero no suvaco!!

Be Happy!!!

foto-thiago-marques
Thiago Marques Technical Account Manager
thiago.marques@darede.com.br

Technical Account Manager da Darede, formato em Rede de Computadores, e pós graduado em Segurança da Informação. Possui ampla experiência em Datacenters e Service Providers, além de ser um entusiasta em DevOps e mercado financeiro.

OUTRAS PUBLICAÇÕES

Toda empresa pode usar Machine Learning?

Entenda como o Machine Learning pode alavancar os resultados da sua empresa Atualmente ouvimos muito sobre Inteligência Artificial, Machine Learning, Deep Learning, NLP (Natural Language Processing), Visão Computacional e Generative AI. Nesse mar de sopa de letrinhas, a realidade é que muitas empresas de diversos segmentos ainda têm dúvidas sobre a possibilidade de utilizarem essas tecnologias em seu negócio. Outro questionamento comum é se o investimento trará um bom retorno financeiro (e em quanto tempo) e não apenas custos. Pensando em esclarecer esses e outros pontos, resolvi escrever sobre a aplicação dessas tecnologias em alguns segmentos de negócios. O conteúdo será abordado em diferentes postagens e, para hoje, o foco é o AGRONEGÓCIO. Machine Learning no Agronegócio Já não é de hoje que o agronegócio é um dos setores que impulsiona a economia nacional, representando  25% do Produto Interno Bruto.  A tecnologia é um dos fatores capazes de manter o Brasil como um dos maiores exportadores mundiais de alimentos e fibras. Entretanto, a velocidade das inovações em seus processos não acompanhava a necessidade das empresas, fato que mudou com a popularização das soluções mencionadas acima.  Muitos profissionais da área podem se perguntar: Como posso aplicar uma dessas tecnologias em minha empresa cujo foco é o agronegócio?  Como o meu retorno financeiro aumentará?  Dentre as tecnologias citadas, quais podem gerar um impacto positivo? O que preciso para começar? Bem, vamos lá… No agronegócio existem diversas vertentes como: Pecuária; Apicultura; Horticultura etc. Em todas é possível aplicar AI/ML (gosto de utilizar esse termo para resumir todas as tecnologias mencionadas e, seguirei utilizando dessa maneira ao longo dos meus posts). As siglas significam: Artificial Intelligence/Machine Learning e o único requisito para utilizá-las é ter ou coletar novos dados. Suponhamos que você tenha uma plantação de milhos em 1 hectare e normalmente utiliza um inseticida para combater larvas e mosquitos em toda a extensão do cultivo. Com AI/ML é possível focar somente em áreas onde a incidência desses insetos seja maior e exista um risco real ao plantio. As tecnologias possuem a capacidade de prever quais serão os pontos mais afetados por meio de um monitoramento rápido realizado com um drone. O equipamento dispõe de visão computacional e identifica os insetos, aplicando assim o inseticida. Usando como baseline um inseticida que consiga cobrir 100m², seria necessária a compra de 100 galões desse inseticida e, caso ele custasse aproximadamente R$ 231,00, o custo total seria de R$ 23.100,00. Agora, considerando uma área de foco coberta por AI/ML, dois galões cobrindo 200m² poderiam resolver todo o problema com um custo de R$ 462,00. Ou seja, economia de R$22.638,00. Esse foi apenas um dos clássicos exemplos de uso em uma plantação.  Mas, temos muitas outras áreas que podemos aplicar:  Manutenção preditiva dos equipamentos de plantação e colheita;  Previsões climáticas;  Previsões financeiras;  Previsões de demanda; Previsões de atraso na entrega do produto; Detecção de fraudes no processo; Simulações na criação de animais e desenvolvimento de plantas, etc.  Tudo isso apenas inserindo alguns dados de inputs para um modelo de AI/ML treinado. Conclusão A conclusão que deixo a você é que, dentro do segmento do agronegócio é possível aplicar AI/ML em qualquer área e departamento, tomando as melhores decisões baseadas em dados que muito provavelmente você já tenha e que estão apenas esperando para serem utilizados.  Em um mundo em constante evolução tecnológica, a pergunta de se toda empresa pode usar Machine Learning não deve mais ser “se”, mas sim”como”. No caso específico do agronegócio, fica claro que as aplicações de AI/ML são vastas e promissoras. Desde otimizar o uso de recursos como inseticidas, prever condições climáticas, demanda do mercado e até mesmo detectar fraudes nos processos, a inteligência artificial e o aprendizado de máquina têm o potencial de revolucionar a maneira como o setor opera. A implementação bem-sucedida de AI/ML não exige necessariamente um grande investimento inicial, mas sim a coleta e utilização eficaz de dados que muitas empresas já possuem. O exemplo da economia substancial com o uso direcionado de inseticidas ilustra como a tecnologia pode otimizar os processos e melhorar os resultados financeiros de maneira significativa. Portanto, a conclusão é que no agronegócio, assim como em muitos outros setores, a adoção de Machine Learning é uma oportunidade tangível para tomar decisões mais assertivas, aumentar a eficiência e, em última análise, impulsionar o sucesso financeiro. O momento de explorar essas tecnologias é agora, e as empresas que se adaptarem mais rapidamente colherão os benefícios dessa revolução tecnológica. Este é o futuro do agronegócio, e a pergunta não é se você deve adotá-lo, mas sim como você pode fazer isso com sucesso. Wilian Cesar Uhlmann Data Scientist | Machine Learning Engineer wilian.uhlmann@darede.com.br Formado em Ciência da Computação e com MBA em Data Science. Atua na resolução de problemas de negócios na área de tecnologia há mais de 11 anos, tendo ministrado um curso de end-to-end de Data Science utilizando a plataforma da AWS. Certificado em ITIL, AWS Cloud Pratictioner e AWS Machine Learning Specialty.

Microsoft Azure passa a faturar em Reais

A Microsoft anunciou nesta quinta-feira, 28, que, a partir do dia 1.º de março, irá adequar o valor dos serviços da plataforma Azure para o real. Com isso, o custo das ferramentas do Azure serão reajustadas em 21% para que seja possível alinhá-las aos preços praticados em dólar. Entretanto, a Microsoft garante que, mesmo com esse reajuste, os usuários do Azure que optarem pelo faturamento em real, o valor desses serviços continuará competitivos. Com uma avaliação periódica do valor de seus produtos, a Microsoft busca garantir um alinhamento entre regiões e suas moedas, de forma que uma valorização ou desvalorização cambial não prejudique os usuários da plataforma, e esse reajuste é a prova disso. Veja como as mudanças do faturamento do Azure afetam cada modalidade de contrato: Contratos Enterprise As empresas que possuem assinaturas do Contrato Enterprise, terão a proteção dos valores dos serviços já contratados. E ao adquirir novos recursos terão a vantagem de obter um preço base menor ou de um preço de mercado, dependendo da ferramenta. O que garante que se o preço de mercado for superior ao preço base, sua empresa não tenha um aumento expressivo nos custos dos serviços contratados. Clientes no modelo Pay-as-You-Go Os clientes do modelo Pay-as-you-go não possuem requisitos mínimos de compra e possuem custos altamente flexíveis. E para esses usuários, o valor dos serviços contratados serão reajustados de forma que se aliem aos preços praticados na moeda americana. Azure in Cloud Solution Program (CSP) Os preços dos serviços contratados pelos clientes do CSP no Brasil não serão faturados em real, por isso não serão afetados por essa mudança. Programa Open Licensing Assim como os usuários que adquirem os serviços do Azure através do modelo Pay-as-you-go, os clientes que integram o programa Open Licensing também terão um reajuste nas taxas de consumo, que a partir de 1.º de março, serão ajustados para se alinhar ao dólar. Em caso de dúvidas entre em contato com a Darede! Nossos profissionais, especialistas em Microsoft, estarão prontos para sanar todas suas questões! Mande um e-mail para: contato@darede.com.br Confira os melhores artigos de tecnologia em nosso blog!

Nós usamos cookies para garantir e oferecer a melhor experiência de navegação em nosso site! Mais informações