As recentes adições abrangem a atualização de diferentes tipos de bancos de dados, como Amazon Aurora PostgreSQL, Amazon DynamoDB e Amazon RDS para MySQL.
Seguindo em frente com seus avanços em direção à eliminação de ETL para serviços de armazenamento de dados, a AWS anunciou durante sua conferência re:Invent 2023 novas integrações do Amazon RedShift com o Amazon Aurora PostgreSQL, o Amazon DynamoDB e o Amazon RDS para MySQL.
As empresas costumam empregar a técnica de extração, transformação e carga (ETL) para unir informações provenientes de diferentes fontes em um único repositório de dados consistente, que será então transferido para um data warehouse para fins de análise.
Entretanto, a maior parte dos profissionais de engenharia de dados aponta que a manipulação de dados provenientes de fontes diversas pode ser um desafio complexo e demorado, uma vez que o procedimento inclui a realização de etapas como a limpeza, filtragem, reformulação e resumo dos dados não processados.
Outra questão é o custo extra de manter equipes que preparam pipelines de dados para realizar análises, conforme informado pela AWS.
Em contrapartida, as recentes integrações sem a necessidade de ETL, conforme explicado pela empresa, dispensam a execução do processo ETL entre Aurora PostgreSQL, DynamoDB, RDS para MySQL e RedShift. Os dados transacionais nessas bases de dados podem ser replicados quase que instantaneamente em RedShift, prontos para análise.
No momento, as três integrações estão em fase de pré-visualização.
No ano passado, a AWS revelou duas novas funcionalidades: a integração da Amazon Aurora sem necessidade de ETL com o Amazon Redshift e a disponibilidade do Amazon Redshift para o Apache Spark.
Além disso, o provedor de serviços de nuvem disponibilizou amplamente a integração zero-ETL entre o Amazon DynamoDB e o Amazon OpenSearch Service.
Essa integração possibilitará que profissionais de dados de todas as empresas realizem pesquisa em seus dados DynamoDB, replicando e transformando-os de forma automática, sem a necessidade de código ou infraestrutura personalizados, conforme informado pela AWS.
O Amazon Dynamo permite a integração do DB zero-ETL com o Amazon OpenSearch Service em todas as regiões da AWS que suportam OpenSearch Ingestion, de acordo com a AWS.