A Microsoft disponibiliza uma única loja para softwares de análise de dados em grande escala com suas mais recentes atualizações para sua plataforma de dados.
Se há algo essencial para as empresas atualmente, são informações – em grande quantidade. Inicialmente com armazenamento de dados e agora com a utilização de data lakes, estamos empregando recursos locais e na nuvem para administrar e analisar esses dados, transformando-os em informações valiosas para orientar decisões de negócios.
Os dados estão se tornando cada vez mais cruciais nos dias de hoje, pois são utilizados para capacitar e aprimorar modelos de IA personalizados, bem como para fornecer a base fundamental para aplicações de IA já existentes. O Microsoft’s Fabric é uma plataforma de análise baseada em ferramentas de dados já consolidadas, como o Azure Synapse. Portanto, não foi uma surpresa a Microsoft ter apresentado durante seu evento BUILD 2024, focado em IA, novos recursos destinados a atender às demandas de análise e dados em larga escala de aplicativos de IA modernos.
A Microsoft descreve a Fabric como uma plataforma que simplifica o trabalho com grandes volumes de dados, permitindo focar em análises e extrair valor dessas informações. Isso pode ser feito utilizando ferramentas como o Power BI para criar e compartilhar painéis com dados, ou aplicando os dados para desenvolver inteligências artificiais personalizadas ou aprimorar modelos de IA já existentes.
O artigo fala sobre embalagens feitas de tecido.
Uma das adições mais significativas foi a inclusão de suporte para uma variedade maior de formatos de dados, visando facilitar a integração do Microsoft Fabric com outras plataformas de dados de larga escala. Até então, o Fabric era construído com base no formato de dados Delta Parquet, mantido pela Fundação Linux e utilizado por diversas plataformas Lakehouse. A tecnologia de armazenamento de dados de código aberto permite a combinação de registros de transações com repositórios de objetos na nuvem em grande escala, sem a necessidade de recorrer a repositórios de dados especializados. Em vez disso, é possível que o seu mecanismo de dados trabalhe diretamente com um arquivo Delta Lake armazenado no Azure Blob Storage.
É essencial ter em mente que existem diversos formatos de dados para lidar com grandes volumes de informações, sendo um deles o formato de tabela aberta do Apache Iceberg, amplamente utilizado na plataforma de dados de nuvem gerenciada do Snowflake. Esta plataforma permite a administração eficiente de grandes conjuntos de dados por meio de ferramentas como SQL, facilitando a edição ágil de tabelas extensas e a atualização de seus esquemas.
Caso o Microsoft Fabric seja o centro de dados AI no Azure, é necessário que ele seja compatível com diversas fontes de dados. Por isso, um dos anúncios mais importantes feitos na BUILD foi o suporte ao Iceberg no ambiente de dados OneLake do Microsoft Fabric, juntamente com o Parquet Delta, além de ferramentas para uma integração bidirecional entre o Microsoft Fabric e o Snowflake, possibilitando trabalhar com as ferramentas de sua preferência.
Uma característica fundamental do suporte da Fabric para o Iceberg é a utilização de atalhos para converter metadados entre os dois formatos, possibilitando que consultas e ferramentas analíticas os reconheçam como uma única fonte, independentemente de onde estejam localizados. Isso permitirá que organizações com grandes conjuntos de dados já armazenados em Snowflake ou em outros ambientes Iceberg tirem proveito do Microsoft Fabric e sua integração com ferramentas como o Azure AI Studio. Dessa forma, o processo de treinamento de modelos de IA em dados mantidos na nuvem da Snowflake deve ser simplificado, sem a necessidade de armazená-los em locais distintos.
Estamos aplicando a mesma abordagem às ferramentas de marketing em nuvem da Adobe e ao Azure Databricks. Ao utilizar as ferramentas de integração da Microsoft Fabric, você poderá importar catálogos Databricks para a Fabric e, ao mesmo tempo, visualizar seus dados OneLake como um catálogo no Azure Databricks. Isso possibilita o uso da melhor ferramenta para cada tarefa, com fluxos de trabalho que abrangem diferentes conjuntos de ferramentas sem afetar a integridade dos dados.
Aprimoramento do suporte de informações em tempo real.
Apesar de o Microsoft Fabric oferecer suporte básico para dados transmitidos em tempo real, era necessário utilizar duas ferramentas distintas para tirar total proveito desses dados. Realizar análises em tempo real de dados provenientes de sistemas de negócios e da Internet industrial das Coisas pode proporcionar informações valiosas para identificar problemas antes que afetem a empresa, especialmente quando integrado a ferramentas que podem acionar alertas e ações com base nos dados coletados.
A nova ferramenta de Inteligência em tempo real funciona como um hub para lidar com dados em tempo real de várias fontes, criando um ambiente de desenvolvimento sem código que facilita a gestão e transformação desses dados. Este recurso permite a extração e encaminhamento dos dados para um lago de dados para análise posterior, podendo provir tanto de dentro do Azure como de fontes externas.
Essa estratégia facilita a obtenção do melhor proveito dos dados que você está transmitindo. Ao acionar ações externas, é possível reagir de forma ágil, identificando atividades fraudulentas em uma plataforma de comércio eletrônico ou detectando possíveis falhas em equipamentos monitorados. Os dados passam a ser utilizados como uma ferramenta para desenvolver novos modelos de inteligência artificial que podem automatizar esses procedimentos.
Consultas utilizando linguagem natural com Copilots.
A Microsoft tem incluído um recurso de linguagem natural na Fabric através do Copilot, com o objetivo de possibilitar que os usuários façam perguntas simples sobre seus dados temporais. Isso gera automaticamente a consulta Kusto (KQL) necessária para repetir ou aprimorar a pesquisa, ajudando os usuários a aprender a utilizar o KQL de forma mais fácil. Isso permite que usuários novatos adquiram habilidades de análise de dados ao visualizar como a consulta KQL está relacionada com sua pergunta original.
O mesmo sistema Copilot é utilizado para criar as novas funcionalidades de inteligência artificial do Microsoft Fabric. Nesse processo, é possível começar escolhendo uma fonte de dados e, por meio de perguntas em linguagem natural, construir consultas complexas sem a necessidade de configuração adicional. É possível adicionar fontes e tabelas adicionais conforme necessário. A ferramenta de IA mostrará a consulta construída, permitindo que sejam feitas edições e o resultado seja compartilhado com colegas. A Microsoft planeja disponibilizar essas funcionalidades para o Copilot Studio, oferecendo um ambiente de desenvolvimento sem a necessidade de código para dados e fluxos de trabalho.
Incorporando interfaces de programação de aplicativos (APIs) na avaliação do Microsoft Fabric.
O Microsoft Fabric é uma ferramenta analítica essencial que também serve como um centro de controle para os grandes dados, que podem ser utilizados em outras aplicações. Para isso, é preciso integrar APIs aos dados para construir endpoints de tecido em seu código. Até o momento, todas as APIs do Tecido eram APIs RESTful de gerenciamento, permitindo a criação de ferramentas administrativas personalizadas. Com as atualizações mais recentes, agora é possível adicionar suas próprias APIs GraphQL aos dados.
Os lagos de dados e as casas de lagos podem abrigar uma variedade de esquemas, então ao utilizar as definições de API com base no tipo GraphQL, é possível criar APIs que operam em todos os seus dados de Tecido, retornando informações de todas as fontes em um único objeto JSON. Seu código não precisa ter conhecimento específico dos dados no ambiente de tecido, pois o motor de consulta de tecido oferece toda a abstração necessária.
Criar uma API é um processo simples. No Microsoft Fabric, inicie dando um nome à sua API e escolhendo as fontes e tabelas a serem expostas. Isso criará o esquema GraphQL, no qual você poderá trabalhar no explorador de esquema integrado para definir consultas e relações entre tabelas. Embora nem todas as fontes de dados estejam atualmente disponíveis, é possível começar com os endpoints analíticos existentes para fornecer acesso aos dados analíticos. Dessa forma, o Microsoft Fabric permite armazenar dados, executar consultas analíticas, armazenar resultados em tabelas e disponibilizar acesso à API para esses resultados.
Após finalizar a sua API, basta copiar o endpoint gerado e fornecê-lo aos desenvolvedores de aplicativos, os quais devem adicionar as devidas autorizações para garantir o acesso apenas de usuários autorizados, especialmente se a API permitir a modificação de dados.
As últimas atualizações do Microsoft Fabric abordam várias deficiências evidentes da plataforma. Facilitando a manipulação de diferentes formatos de dados, incluindo dados transmitidos, as atualizações permitem aproveitar os recursos já existentes. Além disso, o suporte para APIs GraphQL possibilita a criação de aplicativos capazes de lidar com grandes volumes de dados, enquanto o Fabric cuida das consultas por trás dos panos.
Ao apresentar uma forma de simplificar a complexidade dos dados em grande escala e disponibilizar agentes de inteligência artificial, a Microsoft Fabric está mostrando como uma plataforma de dados gerenciada pode ajudá-lo a transformar dados brutos em aplicações analíticas, independentemente do seu nível de habilidade. Basta fazer perguntas.