O executivo de alto escalão afirmou que a empresa líder do setor de tecnologia tem investido em desenvolver habilidades para implementar e administrar extensos modelos de linguagem de base.
A introdução do assistente “plug and play” Amazon Q pela Amazon Web Services (AWS) na conferência re:Invent 2023 facilitou a adoção de chatbots de AI generativa genérica pelas empresas. No entanto, para aquelas que desejam desenvolver seu próprio assistente de AI generativa com um modelo de linguagem grande (LLM) personalizado, o processo é mais complexo.
Para auxiliar as empresas nesse cenário, a AWS tem se dedicado a desenvolver e implementar novas ferramentas para a gestão de LLMs no Amazon SageMaker, seu serviço de aprendizado de máquina e inteligência artificial. Ankur Mehrotra, gerente geral da SageMaker na AWS, compartilhou essa informação com a InfoWorld.com.
“Estamos focando em MLops e estabelecendo amplas capacidades de operações de modelos de linguagem para auxiliar as empresas na gestão de diversos modelos LLMs e ML em produção. Essas capacidades facilitam a agilidade das empresas em substituir partes ou até mesmo modelos completos à medida que se tornam disponíveis”, afirmou.
Mehrotra tem expectativas de que as novas funcionalidades sejam incorporadas em breve, possivelmente durante o re:Invent deste ano, embora não tenha especificado uma data exata. Atualmente, ele está concentrado em auxiliar as empresas na manutenção, otimização e atualização dos LLMs que estão utilizando.
Possíveis representações em modelos.
Existem diversas situações em que as empresas poderão se beneficiar dessas capacidades LLMops, afirmou ele, e a AWS já disponibilizou ferramentas para algumas delas.
Uma situação comum é quando uma nova edição do modelo atualmente em uso se torna disponível, ou quando um modelo mais eficaz para aquela situação específica está disponível.
Mehrotra afirmou que as empresas necessitam de instrumentos para analisar o funcionamento do modelo e suas necessidades de infraestrutura antes de realizar a transição segura para a produção. Ele ressaltou que as ferramentas do SageMaker, como testes de sombra e Clarify, podem ser úteis nesse processo.
O teste de sombra possibilita que organizações avaliem um modelo para uma finalidade específica antes de avançarem para a produção; Clarify identifica preconceitos no desempenho do modelo.
Outra situação ocorre quando um modelo gera respostas variadas ou indesejadas devido às mudanças na entrada do usuário ao longo do tempo. Isso requer que as empresas ajustem o modelo ou empreguem a geração avançada de recuperação (RAG).
“SageMaker tem a capacidade de auxiliar as empresas nesses dois aspectos. De um lado, as empresas podem utilizar as ferramentas disponíveis no serviço para gerenciar a resposta de um modelo, e, por outro lado, o SageMaker possui integrações com LangChain para RAG”, detalhou Mehrotra.
SageMaker iniciou como uma plataforma de inteligência artificial abrangente, porém, recentemente a AWS tem incluído mais funcionalidades voltadas para a implementação de inteligência artificial generativa. No mês passado, apresentou duas novas opções, SageMaker HyperPod e SageMaker Inference, com o objetivo de auxiliar as organizações no treinamento e na implementação eficaz de LLMs.
Diferentemente do processo manual de treinamento LLM, que pode apresentar atrasos, custos desnecessários e outras dificuldades, a HyperPod simplifica a construção e otimização da infraestrutura de aprendizado de máquina para modelos de treinamento, diminuindo o tempo necessário em até 40%, de acordo com a empresa.
Mehrotra mencionou que a AWS registrou um significativo aumento na procura por treinamento de modelos e execução de modelos nos últimos meses, à medida que as empresas buscam utilizar a inteligência artificial generativa para aumentar a produtividade e gerar código.
O gerente geral informou que, embora não tenha revelado o número exato de empresas que estão utilizando o SageMaker, ele mencionou que o serviço registrou um aumento de cerca de 10 vezes em apenas alguns meses.
“Recentemente, mencionamos que o SageMaker possuía dezenas de milhares de clientes, mas agora podemos afirmar que possuí centenas de milhares”, explicou Mehrotra, indicando que parte desse crescimento se deve a empresas que estão implementando suas experiências de inteligência artificial generativa em produção.