A plataforma baseada em nuvem de inteligência artificial e aprendizado de máquina agora oferece suporte para Nvidia NIM, GPUs AMD, tempo de execução vLLM para KServe, Modelcars KServe e ajuste fino LoRA.
A Red Hat lançou uma nova versão da Red Hat OpenShift AI, uma plataforma de aprendizado de inteligência artificial e machine learning em nuvem. A atualização inclui um registro de modelo com funcionalidades de versionamento e rastreamento, ferramentas para detectar desvios de dados e viés, e recursos de ajuste fino LoRA. A empresa também destaca a melhoria da segurança.
A versão 2.15 do Red Hat OpenShift AI estará amplamente disponível por volta de meados de novembro, trazendo consigo recursos em destaque.
- Um modelo de registro, atualmente em fase de protótipo, que oferece um método organizado para compartilhar, atualizar, implementar e monitorar modelos, metadados e elementos relacionados ao modelo.
- Identificação de desvio de dados, visando acompanhar alterações nas distribuições de dados de entrada para modelos de Aprendizado de Máquina implementados. Essa funcionalidade possibilita que os profissionais de dados identifiquem quando os dados em tempo real utilizados para a execução do modelo se afastam consideravelmente dos dados utilizados no treinamento do modelo. A identificação de Drift auxilia na avaliação da precisão do modelo.
- Ferramentas de detecção de preconceitos estão disponíveis para auxiliar cientistas de dados e engenheiros de inteligência artificial a verificar a equidade e imparcialidade de seus modelos. Essas ferramentas preditivas, provenientes da comunidade de código aberto TrustyAI, são capazes de monitorar a justiça dos modelos mesmo após sua implementação em situações do mundo real.
- Aprimoramento preciso usando a tecnologia LoRA, a fim de possibilitar uma otimização mais eficaz de LLMs (modelos de linguagem maiores) como o Llama 3. Dessa forma, as empresas podem ajustar as demandas de trabalho de inteligência artificial, reduzindo gastos e uso de recursos.
- Suporte para Nvidia NIM consiste em uma série de microserviços de interface projetados para otimizar a implementação de aplicativos de inteligência artificial generativa.
- Assistência para unidades de processamento gráfico da AMD e disponibilidade de uma imagem de sistema AMD ROCm para utilizar GPUs AMD na criação de modelos.
O Red Hat OpenShift AI introduz novas funcionalidades para suportar modelos de AI generativa, como o tempo de execução de serviço vLLM para KServe, uma plataforma de inferência de modelo baseada em Kubernetes. Também oferece suporte para o KServe Modelcars, que permite a utilização de repositórios Open Container Initiative (OCI) para armazenar e acessar diversas versões de modelos. Além disso, a possibilidade de selecionar rotas privadas/públicas para endpoints na KServe permite que as organizações aprimorem a segurança dos modelos ao direcioná-los para endpoints internos quando necessário.
O Red Hat OpenShift AI 2.15 inclui aprimoramentos em inteligência artificial preditiva e generativa para pipelines de ciência de dados e monitoramento de experimentos. Isso permite que os cientistas de dados gerenciem e analisem com mais facilidade o funcionamento do pipeline em uma estrutura organizada. Além disso, introduz a afinação de hiperparâmetros com Ray Tune, que oferece algoritmos de otimização avançados para aprimorar a precisão e otimizar o treinamento de modelos de maneira mais eficiente.