As torneiras da DataStax ThirdAI visam incorporar inteligência artificial generativa em seus produtos de banco de dados.

A colaboração entre as empresas permitirá que o banco de dados Apache Cassandra utilize a tecnologia Bolt da ThirdAI para otimizar o treinamento de inteligência artificial em processadores.

DataStax anunciou na quarta-feira uma colaboração com a startup de Houston ThirdAI com o objetivo de disponibilizar modelos de linguagem de grande escala (LLMs) em suas soluções de banco de dados, como o DataStax Enterprise para instalações locais e o serviço de banco de dados NoSQL AstraDB.

De acordo com o diretor de produtos da DataStax, Ed Anuff, a colaboração faz parte da estratégia da empresa de levar inteligência artificial para o local onde os dados estão armazenados.

O ThirdAI pode ser instalado no mesmo cluster onde o DataStax está sendo executado, localmente ou na nuvem, pois inclui uma biblioteca compacta e a instalação pode ser feita usando Python.

Segundo um representante da DataStax, uma vantagem é que os dados permanecem no DataStax e são apenas transferidos para o ThirdAI, que está próximo a ele. Isso garante total privacidade e rapidez, uma vez que não há perda de tempo na transferência de dados pela rede.

“De acordo com o porta-voz, ThirdAI pode ser utilizado como um pacote em Python ou ser acessado por meio de uma API, conforme a escolha do cliente.”

Empresas que utilizam DataStax Enterprise ou Astra DB têm a possibilidade de empregar os dados armazenados nessas bases de dados e tecnologia, juntamente com os modelos de aprendizado de máquina da ThirdAI, para desenvolver suas próprias aplicações de inteligência artificial generativa. Os modelos básicos da ThirdAI podem ser ensinados a interpretar dados e a responder perguntas, como por exemplo, identificar qual recomendação de produto poderia levar a uma venda, considerando o histórico de um cliente.

A integração dos LLMs da ThirdAI com a tecnologia Bolt da startup DataStax permitirá alcançar um desempenho de treinamento AI superior em CPUs em comparação com GPUs para modelos mais simples. Isso é vantajoso, pois os CPUs costumam ter um custo menor do que as GPUs, que são comumente utilizadas em tarefas de aprendizado de máquina e inteligência artificial.

Segundo ThirdAI em uma postagem de blog, o motor Bolt, um acelerador algorítmico para treinamento de modelos de aprendizagem profunda, consegue diminuir drasticamente o número de computações necessárias. Enquanto truques convencionais como quantização, poda e esparsidade estruturada oferecem apenas melhorias incrementais, o algoritmo do Bolt realiza o treinamento de redes neurais utilizando apenas 1% ou menos de operações de ponto flutuante por segundo (FLOPS).

“O aumento de velocidade é comumente percebido em todos os processadores, independentemente se são da Intel, AMD ou ARM. Mesmo processadores mais antigos e comuns podem ser ajustados para realizar treinamentos de modelos com bilhões de parâmetros mais rapidamente do que as GPUs A100”, explicou.

De acordo com o ThirdAI, Bolt pode ser integrado facilmente em pipelines de aprendizado de máquina existentes em Python com algumas pequenas alterações de código.

O comunicado com a ThirdAI representa o início de um novo projeto de colaboração que a DataStax está planejando para trazer mais tecnologia de startups de inteligência artificial, as quais podem auxiliar empresas que utilizam bancos de dados DataStax a criar aplicações de inteligência artificial generativas.