Grandes modelos de linguagem estão sendo cada vez mais utilizados na tecnologia atualmente, porém é importante avaliar se são a solução ideal para o problema antes de implementá-los.
Se a chave de fenda tivesse sido inventada pela indústria de tecnologia nos dias de hoje, certamente seria amplamente utilizada para diversas tarefas, inclusive para martelar pregos. Desde o lançamento do ChatGPT, tem havido um aumento significativo de interesse e críticas aos grandes modelos de linguagem (LLMs). Muitas adaptações dessa tecnologia parecem inadequadas e suas capacidades são frequentemente superadas, devido à falta de precisão. Isso não significa que não haja muitos usos úteis para um LLM, mas é importante considerar algumas questões-chave antes de adotá-lo completamente.
Será que as respostas fornecidas por um LLM serão superiores ou, no mínimo, equivalentes às respostas dadas por seres humanos?
Alguém aprecia os chatbots de atendimento ao cliente que não conseguem responder a perguntas que não estejam na primeira página do site? Por outro lado, lidar com um representante do serviço ao cliente que simplesmente segue um roteiro e não tem a capacidade de auxiliar também é bastante frustrante. Qualquer implementação de um sistema de aprendizado de linguagem (LLM) deve verificar se é tão eficaz ou superior aos chatbots ou às respostas humanas que está substituindo.
Qual é a demonstração de responsabilidade?
Na nossa sociedade litigiosa, é importante avaliar qualquer nova tecnologia ou processo em relação ao seu potencial de riscos legais. Setores como medicina, direito e finanças são especialmente sensíveis a questões legais, mas e se um sistema de aprendizado de máquina oferecer orientações que sejam imprecisas, inadequadas ou até prejudiciais? Políticas empresariais inadequadas frequentemente resultam em ações judiciais coletivas. Com o aumento da interação com os clientes, um sistema de aprendizado de máquina bem treinado ou mal regulado poderia gerar uma responsabilidade ainda maior.
Um LLM é menos dispendioso?
É simples avaliar a utilização de um modelo de linguagem como o ChatGPT para medir a assinatura, mas sistemas mais personalizados podem ter custos mais altos devido ao poder de computação necessário. Além disso, é preciso considerar os custos da equipe e infraestruturas necessárias para manter e depurar o sistema. Enquanto ChatGPT e serviços similares parecem estar atualmente subsidiados por investimentos, é possível que eventualmente busquem gerar lucro, o que poderia resultar em aumento de custos. Portanto, é importante questionar se o LLM em questão continuará sendo uma opção econômica a longo prazo.
Como pretende cuidar dele?
A maioria dos sistemas empresariais de Aprendizagem de Linguagem por Máquina (LLM) é personalizada para conjuntos de dados específicos. Uma desvantagem das redes neurais em que os LLMs se baseiam é a dificuldade notória de depuração. Com o avanço da tecnologia, os LLMs podem adquirir a capacidade de revisar, apagar ou “desaprender” informações falsas que tenham aprendido. No entanto, atualmente, o processo de desaprender pode ser desafiador. Qual é a sua abordagem para atualizar regularmente o LLM e eliminar respostas inadequadas?
Como você realiza seus testes?
Um dos principais benefícios de um LLM é a capacidade de gerar respostas credíveis sem a necessidade de prever todas as possíveis variações de uma pergunta. No entanto, é importante ressaltar que “credível” não necessariamente significa correto. É recomendável testar pelo menos as perguntas mais comuns e diversas variações. Se o LLM estiver substituindo um processo humano ou existente, as perguntas frequentes feitas atualmente são um bom ponto de partida para coletar dados.
Um antigo ditado questionável sugere que “apressar-se pode não ser a melhor opção”. Embora nem sempre seja a solução ideal, é possível tornar os LLMs uma ferramenta valiosa em diversas situações, desde que sejam aplicadas medidas de qualidade, economia e procedimentos adequados de manutenção e teste.