Os modelos de IA ainda podem não ser seguros, mas pelo menos podemos torná-los acessíveis, Ish

Republicado por Platão

seguidores: 0

Cientistas da ETH Zurich, na Suíça, acreditam que uma maneira de tornar os modelos de linguagem grandes (LLMs) mais acessíveis, e talvez um pouco mais seguros, é não abordá-los diretamente em uma linguagem natural como o inglês.

Em vez disso, eles propõem tornar os LLMs mais programáveis, por meio da programação de modelo de linguagem (LMP).

Os cientistas da computação da ETH Zurich Luca Beurer-Kellner, Marc Fischer, ambos estudantes de doutorado, e o professor Martin Vechev desenvolveram uma linguagem de programação e tempo de execução chamada LMQL, que significa Language Model Query Language.

É um pouco como SQL para LLMs.

A programação do modelo de linguagem destina-se a complementar, não substituir, prompts baseados em texto. É para simplificar a interação com modelos de linguagem para realizar uma tarefa específica, um desafio que projetos relacionados como PromptChainer, langchain, OpenPrompt e PromptSource tentam resolver.

“O LMP generaliza a solicitação de modelo de linguagem de prompts de texto puro para uma combinação intuitiva de prompt de texto e script”, explicam os autores em um trabalho de pesquisa [PDF]. “Além disso, o LMP permite que as restrições sejam especificadas na saída do modelo de linguagem.”

E quando os LLMs podem ser persuadidos a dizer coisas terríveis, restringir sua produção tem um certo apelo.

Outros, como a Nvidia, também parecem estar convencidos de que domar a produção do LLM é um objetivo que vale a pena perseguir. do fabricante de chips Guarda-corpos NeMo projeto promete “maneiras específicas de controlar a saída de um grande modelo de linguagem, como não falar sobre política…”

O LMQL permite que os desenvolvedores de modelo declarem restrições lógicas que regem a saída do modelo. Estes são transformados em “máscaras de previsão em nível de token” – tokens sendo o que os LLMs lidam.

Aqui está um exemplo da documentação sobre uma consulta LMQL:

argmax """Avaliação: Tivemos uma ótima estadia. Caminhar nas montanhas foi fabuloso e a comida é muito boa. P: Qual é o sentimento subjacente a esta avaliação e por quê? A:[ANÁLISE] Com base nisso, o sentimento geral da mensagem pode ser considerada como [CLASSIFICAÇÃO]""" de "openai/text-davinci-003" onde não "n" em ANÁLISE e CLASSIFICAÇÃO em ["positivo", "neutro", "negativo"]

A saída do modelo seria:

Comentário: Tivemos uma ótima estadia. Caminhar nas montanhas foi fabuloso e a comida é muito boa.⏎ P: Qual é o sentimento subjacente a esta avaliação e por quê?⏎ A: ANÁLISE⏎ Com base nisso, o sentimento geral da mensagem pode ser considerado CLASSIFICAÇÃO positivo

Na ausência das três restrições - positivo, neutro, negativo – o modelo pode ter saído dos trilhos e proposto algum descritor de sentimento maluco como Bom estado, com sinais de uso or ruim. Você entendeu a ideia.

“Usando o LMQL, você pode restringir seu modelo de linguagem para seguir estritamente uma estrutura específica que você projetou”, disse Luca Beurer-Kellner em um ETH Zurich comunicado de imprensa. “Isso permite que você controle melhor como o modelo de linguagem se comporta. É claro que a prevenção total e garantida do mau comportamento ainda é muito difícil de alcançar, mas o LMQL é um passo nessa direção.”

Restringir a produção é um grande problema para os LLMs, conhecidos por serem facilmente persuadidos a regurgitar conteúdo tóxico de dados de treinamento não controlados, embora não seja o único. Há também o problema da entrada manipulativa, especificamente ataques de injeção imediata.

Simon Willison, que falou com O registro recentemente sobre esse problema, expressou ceticismo de que o LMQL pode mitigar totalmente os truques imediatos. “Preciso que eles se levantem e digam 'especificamente em relação à injeção imediata... é por isso que nossa técnica resolve onde os esforços anteriores falharam'”, disse ele.

Embora o LMQL afirme ter alguma utilidade para melhorar a segurança do LLM, seu objetivo principal parece ser economizar dinheiro. A linguagem reduz as consultas de modelo e o número de tokens faturáveis em até 41% e 31%, respectivamente, o que, por sua vez, requer menos recursos computacionais.

“O LMQL aproveita as restrições do usuário e os prompts de script para remover o espaço de pesquisa de um LM por meio de mascaramento, resultando em uma redução de até 80% no custo de inferência”, afirmam os boffins, observando que a latência também é reduzida.

Para APIs pagas para uso, como as oferecidas pela OpenAI, eles projetam economias de custos na faixa de 26% a 85%, com base no preço de $ 0.02/1k tokens do modelo GPT-3 davinci. ®