Voltar para lista
Promptfoo
FreeAI TestingDevToolsPenetration TestingOpen Source
Sobre
Promptfoo serve como uma solução para avaliar e testar a qualidade dos resultados gerados por Large Language Models (LLMs). Utilizando o Promptfoo, os usuários podem avaliar seus prompts, agentes e sistemas de geração aumentada de recuperação (RAG). Facilita a formação de equipes vermelhas, testes de penetração e avaliações de vulnerabilidade para LLMs. Os usuários também podem comparar o desempenho de vários modelos, como GPT, Claude, Gemini, Llama e outros. A ferramenta apresenta configurações declarativas simples e oferece suporte à integração com interfaces de linha de comando e pipelines de CI/CD.
Principais Funcionalidades
- Amigável ao desenvolvedor: o promptfoo opera rapidamente e inclui funcionalidades fáceis de usar, como recargas ao vivo e cache.
- Testado em batalha: Originalmente projetado para aplicativos LLM que atendem a mais de 10 milhões de usuários ativos em um ambiente de produção. Nossas ferramentas são versáteis e podem ser personalizadas para diversas configurações.
- Casos de teste simples e declarativos: configure avaliações sem a necessidade de codificação ou de lidar com notebooks complexos.
- Independente de linguagem: Utilize Python, Javascript ou qualquer outra linguagem de programação.
- Compartilhe e colabore: recursos de compartilhamento integrados e um visualizador da Web para colaboração com membros da equipe.
- Código aberto: as avaliações LLM são uma oferta padrão e devem ser fornecidas exclusivamente por iniciativas totalmente de código aberto, sem quaisquer condições.
- Privado: Este aplicativo opera inteiramente em seu ambiente local. As avaliações acontecem no seu dispositivo e se comunicam diretamente com o LLM.
