Evaluator

O bloco Evaluator usa IA para pontuar e avaliar a qualidade do conteúdo com base em métricas personalizadas. Perfeito para controle de qualidade, testes A/B e para garantir que os outputs de IA atendam a padrões específicos.

Opções de Configuração

Métricas de Avaliação

Defina métricas personalizadas para avaliar o conteúdo. Cada métrica inclui:

• Name: Um identificador curto para a métrica
• Description: Uma explicação detalhada do que a métrica mede
• Range: O intervalo numérico para pontuação (ex: 1-5, 0-10)

Exemplos de métricas:

Accuracy (1-5): Quão factualmente preciso é o conteúdo?
Clarity (1-5): Quão claro e compreensível é o conteúdo?
Relevance (1-5): Quão relevante é o conteúdo para a consulta original?

Conteúdo

O conteúdo a ser avaliado. Pode ser:

• Fornecido diretamente na configuração do bloco
• Conectado do output de outro bloco (tipicamente um bloco Agent)
• Gerado dinamicamente durante a execução do workflow

Seleção de Modelo

Escolha um modelo de IA para realizar a avaliação:

• OpenAI: GPT-4o, o1, o3, o4-mini, gpt-4.1
• Anthropic: Claude 3.7 Sonnet
• Google: Gemini 2.5 Pro, Gemini 2.0 Flash
• Outros Provedores: Groq, Cerebras, xAI, DeepSeek
• Modelos Locais: Modelos compatíveis com Ollama ou VLLM

Use modelos com fortes capacidades de raciocínio como GPT-4o ou Claude 3.7 Sonnet para melhores resultados.

API Key

Sua chave de API para o provedor de LLM selecionado. Ela é armazenada de forma segura e usada para autenticação.

Exemplos de Uso

Avaliação de Qualidade de Conteúdo - Avalia conteúdo antes da publicação

Agent (Gerar) → Evaluator (Pontuar) → Condition (Verificar limite) → Publicar ou Revisar

Teste A/B de Conteúdo - Compara múltiplas respostas geradas por IA

Parallel (Variações) → Evaluator (Pontuar Cada) → Function (Selecionar Melhor) → Response

Controle de Qualidade de Suporte ao Cliente - Garante que as respostas atendam aos padrões de qualidade

Agent (Resposta de Suporte) → Evaluator (Pontuar) → Function (Registrar) → Condition (Revisar se Baixo)

Outputs

• <evaluator.content>: Resumo da avaliação com pontuações
• <evaluator.model>: Modelo usado para avaliação
• <evaluator.tokens>: Estatísticas de uso de tokens
• <evaluator.cost>: Custo estimado da avaliação

Boas Práticas

• Use descrições de métricas específicas: Defina claramente o que cada métrica mede para obter avaliações mais precisas
• Escolha intervalos apropriados: Selecione intervalos de pontuação que forneçam granularidade suficiente sem serem excessivamente complexos
• Conecte com blocos Agent: Use blocos Evaluator para avaliar outputs de blocos Agent e criar loops de feedback
• Use métricas consistentes: Para análise comparativa, mantenha métricas consistentes em avaliações similares
• Combine múltiplas métricas: Use várias métricas para obter uma avaliação abrangente