Peça a um motor de resposta que recomende um fornecedor e nem sempre ele vai colaborar. Pode recusar a pergunta. Pode responder de forma genérica e não citar ninguém. Pode devolver uma resposta vazia, ou uma em que a recuperação nunca disparou e nenhuma fonte voltou.
Todo produto de prompts monitorados precisa decidir o que fazer com essas. A decisão é uma linha de SQL e muda todo número do painel.
Duas regras que soam defensáveis, uma delas errada
A regra tentadora é: conte as respostas que citaram alguém. Parece limpo. Conversas sem marca nenhuma são ruído, então descarte-as e meça sobre o que sobrou.
A regra que seguimos é a outra: toda conversa que existe conta, inclusive as que não citaram ninguém.
A diferença não é acadêmica. Suponha que um motor receba a mesma pergunta todo dia por um mês e que, em um terço desses dias, se recuse a recomendar qualquer fornecedor. Pela primeira regra sua visibilidade é calculada sobre vinte dias. Pela segunda, sobre trinta. O primeiro número é maior. E também descreve um mercado que não existe — um em que o motor sempre responde.
O que uma recusa de fato conta
Recusa não é dado faltante. É dado.
Ela diz que esta pergunta, neste motor, neste país, não produz recomendação de forma confiável. Isso é um achado sobre a sua categoria, e muitas vezes mais acionável do que uma menção seria:
- Se um prompt recusa de forma consistente, nenhum trabalho de conteúdo vai torná-lo visível nele. É um prompt monitorado morto, e está ocupando uma vaga.
- Se um prompt começa a recusar depois de meses respondendo, algo mudou — na política do motor, em como a pergunta é lida, ou no mercado.
- Se um motor recusa uma pergunta que outros três respondem, isso é uma diferença real de comportamento entre eles, e fica invisível se você filtrou as recusas.
Apague essas linhas e os três achados somem. Pior: somem para cima, porque a linha de visibilidade sobe quando o denominador desce.
A linha que realmente traçamos
Existe uma distinção real a fazer aqui, e não é entre "respondeu" e "recusou". É entre um motor que respondeu e um job que nunca obteve resposta alguma.
- Uma requisição que falhou no transporte, estourou o tempo ou foi pulada não produz conversa nenhuma. Não houve resposta para medir. É excluída de todo denominador, porque contá-la puniria você pela nossa infraestrutura.
- Uma requisição que voltou com qualquer coisa — resposta completa, recusa, corpo vazio, resposta em que a recuperação não disparou — produz exatamente uma conversa, e essa conversa conta como uma resposta.
Assim o denominador responde a uma pergunta precisa: das vezes em que perguntamos com sucesso e o motor respondeu com sucesso, quantas citaram você? Falhas do nosso pipeline não são problema seu. Recusas do motor são.
Conferindo os seus próprios números
Se você está avaliando uma ferramenta, vale perguntar isso diretamente, porque raramente está documentado e é fácil de testar:
- Pergunte se uma conversa com zero menções entra no denominador.
- Pergunte o que acontece com uma recusa, uma resposta vazia e uma resposta sem citações — três estados diferentes que costumam ser colapsados em um só.
- Pergunte se uma falha de transporte é distinguível de uma recusa na exportação. Se não for, a ferramenta não consegue calcular nenhuma das duas políticas corretamente, independentemente do que afirme.
Um fornecedor que pensou sobre isso responde em cerca de uma frase. Um que não pensou vai falar sobre a cobertura dele.
Por que escrevemos isso
O denominador é a decisão menos visível de um produto de visibilidade e a de maior raio de impacto. Ele fica embaixo do Share of Voice, embaixo da visibilidade, embaixo de toda taxa de todo gráfico — e, diferente de um gráfico, não tem pixel nenhum. Ninguém descobre olhando.
Então ele é declarado, e não implícito, pelo mesmo instinto que está por trás de não deixar um filtro de marca alcançar o denominador: os números só valem a pena ser reportados se você souber dizer exatamente o que eles contaram. O resto do que este produto se compromete a fazer está resumido na página inicial.