FOLKBENCH / METODOLOGIA

Metodologia e evidências

Todo resultado deve informar a fonte, o momento da medição e os limites das evidências

Última revisão

Tipos de fato

Cada campo público recebe um tipo de fonte. Declarações dos revendedores não são rotuladas como fatos medidos.

  • Documentação da revenda: uma declaração em uma fonte oficial da revenda.
  • Observado: um fato visível em uma página pública ou fornecido por um representante autorizado do revendedor.
  • Medido: um resultado produzido por uma execução de avaliação controlada do Folkbench.
  • Calculado: um valor derivado de fatos registrados por meio de uma fórmula versionada.
  • Editorial: contexto ou explicação escritos pelo Folkbench.
  • Desconhecido: informação ainda não verificada, que não deve ser apresentada como certa.

Janelas de medição e limitações

As métricas publicadas identificam o momento da medição, o tamanho da amostra ou a janela, a cobertura de protocolo, o tratamento de valores ausentes e as limitações conhecidas. Um teste curto não representa disponibilidade permanente. Uma requisição bem-sucedida não representa todos os modelos, regiões ou níveis de conta.

Pontuação e comparação

Preço, latência, disponibilidade, consistência de protocolo e feedback dos usuários são métricas diferentes. Por padrão, o Folkbench não as combina em uma pontuação única sem explicação. Os resultados calculados identificam a versão da fórmula e o snapshot de entrada.

Controle de publicação

Uma revenda só entra no diretório público depois que seu status, a remoção de dados sensíveis das evidências, a versão dos fatos e a análise de publicação atendem às regras vigentes. Evidências candidatas, retiradas, expiradas ou privadas não constituem resultado público.

Correções e reprodutibilidade

Declarações públicas relevantes devem estar vinculadas a um registro de fonte ou a uma execução de avaliação. Quando um resultado é contestado, o Folkbench analisa as evidências citadas e preserva um registro de auditoria. As medidas possíveis incluem corrigir, acrescentar uma nota, retirar ou executar novamente o snapshot afetado.