FOLKBENCH / 評価方法

評価方法とエビデンス

すべての結果には、出典、測定日時、エビデンスの制約を明記する必要があります

最終確認日

事実の種類

公開されるすべてのフィールドには、出典の種類が付与されます。事業者の申告が、測定された事実として表示されることはありません。

  • 中継サービスの文書:中継サービスの公式な情報源に記載された申告。
  • 観察:公開ページで確認できる事実、または権限を持つ事業者が提供した情報。
  • 測定:Folkbench の管理された評価実行によって得られた結果。
  • 算出:記録済みの事実から、バージョン管理された計算式で導き出した値。
  • 編集:Folkbench が執筆した背景情報や解説。
  • 不明:まだ検証されておらず、確定した事実として示してはならない情報。

測定期間と制約

公開される指標には、測定日時、サンプル数または期間、プロトコルの対象範囲、欠損値の扱いおよび既知の制約を明記します。短時間のテストは、恒常的な稼働を示すものではありません。1 回のリクエストが成功しても、すべてのモデル、地域またはアカウント区分を代表するものではありません。

スコアリングと比較

価格、レイテンシ、可用性、プロトコルの一貫性およびユーザーのフィードバックは、それぞれ異なる指標です。Folkbench は既定では、これらを説明のつかない単一のスコアに統合しません。算出結果には、計算式のバージョンと入力スナップショットを明記します。

公開ゲート

中継サービスの状態、エビデンスのマスキング、事実のバージョンおよび公開審査が現行の規則を満たした場合にのみ、中継サービスは公開ディレクトリに掲載されます。候補段階のもの、取り下げられたもの、期限切れのもの、または非公開のエビデンスは、公開結果には該当しません。

訂正と再現性

重要な公開上の申告は、出典の記録または評価の実行に紐付ける必要があります。結果に異議が出された場合、Folkbench は引用されたエビデンスを審査し、監査記録を保全します。対応としては、該当するスナップショットの訂正、注記の追加、取り下げまたは再実行があります。