{
  "schema_version": "1.0.0",
  "benchmarks": [
    {
      "key": "aa_intelligence",
      "name": "Artificial Analysis Intelligence Index",
      "unit": "index",
      "direction": "higher",
      "higher_is_better": true,
      "description": "Artificial Analysis インテリジェンス指数 v5.0.1。AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2（Hard Subset）、Terminal-Bench-Science 0.1 の 9 項目の評価を加重平均して算出。スコアは指数化された値で、パーセンテージではない。",
      "source_name": "Artificial Analysis",
      "source_url": "https://artificialanalysis.ai/evaluations/artificial-analysis-intelligence-index"
    },
    {
      "key": "aa_briefcase_elo",
      "name": "AA-Briefcase v1.1 Elo",
      "unit": "elo",
      "direction": "higher",
      "higher_is_better": true,
      "description": "Artificial Analysis が提供するエージェント型ナレッジワークのベンチマーク。ルーブリックの通過率、分析品質 Elo、成果物品質 Elo を統合した値。非公開の評価であり、集計された Elo のみ公開されている。",
      "source_name": "Artificial Analysis",
      "source_url": "https://artificialanalysis.ai/evaluations/aa-briefcase"
    },
    {
      "key": "mmlu_pro",
      "name": "MMLU-Pro",
      "unit": "percent",
      "direction": "higher",
      "higher_is_better": true,
      "description": "多肢選択式の言語理解ベンチマークの高難易度版。値は正解率（パーセンテージ）。ベンダーが公式に公表した結果のみを採用する。",
      "source_name": "ベンダー公式技術レポート",
      "source_url": "https://www.llama.com/models/llama-4/"
    },
    {
      "key": "livecodebench",
      "name": "LiveCodeBench (2024-10-01 ~ 2025-02-01)",
      "unit": "percent",
      "direction": "higher",
      "higher_is_better": true,
      "description": "コード生成のベンチマーク。この期間の問題セットを採用。値は正解率（パーセンテージ）。",
      "source_name": "ベンダー公式技術レポート",
      "source_url": "https://www.llama.com/models/llama-4/"
    }
  ]
}