MERA Reason Leaderboard

Лидерборд MERA Reason — открытая платформа для оценки способностей языковых моделей к рассуждению на русском языке.

Бенчмарк включает 4 набора данных: ruAIME, T-math, Luzitania и MMReD, охватывающих математическое рассуждение, олимпиадные задачи, логику и работу с длинным контекстом.
{
  • "headers": [
    • "T",
    • "Модель",
    • "Команда",
    • "Total Score ⬆️",
    • "Type",
    • "Architecture",
    • "Precision",
    • "Hub License",
    • "#Params (B)",
    • "Hub ❤️",
    • "Available on the hub",
    • "Model sha",
    • "ruAIME",
    • "T-math",
    • "Luzitania",
    • "MMReD"
    ],
  • "data": [
    • [
      • "",
      • "Claude Opus 4.8",
      • "MERA",
      • 80.82,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 98.48,
      • 78.18,
      • 58.96,
      • 93.97
      ],
    • [
      • "",
      • "gemma-4-31B-it",
      • "MERA",
      • 73.94,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 95.03,
      • 78.83,
      • 43.43,
      • 91.86
      ],
    • [
      • "",
      • "Qwen3.5-122B-A10B",
      • "MERA",
      • 67.36,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 86.88,
      • 72.64,
      • 35.06,
      • 93.07
      ],
    • [
      • "",
      • "Qwen3.5-27B",
      • "MERA",
      • 65.54,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 87.71,
      • 69.38,
      • 31.47,
      • 96.36
      ],
    • [
      • "",
      • "GLM-5",
      • "MERA",
      • 63.8,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 90.06,
      • 67.1,
      • 29.48,
      • 93.01
      ],
    • [
      • "",
      • "Qwen3.5-35B-A3B",
      • "MERA",
      • 61.82,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 88.81,
      • 66.45,
      • 27.89,
      • 88.75
      ],
    • [
      • "",
      • "Qwen3.6-27B",
      • "MERA",
      • 61.02,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 91.71,
      • 65.47,
      • 25.1,
      • 91.96
      ],
    • [
      • "",
      • "DeepSeek-v4-Pro",
      • "MERA",
      • 60.18,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 88.67,
      • 67.43,
      • 23.11,
      • 94.94
      ],
    • [
      • "",
      • "DeepSeek-v4-Flash",
      • "MERA",
      • 56.03,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 86.88,
      • 61.89,
      • 22.71,
      • 80.69
      ],
    • [
      • "",
      • "Qwen3.6-35B-A3B",
      • "MERA",
      • 55.43,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 88.54,
      • 65.15,
      • 18.73,
      • 87.41
      ],
    • [
      • "",
      • "Qwen3-30B-A3B-Thinking-2507",
      • "MERA",
      • 51.78,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 87.85,
      • 63.84,
      • 18.33,
      • 69.95
      ],
    • [
      • "",
      • "Qwen3-Next-80B-A3B-Thinking",
      • "MERA",
      • 50.75,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 84.53,
      • 57.98,
      • 18.33,
      • 73.85
      ],
    • [
      • "",
      • "Qwen3-4B-Thinking-2507",
      • "MERA",
      • 46.65,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 77.76,
      • 50.49,
      • 16.73,
      • 72.07
      ],
    • [
      • "",
      • "Qwen3.5-9B",
      • "MERA",
      • 45.87,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 78.73,
      • 51.79,
      • 13.94,
      • 77.87
      ],
    • [
      • "",
      • "gemma-4-26B-A4B-it",
      • "MERA",
      • 38.44,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 77.62,
      • 61.24,
      • 28.29,
      • 16.24
      ],
    • [
      • "",
      • "gemma-4-E4B-it",
      • "MERA",
      • 35.74,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 55.52,
      • 31.92,
      • 10.76,
      • 85.61
      ],
    • [
      • "",
      • "Qwen3.5-4B",
      • "MERA",
      • 34.12,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 69.61,
      • 41.04,
      • 8.76,
      • 54.09
      ],
    • [
      • "",
      • "gemma-4-E2B-it",
      • "MERA",
      • 24.6,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 44.06,
      • 18.89,
      • 9.56,
      • 46.02
      ],
    • [
      • "",
      • "Qwen3-235B-A22B-Instruct-2507",
      • "MERA",
      • 6.61,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 16.99,
      • 4.23,
      • 4.38,
      • 6.06
      ],
    • [
      • "",
      • "Qwen3-30B-A3B-Instruct-2507",
      • "MERA",
      • 3.69,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 6.35,
      • 1.3,
      • 3.59,
      • 6.23
      ],
    • [
      • "",
      • "Qwen3-Next-80B-A3B-Instruct",
      • "MERA",
      • 0.5,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 13.12,
      • 2.28,
      • 2.79,
      • 0
      ],
    • [
      • "",
      • "Qwen3-4B-Instruct-2507",
      • "MERA",
      • 0.34,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 1.24,
      • 1.95,
      • 3.59,
      • 0
      ],
    • [
      • "",
      • "Qwen3.5-2B",
      • "MERA",
      • 0,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 0,
      • 0,
      • 0,
      • 0
      ],
    • [
      • "",
      • "Qwen3.5-0.8B",
      • "MERA",
      • 0,
      • "",
      • "—",
      • "",
      • "—",
      • 0,
      • 0,
      • false,
      • "",
      • 0,
      • 0,
      • 0,
      • 0
      ]
    ],
  • "metadata": null
}