A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation ↗
构建可自动扩展、可程序验证的抽象推理基准,用正向与逆向程序的一致性检验规则和答案,让模型推理能力可以被系统测量。
ABSTRACT REASONING · FORMAL VERIFICATIONCODE ↗
PRESS START TO EXPLORE
让机器真正理解规则。
专注于 大语言模型抽象推理、可验证评测与空间智能。

构建可自动扩展、可程序验证的抽象推理基准,用正向与逆向程序的一致性检验规则和答案,让模型推理能力可以被系统测量。
提出理论框架与 Gamma / Delta 指标,通过符号重映射区分真正的规则抽象与表面记忆,分析大语言模型在抽象推理中的能力边界。
用交互式投影对齐评估视觉模型如何从二维观察恢复三维结构、预测旋转并完成空间操作。
Automatically generates and formally verifies abstract reasoning tasks for reproducible evaluation of language models.
理论框架与符号重映射基准,用于测量大语言模型的抽象推理能力。
Interactive projection-alignment benchmark for testing how vision models infer 3D structure from 2D observations.