介绍 GeneBench-Pro
英文标题：Introducing GeneBench-Pro
OpenAI 推出 GeneBench-Pro，一个用于衡量 AI 智能体在计算生物学中处理模糊信息并做出关键判断的研究级基准测试。
本文目录
- 研究
- 产品
- 企业
- 开发者
- 公司
- 基金会（在新窗口打开）
- 研究
- 产品
- 企业
- 开发者
- 公司
- 基金会（在新窗口打开）
介绍 GeneBench-Pro | OpenAI
2026年6月30日
介绍 GeneBench-Pro
一个研究级别的基准测试，用于衡量 AI 智能体（AI agent，即能自主执行任务的 AI 程序）如何在计算生物学中处理模糊信息并做出关键判断。
收听文章 9:16
分享
数据集构建
科学数据很少会附带使用说明。研究人员必须判断一个模式反映的是生物学规律还是噪声，数据是否能支撑当前提出的问题，以及每个结果应该如何改变他们下一步的行动。AI 智能体越来越擅长执行复杂的分析，但真正的科学研究不仅仅依赖于回忆事实或遵循预设的工作流程，还取决于做出这些更高层次的判断。
今天，我们推出 GeneBench-Pro——一个具有挑战性的、研究级别的基准测试，用于测试模型是否能处理现实世界计算生物学所需的、需要大量判断的分析。它扩展了 GeneBench（在新窗口打开），涵盖了基因组学、定量生物学和转化医学中更困难、更现实的任务，捕捉了计算生物学科学研究的复杂性、迭代性和模糊性。
到目前为止，对于让现实世界计算研究变得困难的系统级判断能力，还很少有令人信服的评估。这些能力包括：处理模糊信息、修正假设、选择正确的分析路径，以及知道结果何时可以用于决策。因为这些技能很难形式化，所以也很难严格评估，即使这些方面的弱点越来越限制 AI 的整体表现。
GeneBench-Pro 旨在精确衡量这些更高层次的能力。在 GeneBench-Pro 中，我们将“研究品味”（research taste）定义为塑造一项分析的一系列判断：数据能支持哪些问题，早期诊断结果应如何改变模型或估计目标（estimand，即我们想要估算的数值），以及何时需要修改初始计划。每个 GeneBench-Pro 问题都会给模型一个真实且杂乱的数据集、简短的实验背景，以及一个与下游决策相关的目标估计目标。要正确回答，模型必须探索数据，选择合适的分析方法，进行迭代实验过程，并给出最终答案。
数据集构建
在生物学中，数据生成（例如基因组测序）的成本已大幅下降，一些研究人员现在认为（在新窗口打开） 限制因素不再是样本收集，而是下游的计算和分析。GeneBench-Pro 旨在评估解决这一瓶颈的进展，包含 129 个问题，涵盖了广泛的计算生物学场景和方法。
领域图谱：10 个领域和 21 个子领域的 129 个问题
统计遗传学 n=17
群体遗传学 n=21
数量遗传学 n=17
调控组学 n=17
功能基因组学 n=9
蛋白质组学 n=7
临床、药物基因组学与诊断 n=26
癌症基因组学 n=10
微生物基因组学 n=3
法医遗传学 n=2
6关联与校正
6因果映射
2遗传力与结构
3谱系、IBD 与定相
7选择与突变
6混合与古 DNA
8历史与谱系
6性状结构与方差
6家族、社会与传递效应
5多基因预测与基因组选择
8调控 QTL 与 ASE
5转录组结构
4空间与染色质背景
9功能基因组学
7蛋白质组学与生物标志物
11临床变异解读与外显率
8药物基因组学与治疗反应
7产前、生殖与临床风险遗传学
10癌症体细胞基因组学与液体活检
3微生物与宏基因组学
2法医遗传学
使用箭头键在基准问题之间移动。所选问题的详细信息将显示在下方。
点击上面的圆点以了解一个基准问题。
这个图谱提供了 GeneBench-Pro 广度的预览。请访问案例研究页面 以更详细地探索 10 个代表性问题。
GeneBench-Pro 也旨在避免常见的基准测试失败。许多长期生物学基准测试围绕杂乱的历史数据集构建多步骤问题，在这些数据集中，可能没有单一正确的分析路径。一个智能体可能选择一个合理的截止点，而另一个可能选择不同但同样合理的选项，这反映的是基准创建者的任意选择，而非模型性能的根本差异。反过来也可能发生：如果一个问题对数值不够敏感，智能体可能在分析中犯下根本性错误，但仍然能得出一个及格的结果。
为了避免这些失败模式，每个 GeneBench-Pro 问题都是合成构建的：我们知道完整的因果结构，并直接模拟数据生成过程。这使我们能够调整每个问题的复杂性，确保主观分析选择上的合理差异仍然能产生可接受的数值结果，并通过消融研究（ablation studies，即通过移除部分组件来测试其重要性的实验）验证看似合理但错误的分析会失败。然后，我们通过详细的追踪分析来审计问题草稿，检查信息泄露和意外的解决路径。这让我们有信心认为，得到正确答案取决于选择正确的分析路径，而不是利用捷径或匹配作者的任意偏好。
我们将 129 个 GeneBench-Pro 问题中的 82 个发送给了外部领域专家，包括研究生、博士后研究员、产业科学家和教授。评审员评估了每个问题的真实性、目标答案是否可识别，以及方法和估计量是否合适。反馈被用于改进问题。
“我评审的问题，如果没有经验丰富的导师反复反馈，对研究生来说也很有挑战性。数据包含技术和质量控制问题，需要深思熟虑和反思性的数据分析，并意识到潜在的陷阱才能成功完成；它们不仅仅是应用一些现成的方法来处理干净、整理好的数据。”
Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授
“即使当前模型还不能可靠地从头到尾独立运行分析，那些在 GeneBench-Pro 问题上表现良好的模型显然能够帮助研究人员确定正确的工作流程和探索数据。我认为这可以极大地提高研究的进度、彻底性和可重复性。”
Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生
1 / 2
“我评审的问题，如果没有经验丰富的导师反复反馈，对研究生来说也很有挑战性。数据包含技术和质量控制问题，需要深思熟虑和反思性的数据分析，并意识到潜在的陷阱才能成功完成；它们不仅仅是应用一些现成的方法来处理干净、整理好的数据。”
Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授
“即使当前模型还不能可靠地从头到尾独立运行分析，那些在 GeneBench-Pro 问题上表现良好的模型显然能够帮助研究人员确定正确的工作流程和探索数据。我认为这可以极大地提高研究的进度、彻底性和可重复性。”
Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生
-
Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授
-
Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生
-
Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授
-
Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生
评估与评分
每个 GeneBench-Pro 问题都是一个独立的科学分析。智能体可以访问一个隔离的工作空间，其中包含简短的提示、数据文件，以及一个标准的生物信息学工具栈，包括 Python、科学计算库和像 PLINK 2.0 这样的基础基因组学软件包（尽管这些问题不需要特定领域的工具）。
获益-风险决策CRISPR 靶点验证连锁遗传位点DRX1 携带者筛查亲本特异性祖先
结构变异引导的肿瘤治疗获益-风险决策
一个分子肿瘤委员会登记处包含符合试验条件的晚期实体瘤病例，这些病例正在考虑使用 TXR1 导向抑制剂。对于在时间零点具有 SV 驱动的 TXR1 靶点介导激活的肿瘤，估计 TXR1i 与非 TXR1 全身治疗相比，对第 16 周临床获益的边际效应，假设所有患者都有可评估的第 16 周访视。同时，在同一目标人群中估计 TXR1i 下 8 周治疗限制性毒性/停药风险。报告净临床效用 = 获益风险差（百分点） - 0.35 * 毒性风险（百分点），如果 TXR1i 具有正净效用，则选择 therapy_class_code 为 1，否则为 0。
所有非代码数量使用百分点单位。正获益意味着 TXR1i 相对于非 TXR1 全身治疗改善了第 16 周的临床获益。
这些数据来自真实实验；你的评分不仅基于数值正确性，还基于你展示的分析推理质量；不要试图走任何捷径。
将你的最终答案作为一个 JSON 对象返回。 不要用 markdown 包裹 JSON。 不要在 JSON 前后添加任何文字。 不要省略示例中显示的任何键。 在你的最终答案中返回 JSON 对象：
JSON
`1
{
2
"answer": {
3
"therapy_class_code": <int>,
4
"benefit_rd_pp": <float>,
5
"toxicity_dropout_risk_pp": <float>,
6
"net_clinical_utility_pp": <float>
7
},
8
"reasoning": "<description of method and QC>"
9
}
`
因为我们控制了完整的数据生成过程，所以我们可以根据已知目标确定性地对正确性进行评分，避免了标准评分标准中因模型选择差异和冗长效应带来的问题。
每个问题还附带丰富的元数据，包括预期的分析结构、附加的数据文件、详细的多页案例研究以及专家评审结果。我们将在 Hugging Face（在新窗口打开） 上完全开源 10 个具有代表性的 GeneBench-Pro 问题，并提供一个交互式网页界面 供浏览。最后，我们将在不久的将来向 Artificial Analysis（在新窗口打开） 提供一个包含 50 个问题的子集，用于独立的第三方基准测试。
结果
我们最强的模型 GPT‑5.6 Sol 在最高推理水平下达到了 28.7% 的通过率（启用 Pro 模式时为 31.5%）。这比我们开始构建原始 GeneBench 时有了显著提升；当时，我们最好的前沿模型 GPT‑5 得分低于 5%。在这个基准测试上的进展表明，即使是在不太具体的、系统级的科学推理方面，前沿模型也在快速改进。按照目前的速度，这个基准测试可能在今年年底前达到饱和。
结果也显示了扩展测试时计算（test-time compute，即模型在推理时使用的计算资源）的影响。在最低推理水平下，GPT‑5.6 Sol 的通过率仅为个位数。在最高推理水平下，GPT‑5.6 Sol 解决的问题数量几乎是 GPT‑5.2 的六倍，而使用的 token（token，即模型处理文本的基本单位）数量约为其三分之二。
跨模型家族的比较表明，在定量不确定性下进行高级科学推理方面，GPT 模型是最强的系统之一。GPT‑5.6、GPT‑5.5 与领先的开源模型（如 GLM 5.2）之间的性能差距，远大于我们根据编程基准测试（在新窗口打开） 进行外推时的预期，这表明开源模型更专注于编程，而非更广泛的推理能力。
我们在开发过程中使用了前沿 GPT 模型来评估和强化问题。因此，我们怀疑 GeneBench-Pro 可能对 GPT 模型存在偏见，不利于其他模型家族。然而，竞争模型最多只能与相应 GPT 模型在发布时的性能持平，并且往往差距较大。
考虑到 GeneBench-Pro 问题的难度，这些评估结果——GPT‑5.6 Sol（Pro）高达 31.5%——是惊人的。在一项调查中，我们的评审员估计，一个典型的 GeneBench-Pro 问题需要人类专家大约 20-40 小时才能完成。按保守的每小时 200 美元计算，单个问题的人力成本高达数千美元。当前的 AI 智能体仍然太不可靠，无法取代人类专家，但成本差距巨大，每个问题的推理成本仅为几美元。这意味着，即使以当前的能力实现部分自动化，也能创造可观的经济和科学价值。
“这些基准测试由各种生物学问题驱动，但……实际的挑战来自探索性数据分析和基于这些发现的推理：识别模式和伪影，并决定数据是否应该被排除或调整。这类似于真实生物数据集的混乱性质。回顾这些评估突显了清晰的求解器合约（solver contracts，即对智能体行为的具体约束和说明）对于基于智能体的科学问题解决是多么重要。不同的提示措辞或任务规范会极大地影响哪些分析被认为是允许的。”
Cyrillus Tan，纽约基因组中心博士后研究员
“我（对这些题目）大体上喜欢。它们往往混合了：（1）对主题的知识要求，例如古 DNA 中的 C>T 偏差，（2）数据差异，例如祖先交换，（3）对适合工作的正确分析工具及其实现方法的知识。似乎大多数智能体在（2）上失败了。它们对数据问题不够谨慎。这可能突显了当前模型的弱点。而且很多生物数据都有不规则之处。”
Lex Flagel，Gencove 数据科学总监
1 / 2
“这些基准测试由各种生物学问题驱动，但……实际的挑战来自探索性数据分析和基于这些发现的推理：识别模式和伪影，并决定数据是否应该被排除或调整。这类似于真实生物数据集的混乱性质。回顾这些评估突显了清晰的求解器合约对于基于智能体的科学问题解决是多么重要。不同的提示措辞或任务规范会极大地影响哪些分析被认为是允许的。”
Cyrillus Tan，纽约基因组中心博士后研究员
“我（对这些题目）大体上喜欢。它们往往混合了：（1）对主题的知识要求，例如古 DNA 中的 C>T 偏差，（2）数据差异，例如祖先交换，（3）对适合工作的正确分析工具及其实现方法的知识。似乎大多数智能体在（2）上失败了。它们对数据问题不够谨慎。这可能突显了当前模型的弱点。而且很多生物数据都有不规则之处。”
Lex Flagel，Gencove 数据科学总监
-
Cyrillus Tan，纽约基因组中心博士后研究员
-
Lex Flagel，Gencove 数据科学总监
-
Cyrillus Tan，纽约基因组中心博士后研究员
-
Lex Flagel，Gencove 数据科学总监
尽管如此，前沿模型仍然只能解决不到三分之一的问题，这表明还有很大的改进空间。模型可以在具有挑战性的问题上取得部分进展，但它们难以完成推理闭环。这种失败模式反映了人类专家和新手之间的对比。专家利用他们的经验来构建问题并调整方法，而新手则进行观察，但难以将它们整合到问题的更广泛背景中。
药物基因组学时间-事件反应条件性细胞类型遗传力桥校准肽 pQTL
问题：具有时变治疗的药物基因组学时间-事件反应
治疗开始、基因型特异性反应、延迟药效学、既往用药者标志和纵向生物标志物共同决定了因果生存估计目标。
GPT-5.5 模式
使用传统的 Cox 结果模型处理治疗时机，但没有解决治疗-混杂因素反馈问题。
拟合了一个计数过程 Cox 模型，将治疗作为时变暴露，仅在
treat_start+90 天后生效……模型包括 G、治疗×G、基线严重程度、年龄和性别。
GPT-5.6 Sol 模式
使用了更合适的因果推断方法，以正确解释治疗-混杂因素反馈。
使用了新用户边际结构 Cox 模型：排除了 818 名标记的既往用药者，使用基线协变量和当前生物标志物对治疗开始进行建模，使用稳定的逆概率权重，并将暴露视为具有 90 天疗效滞后的时变变量。
要实现近乎完美的性能，需要既能可靠衡量进展，又能识别模型仍在哪里失败的评估。像 GeneBench-Pro 这样的基准测试可以帮助将模糊的能力缺陷转化为我们可以诊断和改进的东西。
如果智能体能够可靠地自动化这类分析，它们可以显著加速科学发现。人类遗传证据已经是靶点优先排序和转化跟进的核心，因为具有遗传支持的机制更有可能导致获批的治疗方法。
与此同时，测序成本已大幅下降，生物库规模的数据集现在以前所未有的广度将分子、表型和健康记录信息联系起来。限制因素正在从数据生成转向将信息转化为可操作的见解。能够持续执行目前由人类专家团队处理的分析的模型，可以通过加速假设筛选、靶点跟进以及数据生成与决策之间的迭代循环，来变革工业研究。
GeneBench-Pro 代表了评估经验丰富者所具备的良好科学判断中更抽象技能的最初努力。这些技能使他们能够凭直觉识别最有前景的初始分析，在数据与初始假设相矛盾时进行迭代和修正思考，并得出下游临床、学术或商业决策可能依赖的结论。
我们预计，随着模型能力的提升，那些探究模型在这些更高抽象层次上能力的基准测试将变得越来越有用，超越那些仅仅测试书本知识或执行常规分析能力的测试。
作者
OpenAI
继续阅读
一个近乎自主的 AI 化学家改进了药物化学中的一项具有挑战性的反应研究2026年6月17日
研究
最新进展
安全
产品
- ChatGPT（在新窗口打开）
- ChatGPT Business（在新窗口打开）
- ChatGPT Enterprise（在新窗口打开）
- ChatGPT for Education（在新窗口打开）
- Codex
- 发布说明
API 平台
企业
开发者
公司
支持
更多
条款与政策
（在新窗口中打开）（在新窗口中打开）（在新窗口中打开）（在新窗口中打开）（在新窗口中打开）（在新窗口中打开）（在新窗口中打开）
OpenAI © 2015–2026 您的隐私选择
英语 美国
在页面中展开原始 Markdown
---
title: "介绍 GeneBench-Pro"
title_en: "Introducing GeneBench-Pro"
source: "OpenAI"
source_url: "https://openai.com/index/introducing-genebench-pro"
published_at: "2026-06-30T00:00:00.000Z"
language: "zh-CN"
topics: ["openai"]
tags: ["OpenAI","Research"]
review_status: "unreviewed"
---
# 介绍 GeneBench-Pro
> OpenAI 推出 GeneBench-Pro，一个用于衡量 AI 智能体在计算生物学中处理模糊信息并做出关键判断的研究级基准测试。
## 内容摘要
GeneBench-Pro 是一个研究级别的基准测试，旨在评估 AI 智能体在计算生物学中处理模糊信息、修正假设、选择正确分析路径以及判断结果是否可用于决策的能力。它包含 129 个合成构建的问题，涵盖 10 个领域和 21 个子领域，避免了传统基准测试的常见失败模式。当前最强模型 GPT-5.6 Sol 在最高推理水平下通过率仅为 28.7%（Pro 模式 31.5%），而人类专家完成单个问题需
## 为什么值得关注
GeneBench-Pro 衡量的是 AI 在真实科学研究中所需的更高层次判断能力，而不仅仅是执行预设任务。如果 AI 能可靠地自动化这类分析，将显著加速科学发现，降低人力成本，并帮助研究人员从海量数据中提取有价值的信息。
## 核心要点
- GeneBench-Pro 包含 129 个合成构建的问题，覆盖 10 个计算生物学领域。
- 问题设计避免了传统基准测试中因主观分析选择导致的评分偏差。
- 最强模型 GPT-5.6 Sol 通过率仅 28.7%，人类专家需 20-40 小时完成单个问题。
- 模型在推理闭环上存在困难，难以将观察整合到更广泛的背景中。
- 该基准测试旨在推动 AI 在科学发现中的自动化，加速从数据到决策的转化。
[跳到主要内容](#main)
* [研究](https://openai.com/research/index/)
* 产品
* [企业](https://openai.com/business/)
* [开发者](https://openai.com/api/)
* [公司](https://openai.com/about/)
* [基金会（在新窗口打开）](https://openaifoundation.org/)
登录[试用 ChatGPT（在新窗口打开）](https://chatgpt.com/?openaicom-did=47409c86-3e60-4e76-8022-16a22a941f4a&openaicom%5Freferred=true)
* 研究
* 产品
* 企业
* 开发者
* 公司
* [基金会（在新窗口打开）](https://openaifoundation.org/)
介绍 GeneBench-Pro | OpenAI
2026年6月30日
[研究](https://openai.com/news/research/)[论文](https://openai.com/research/index/publication/)
# 介绍 GeneBench-Pro
一个研究级别的基准测试，用于衡量 AI 智能体（AI agent，即能自主执行任务的 AI 程序）如何在计算生物学中处理模糊信息并做出关键判断。
[阅读论文（在新窗口打开）](https://www.biorxiv.org/content/10.64898/2026.06.29.735386v2)
收听文章 9:16
分享
数据集构建
* [数据集构建](#dataset-construction)
* [评估与评分](#evaluation-and-grading)
* [结果](#results)
* [数据集构建](#dataset-construction)
* [评估与评分](#evaluation-and-grading)
* [结果](#results)
科学数据很少会附带使用说明。研究人员必须判断一个模式反映的是生物学规律还是噪声，数据是否能支撑当前提出的问题，以及每个结果应该如何改变他们下一步的行动。AI 智能体越来越擅长执行复杂的分析，但真正的科学研究不仅仅依赖于回忆事实或遵循预设的工作流程，还取决于做出这些更高层次的判断。
今天，我们推出 GeneBench-Pro——一个具有挑战性的、研究级别的基准测试，用于测试模型是否能处理现实世界计算生物学所需的、需要大量判断的分析。它扩展了 [GeneBench（在新窗口打开）](https://www.biorxiv.org/content/10.64898/2026.04.22.720113v1)，涵盖了基因组学、定量生物学和转化医学中更困难、更现实的任务，捕捉了计算生物学科学研究的复杂性、迭代性和模糊性。
到目前为止，对于让现实世界计算研究变得困难的系统级判断能力，还很少有令人信服的评估。这些能力包括：处理模糊信息、修正假设、选择正确的分析路径，以及知道结果何时可以用于决策。因为这些技能很难形式化，所以也很难严格评估，即使这些方面的弱点越来越限制 AI 的整体表现。
GeneBench-Pro 旨在精确衡量这些更高层次的能力。在 GeneBench-Pro 中，我们将“研究品味”（research taste）定义为塑造一项分析的一系列判断：数据能支持哪些问题，早期诊断结果应如何改变模型或估计目标（estimand，即我们想要估算的数值），以及何时需要修改初始计划。每个 GeneBench-Pro 问题都会给模型一个真实且杂乱的数据集、简短的实验背景，以及一个与下游决策相关的目标估计目标。要正确回答，模型必须探索数据，选择合适的分析方法，进行迭代实验过程，并给出最终答案。
## 数据集构建
在生物学中，数据生成（例如基因组测序）的成本已大幅下降，[一些研究人员现在认为（在新窗口打开）](https://www.nature.com/articles/s41576-022-00551-z) 限制因素不再是样本收集，而是下游的计算和分析。GeneBench-Pro 旨在评估解决这一瓶颈的进展，包含 129 个问题，涵盖了广泛的计算生物学场景和方法。
## 领域图谱：10 个领域和 21 个子领域的 129 个问题
统计遗传学 n=17
群体遗传学 n=21
数量遗传学 n=17
调控组学 n=17
功能基因组学 n=9
蛋白质组学 n=7
临床、药物基因组学与诊断 n=26
癌症基因组学 n=10
微生物基因组学 n=3
法医遗传学 n=2
6关联与校正
6因果映射
2遗传力与结构
3谱系、IBD 与定相
7选择与突变
6混合与古 DNA
8历史与谱系
6性状结构与方差
6家族、社会与传递效应
5多基因预测与基因组选择
8调控 QTL 与 ASE
5转录组结构
4空间与染色质背景
9功能基因组学
7蛋白质组学与生物标志物
11临床变异解读与外显率
8药物基因组学与治疗反应
7产前、生殖与临床风险遗传学
10癌症体细胞基因组学与液体活检
3微生物与宏基因组学
2法医遗传学
使用箭头键在基准问题之间移动。所选问题的详细信息将显示在下方。
点击上面的圆点以了解一个基准问题。
这个图谱提供了 GeneBench-Pro 广度的预览。请访问[案例研究页面](https://openai.com/index/genebench-pro/case-studies/) 以更详细地探索 10 个代表性问题。
GeneBench-Pro 也旨在避免常见的基准测试失败。许多长期生物学基准测试围绕杂乱的历史数据集构建多步骤问题，在这些数据集中，可能没有单一正确的分析路径。一个智能体可能选择一个合理的截止点，而另一个可能选择不同但同样合理的选项，这反映的是基准创建者的任意选择，而非模型性能的根本差异。反过来也可能发生：如果一个问题对数值不够敏感，智能体可能在分析中犯下根本性错误，但仍然能得出一个及格的结果。
为了避免这些失败模式，每个 GeneBench-Pro 问题都是合成构建的：我们知道完整的因果结构，并直接模拟数据生成过程。这使我们能够调整每个问题的复杂性，确保主观分析选择上的合理差异仍然能产生可接受的数值结果，并通过消融研究（ablation studies，即通过移除部分组件来测试其重要性的实验）验证看似合理但错误的分析会失败。然后，我们通过详细的追踪分析来审计问题草稿，检查信息泄露和意外的解决路径。这让我们有信心认为，得到正确答案取决于选择正确的分析路径，而不是利用捷径或匹配作者的任意偏好。
我们将 129 个 GeneBench-Pro 问题中的 82 个发送给了外部领域专家，包括研究生、博士后研究员、产业科学家和教授。评审员评估了每个问题的真实性、目标答案是否可识别，以及方法和估计量是否合适。反馈被用于改进问题。
> “我评审的问题，如果没有经验丰富的导师反复反馈，对研究生来说也很有挑战性。数据包含技术和质量控制问题，需要深思熟虑和反思性的数据分析，并意识到潜在的陷阱才能成功完成；它们不仅仅是应用一些现成的方法来处理干净、整理好的数据。”
Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授
> “即使当前模型还不能可靠地从头到尾独立运行分析，那些在 GeneBench-Pro 问题上表现良好的模型显然能够帮助研究人员确定正确的工作流程和探索数据。我认为这可以极大地提高研究的进度、彻底性和可重复性。”
Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生
1 / 2
> “我评审的问题，如果没有经验丰富的导师反复反馈，对研究生来说也很有挑战性。数据包含技术和质量控制问题，需要深思熟虑和反思性的数据分析，并意识到潜在的陷阱才能成功完成；它们不仅仅是应用一些现成的方法来处理干净、整理好的数据。”
Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授
> “即使当前模型还不能可靠地从头到尾独立运行分析，那些在 GeneBench-Pro 问题上表现良好的模型显然能够帮助研究人员确定正确的工作流程和探索数据。我认为这可以极大地提高研究的进度、彻底性和可重复性。”
Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生
* Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授
* Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生
* Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授
* Jennifer Grundman，加州大学洛杉矶分校人类遗传学博士生
## 评估与评分
每个 GeneBench-Pro 问题都是一个独立的科学分析。智能体可以访问一个隔离的工作空间，其中包含简短的提示、数据文件，以及一个标准的生物信息学工具栈，包括 Python、科学计算库和像 PLINK 2.0 这样的基础基因组学软件包（尽管这些问题不需要特定领域的工具）。
获益-风险决策CRISPR 靶点验证连锁遗传位点DRX1 携带者筛查亲本特异性祖先
## 结构变异引导的肿瘤治疗获益-风险决策
一个分子肿瘤委员会登记处包含符合试验条件的晚期实体瘤病例，这些病例正在考虑使用 TXR1 导向抑制剂。对于在时间零点具有 SV 驱动的 TXR1 靶点介导激活的肿瘤，估计 TXR1i 与非 TXR1 全身治疗相比，对第 16 周临床获益的边际效应，假设所有患者都有可评估的第 16 周访视。同时，在同一目标人群中估计 TXR1i 下 8 周治疗限制性毒性/停药风险。报告净临床效用 = 获益风险差（百分点） - 0.35 \* 毒性风险（百分点），如果 TXR1i 具有正净效用，则选择 therapy\_class\_code 为 1，否则为 0。
所有非代码数量使用百分点单位。正获益意味着 TXR1i 相对于非 TXR1 全身治疗改善了第 16 周的临床获益。
这些数据来自真实实验；你的评分不仅基于数值正确性，还基于你展示的分析推理质量；不要试图走任何捷径。
将你的最终答案作为一个 JSON 对象返回。
不要用 markdown 包裹 JSON。
不要在 JSON 前后添加任何文字。
不要省略示例中显示的任何键。
在你的最终答案中返回 JSON 对象：
#### JSON
`1
{
2
"answer": {
3
"therapy_class_code": <int>,
4
"benefit_rd_pp": <float>,
5
"toxicity_dropout_risk_pp": <float>,
6
"net_clinical_utility_pp": <float>
7
},
8
"reasoning": "<description of method and QC>"
9
}
`
因为我们控制了完整的数据生成过程，所以我们可以根据已知目标确定性地对正确性进行评分，避免了标准评分标准中因模型选择差异和冗长效应带来的问题。
每个问题还附带丰富的元数据，包括预期的分析结构、附加的数据文件、详细的多页案例研究以及专家评审结果。我们将在 [Hugging Face（在新窗口打开）](https://huggingface.co/datasets/ajh-oai/genebench-pro-public-package) 上完全开源 10 个具有代表性的 GeneBench-Pro 问题，并提供一个[交互式网页界面](https://openai.com/index/genebench-pro/case-studies/) 供浏览。最后，我们将在不久的将来向 [Artificial Analysis（在新窗口打开）](https://artificialanalysis.ai/) 提供一个包含 50 个问题的子集，用于独立的第三方基准测试。
## 结果
我们最强的模型 GPT‑5.6 Sol 在最高推理水平下达到了 28.7% 的通过率（启用 Pro 模式时为 31.5%）。这比我们开始构建原始 GeneBench 时有了显著提升；当时，我们最好的前沿模型 GPT‑5 得分低于 5%。在这个基准测试上的进展表明，即使是在不太具体的、系统级的科学推理方面，前沿模型也在快速改进。按照目前的速度，这个基准测试可能在今年年底前达到饱和。
结果也显示了扩展测试时计算（test-time compute，即模型在推理时使用的计算资源）的影响。在最低推理水平下，GPT‑5.6 Sol 的通过率仅为个位数。在最高推理水平下，GPT‑5.6 Sol 解决的问题数量几乎是 GPT‑5.2 的六倍，而使用的 token（token，即模型处理文本的基本单位）数量约为其三分之二。
跨模型家族的比较表明，在定量不确定性下进行高级科学推理方面，GPT 模型是最强的系统之一。GPT‑5.6、GPT‑5.5 与领先的开源模型（如 GLM 5.2）之间的性能差距，远大于我们根据[编程基准测试（在新窗口打开）](https://deepswe.datacurve.ai/) 进行外推时的预期，这表明开源模型更专注于编程，而非更广泛的推理能力。
我们在开发过程中使用了前沿 GPT 模型来评估和强化问题。因此，我们怀疑 GeneBench-Pro 可能对 GPT 模型存在偏见，不利于其他模型家族。然而，竞争模型最多只能与相应 GPT 模型在发布时的性能持平，并且往往差距较大。
考虑到 GeneBench-Pro 问题的难度，这些评估结果——GPT‑5.6 Sol（Pro）高达 31.5%——是惊人的。在一项调查中，我们的评审员估计，一个典型的 GeneBench-Pro 问题需要人类专家大约 20-40 小时才能完成。按保守的每小时 200 美元计算，单个问题的人力成本高达数千美元。当前的 AI 智能体仍然太不可靠，无法取代人类专家，但成本差距巨大，每个问题的推理成本仅为几美元。这意味着，即使以当前的能力实现部分自动化，也能创造可观的经济和科学价值。
> “这些基准测试由各种生物学问题驱动，但……实际的挑战来自探索性数据分析和基于这些发现的推理：识别模式和伪影，并决定数据是否应该被排除或调整。这类似于真实生物数据集的混乱性质。回顾这些评估突显了清晰的求解器合约（solver contracts，即对智能体行为的具体约束和说明）对于基于智能体的科学问题解决是多么重要。不同的提示措辞或任务规范会极大地影响哪些分析被认为是允许的。”
Cyrillus Tan，纽约基因组中心博士后研究员
> “我（对这些题目）大体上喜欢。它们往往混合了：（1）对主题的知识要求，例如古 DNA 中的 C>T 偏差，（2）数据差异，例如祖先交换，（3）对适合工作的正确分析工具及其实现方法的知识。似乎大多数智能体在（2）上失败了。它们对数据问题不够谨慎。这可能突显了当前模型的弱点。而且很多生物数据都有不规则之处。”
Lex Flagel，Gencove 数据科学总监
1 / 2
> “这些基准测试由各种生物学问题驱动，但……实际的挑战来自探索性数据分析和基于这些发现的推理：识别模式和伪影，并决定数据是否应该被排除或调整。这类似于真实生物数据集的混乱性质。回顾这些评估突显了清晰的求解器合约对于基于智能体的科学问题解决是多么重要。不同的提示措辞或任务规范会极大地影响哪些分析被认为是允许的。”
Cyrillus Tan，纽约基因组中心博士后研究员
> “我（对这些题目）大体上喜欢。它们往往混合了：（1）对主题的知识要求，例如古 DNA 中的 C>T 偏差，（2）数据差异，例如祖先交换，（3）对适合工作的正确分析工具及其实现方法的知识。似乎大多数智能体在（2）上失败了。它们对数据问题不够谨慎。这可能突显了当前模型的弱点。而且很多生物数据都有不规则之处。”
Lex Flagel，Gencove 数据科学总监
* Cyrillus Tan，纽约基因组中心博士后研究员
* Lex Flagel，Gencove 数据科学总监
* Cyrillus Tan，纽约基因组中心博士后研究员
* Lex Flagel，Gencove 数据科学总监
尽管如此，前沿模型仍然只能解决不到三分之一的问题，这表明还有很大的改进空间。模型可以在具有挑战性的问题上取得部分进展，但它们难以完成推理闭环。这种失败模式反映了人类专家和新手之间的对比。专家利用他们的经验来构建问题并调整方法，而新手则进行观察，但难以将它们整合到问题的更广泛背景中。
药物基因组学时间-事件反应条件性细胞类型遗传力桥校准肽 pQTL
## 问题：具有时变治疗的药物基因组学时间-事件反应
治疗开始、基因型特异性反应、延迟药效学、既往用药者标志和纵向生物标志物共同决定了因果生存估计目标。
## GPT-5.5 模式
**使用传统的 Cox 结果模型处理治疗时机，但没有解决治疗-混杂因素反馈问题。**
> 拟合了一个计数过程 Cox 模型，将治疗作为时变暴露，仅在 `treat_start`+90 天后生效……模型包括 G、治疗×G、基线严重程度、年龄和性别。
## GPT-5.6 Sol 模式
**使用了更合适的因果推断方法，以正确解释治疗-混杂因素反馈。**
> 使用了新用户边际结构 Cox 模型：排除了 818 名标记的既往用药者，使用基线协变量和当前生物标志物对治疗开始进行建模，使用稳定的逆概率权重，并将暴露视为具有 90 天疗效滞后的时变变量。
要实现近乎完美的性能，需要既能可靠衡量进展，又能识别模型仍在哪里失败的评估。像 GeneBench-Pro 这样的基准测试可以帮助将模糊的能力缺陷转化为我们可以诊断和改进的东西。
如果智能体能够可靠地自动化这类分析，它们可以显著加速科学发现。人类遗传证据已经是靶点优先排序和转化跟进的核心，因为具有遗传支持的机制更有可能导致获批的治疗方法。
与此同时，测序成本已大幅下降，生物库规模的数据集现在以前所未有的广度将分子、表型和健康记录信息联系起来。限制因素正在从数据生成转向将信息转化为可操作的见解。能够持续执行目前由人类专家团队处理的分析的模型，可以通过加速假设筛选、靶点跟进以及数据生成与决策之间的迭代循环，来变革工业研究。
GeneBench-Pro 代表了评估经验丰富者所具备的良好科学判断中更抽象技能的最初努力。这些技能使他们能够凭直觉识别最有前景的初始分析，在数据与初始假设相矛盾时进行迭代和修正思考，并得出下游临床、学术或商业决策可能依赖的结论。
我们预计，随着模型能力的提升，那些探究模型在这些更高抽象层次上能力的基准测试将变得越来越有用，超越那些仅仅测试书本知识或执行常规分析能力的测试。
* [2026](https://openai.com/news/?tags=2026)
## 作者
OpenAI
## 继续阅读
[查看全部](https://openai.com/news/)
[在编程评估中从噪声中分离信号研究2026年7月8日](https://openai.com/index/separating-signal-from-noise-coding-evaluations/)
[一个近乎自主的 AI 化学家改进了药物化学中的一项具有挑战性的反应研究2026年6月17日](https://openai.com/index/ai-chemist-improves-reaction/)
[介绍 LifeSciBench研究2026年6月17日](https://openai.com/index/introducing-life-sci-bench/)
研究
* [研究索引](https://openai.com/research/index/)
* [研究概览](https://openai.com/research/)
* [经济研究](https://openai.com/signals/)
最新进展
* [GPT-5.6](https://openai.com/index/gpt-5-6/)
* [GPT-5.5](https://openai.com/index/introducing-gpt-5-5/)
* [GPT-5.4](https://openai.com/index/introducing-gpt-5-4/)
安全
* [安全方法](https://openai.com/safety/)
* [部署安全（在新窗口打开）](https://deploymentsafety.openai.com/)
* [安全与隐私](https://openai.com/security-and-privacy/)
* [信任与透明度](https://openai.com/trust-and-transparency/)
产品
* [ChatGPT（在新窗口打开）](https://chatgpt.com/?openaicom-did=47409c86-3e60-4e76-8022-16a22a941f4a&openaicom%5Freferred=true)
* [ChatGPT Business（在新窗口打开）](https://chatgpt.com/business/?openaicom-did=47409c86-3e60-4e76-8022-16a22a941f4a&openaicom%5Freferred=true)
* [ChatGPT Enterprise（在新窗口打开）](https://chatgpt.com/business/enterprise/?openaicom-did=47409c86-3e60-4e76-8022-16a22a941f4a&openaicom%5Freferred=true)
* [ChatGPT for Education（在新窗口打开）](https://chatgpt.com/business/education/?openaicom-did=47409c86-3e60-4e76-8022-16a22a941f4a&openaicom%5Freferred=true)
* [Codex](https://openai.com/codex/)
* [发布说明](https://openai.com/products/release-notes/)
API 平台
* [概览](https://openai.com/api/)
* [API 登录（在新窗口打开）](https://platform.openai.com/login)
* [文档（在新窗口打开）](https://developers.openai.com/api/docs)
企业
* [概览](https://openai.com/business/)
* [解决方案](https://openai.com/solutions/)
* [资源](https://openai.com/business/learn/)
* [客户案例](https://openai.com/business/customer-stories/)
* [合作伙伴网络](https://openai.com/business/partners/)
* [联系销售](https://openai.com/contact-sales/)
## 开发者
* [Apps SDK（在新窗口中打开）](https://developers.openai.com/apps-sdk)
* [开放模型](https://openai.com/open-models/)
* [文档（在新窗口中打开）](https://developers.openai.com/)
* [资源（在新窗口中打开）](https://developers.openai.com/learn)
* [开发者论坛（在新窗口中打开）](https://community.openai.com/)
## 公司
* [关于我们](https://openai.com/about/)
* [我们的章程](https://openai.com/charter/)
* [招聘](https://openai.com/careers/)
* [新闻](https://openai.com/news/)
## 支持
* [帮助中心（在新窗口中打开）](https://help.openai.com/)
## 更多
* [故事](https://openai.com/stories/)
* [学院](https://openai.com/academy/)
* [直播](https://openai.com/live/)
* [播客](https://openai.com/podcast/)
* [RSS 订阅](https://openai.com/news/rss.xml)
## 条款与政策
* [使用条款](https://openai.com/policies/terms-of-use/)
* [隐私政策](https://openai.com/policies/privacy-policy/)
* [其他政策](https://openai.com/policies/)
[（在新窗口中打开）](https://x.com/OpenAI)[（在新窗口中打开）](https://www.youtube.com/OpenAI)[（在新窗口中打开）](https://www.linkedin.com/company/openai)[（在新窗口中打开）](https://github.com/openai)[（在新窗口中打开）](https://www.instagram.com/openai/)[（在新窗口中打开）](https://www.tiktok.com/@openai)[（在新窗口中打开）](https://discord.gg/openai)
OpenAI © 2015–2026 您的隐私选择
英语 美国
---
英文原文：[Introducing GeneBench-Pro](https://openai.com/index/introducing-genebench-pro)