Skip to content

Repository files navigation

Paper Table Extraction Benchmark

Paper Table Extraction Benchmark 是一个面向学术论文实验结果表格的信息抽取基准。它关注从论文表格及其上下文中恢复结构化结果、筛选目标结果,并分析跨论文结果组织能力。

Online leaderboard

页面通过统一标签展示 v2 冻结历史、v3 Task 2+3 主榜、v3 Task 1/4/Workflow,以及 v3 Paper-Level Workflow。各任务保持独立指标和分母,当前表格支持搜索、排序、详情展开和一键复制 TSV。v3 是尚未逐条人工核验的自动化预览。

Tasks

  1. Task 1: table recovery - recover a strict structured table from source-native, visual, OCR, or document inputs.
  2. Task 2: full-table result extraction - extract valid experimental results from a structured table.
  3. Task 3: target-result selection - select results belonging to the target leaderboard scope.
  4. Task 4: leaderboard reconstruction - link taxonomy, normalize method identity, deduplicate, and organize results across papers.

当前主评测首先使用 Task 2+3 联合任务;v3 进一步提供 Task 1、Task 4A、Task 4B、Level 1/2/3 workflow,以及从完整 source-native 论文开始的 Paper-Level Workflow。Task 2+3 和 Paper-Level Workflow 都使用 PWC selected-only 标签,不应被解释为完整的全表结果召回评测。

Public contents

  • leaderboard.html: self-contained versioned leaderboard page.
  • docs/benchmark_overview.md: public task, data, metric, protocol, and limitation overview.
  • docs/annotation_guide.md: result tuple and evidence annotation guide.
  • docs/v3_multitask_public_summary.md: public summary of v3 multitask scope and status.
  • docs/v3_paper_level_workflow_protocol.md: concise public protocol and data card for the 533-paper source-grounded workflow.
  • skills/leaderboard-builder: benchmark-aware leaderboard construction skill.
  • skills/result-table-extraction: source-aware paper result-table extraction skill.

本仓库不包含 PWC/SciLead 原始数据、论文 PDF、完整 benchmark 输入/Gold、API 审计、私有运行产物、模型权重或 Elasticsearch 数据。请阅读 NOTICE.md 了解来源和版权边界。

Citation and reuse

使用本项目的原创文档、页面源代码或 skills 时,请保留作者和仓库链接。第三方标签、论文内容、taxonomy 和外部数据仍受其原始许可证与来源条款约束;本仓库不对这些第三方材料重新授权。

Status

当前公开页面用于方法比较,不是人工终审版,也不是 span_ner leaderboard。Paper-Level Workflow 本轮正式完成 DeepSeek-V4-Flash 和两条确定性基线;GLM-5.1、GLM-5.2、AxCell 保留为待运行的 N/A,不按零分处理。复杂上下文、全文检索、跨表推理和长程任务属于后续 v4 范围。

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages