开发工具

AI研究者开源整理7000余篇顶会论文结构化数据集

首次出现 7月26日 00:40·最近更新 7月26日 00:40

一位AI研究者为解决在大量PDF论文中检索实验设置的效率问题，使用自研开源文档解析工具Knowhere，将2023年NeurIPS、ICML、ICLR三大顶会约7300篇论文批量处理为结构化数据集。该数据集已在Hugging Face开源，包含标题、摘要、作者、会议、研究主题、结构化内容摘要和语义向量等信息，旨在将分散在论文正文、表格和附录中的关键实验参数（如数据集、指标、训练方案、资源消耗）变得可检索和比较，以支持科研人员、产品及投资研究人员进行技术选型、趋势分析和跨论文横向对比。

多来源证据

V2EX AI 用户与重大信号·v2ex·7月25日 22:29

我把 7000 多篇 AI 顶会论文，整理成了一份可以被机器读懂的数据集，需要自取

我是做 AI 研究的，经常为了确认一个实验设置，在几十篇 PDF 里来回翻。比方说我想知道某个方向常用哪些数据集、指标和训练方案，只能自己建表、自己比对。但是，一篇论文动辄几十页，管线架构、算法模块、训练参数、算力消耗、表现指标和其他方法细节，都藏在正文、表格、图注和附录里。几千篇论文堆在一起，还没有目录：想找“用过同一组数据集、针对同一个 benchmark”的工作，只能手动翻，效率太慢了。所以，借助自研的开源文档解析工具 Knowhere ，我把 AI 顶会论文批量整理为结构化数据，提取了关键实验参数，并在 🤗 Hugging Face 上开源了。已上线的 2023 年数据

事件时间线

7月25日 22:29
V2EX AI 用户与重大信号
我把 7000 多篇 AI 顶会论文，整理成了一份可以被机器读懂的数据集，需要自取