AI 产品

datatrove数据处理库发布0.10.0版本，新增多项功能

datatrove库，用于FineWeb、FineWeb2和FinePDFs的数据处理库，刚刚发布了0.10.0版本。新版本引入了JobsPipelineExecutor，允许在Hugging Face Jobs上运行管道，支持扇出、多阶段依赖、重试和恢复，无需Slurm集群。此外，添加了HF存储桶作为DataFolder的功能，可以直接读取、写入和日志到hf://buckets/...。推理输出在推理结果中得以保留。安装命令为pip install datatrove[io,processing]。此信息基于Twitter/X AI List的帖子，官方状态为false，但内容为直接宣布。

多来源证据

事件时间线

1. 8月14日 16:09
   Twitter/X AI List
   datatrove — FineWeb、FineWeb2和FinePDFs背后的数据处理库 — 刚刚发布了0.10.0！ - JobsPipelineExecutor：在Hugging Face Jobs上运行管道