DATA
预训练数据基础设施
在 Apodex 构建预训练数据获取与质量评估管线。
预训练数据
数据获取与质量评估
构建预训练数据管线。
如何大规模获取有价值的网页数据，并在训练前评估其质量？
我的工作
从零构建预训练数据获取与处理基础设施，将按需抓取扩展为离线批处理，并结合域名质量评估与轻量级 URL 评分，引导数据采集。
成果
建立覆盖原始 HTML、PDF 等高信息量文档的数据获取管线，以质量评分指导采集。
项目背景与我的工作
自 2026 年 5 月起，我在 Apodex 聚焦预训练数据获取与质量，从零搭建采集管线，将规模扩展到平均每天数十亿个原始 HTML 页面，并从按需抓取转向离线批处理、引入页面渲染，将抓取成功率从 65% 提升到 90% 以上。