DATA
Pretraining Data Infrastructure
在 Apodex 构建预训练数据获取与质量评估管线。
预训练数据
数据获取与质量评估
构建预训练数据管线。
如何大规模获取有价值的网页数据，并在训练前评估其质量？
我的工作
从零构建预训练数据获取与处理基础设施，将按需抓取扩展为离线批处理，并结合域名质量评估与轻量级 URL 评分，引导数据采集。
成果
建立覆盖原始 HTML、PDF 等高信息量文档的数据获取管线，以质量评分指导采集。
项目背景与我的工作
自 2026 年 5 月起，我在 Apodex 聚焦预训练数据获取与质量，从零搭建采集管线，将按需抓取转向离线批处理，并引入页面渲染。经历页记录了工作范围与采集指标。