JSONL 是什么格式？

JSONL — JSON Lines

这是什么？

JSONL 和 NDJSON 其实是同一种格式:每行一个 JSON 对象。两个名字,两个使用群体,实为同一回事——了解这一点,可以省去不少不必要的困惑。

不过,叫法上还是有约定俗成的分工:机器学习领域更常用 JSONL 这个名字,而应用日志和数据流领域则习惯称之为 NDJSON。

随着人工智能数据集的爆发式增长,.jsonl 这一扩展名逐渐流行开来,其中每一行代表一条训练样本。

如今,大多数模型微调工具都要求输入这种格式:一行,一个样本。

它可以处理体积达数 GB 的数据集,而无需一次性全部加载到内存中。

追加数据只需在文件末尾添加新行——无需重写整个文件。

需要标准 JSON 格式的工具无法直接读取它。

由于没有外层结构包裹,无法对整个文件进行统一校验。

训练数据集或任何流式处理场景,JSONL 都是首选格式。

若想在表格软件中查看,可将其转换为 CSV;若某个工具要求单一数组,则转换为 JSON——但文件较大时要留意内存占用。

在我们位于法国的安全服务器上，几秒内转换您的 JSONL。