JSONL 파일이란?

JSONL — JSON Lines

어떤 형식인가요?

JSONL은 NDJSON과 정확히 같은 것을 가리킵니다. 한 줄에 하나의 JSON 객체를 담는 형식이지요. 이름은 두 개, 사용하는 커뮤니티도 두 곳이지만 형식은 하나입니다. 둘의 차이를 찾느라 시간을 허비하기 전에 이 점을 알아두면 도움이 됩니다.

다만 관용적으로는 구분이 있습니다. 머신러닝 분야에서는 주로 JSONL이라 부르고, 애플리케이션 로그나 데이터 스트림 쪽에서는 NDJSON이라는 명칭을 씁니다.

.jsonl 확장자는 인공지능용 데이터셋이 폭발적으로 늘어나면서 널리 쓰이게 되었습니다. 이런 데이터셋에서는 한 줄이 하나의 학습 예제를 나타냅니다.

오늘날 대부분의 모델 파인튜닝 도구가 요구하는 형식이 바로 이것입니다. 한 줄에 하나의 샘플이라는 원칙입니다.

수 기가바이트에 달하는 데이터셋도 전체를 메모리에 올리지 않고 처리할 수 있습니다.

데이터를 추가하려면 파일 끝에 줄을 덧붙이기만 하면 됩니다. 파일 전체를 다시 쓸 필요가 없습니다.

표준 JSON을 기대하는 도구에서는 읽을 수 없습니다.

전체를 감싸는 구조가 없어서 파일 전체에 대한 검증이 불가능합니다.

학습 데이터셋이나 스트림 방식 처리에는 JSONL을 사용하는 것이 적합합니다.

표 형태로 확인하려면 CSV로, 도구가 단일 배열을 요구한다면 JSON으로 변환하십시오. 다만 파일이 크다면 메모리 사용량에 유의해야 합니다.

프랑스에 있는 안전한 서버에서 JSONL 파일을 몇 초 만에 변환하세요.