[한컴 데이터 로더] 청킹 품질을 높이려면 전처리 과정에서 무엇부터 해야 하나요?
청킹 전에 문서 구조 분석(DLA)을 통해 제목, 본문, 표 등의 영역을 구분하고 제목 계층과 표 구조가 유지된 구조화 데이터로 변환하는 것이 중요합니다.
한컴 데이터 로더는 청킹 전 단계인 파싱 과정에서 문서 구조를 보존하여 데이터를 추출하고, 이후 청킹과 임베딩 단계에서 문서의 맥락을 활용할 수 있도록 지원합니다.
청킹 전에 문서 구조 분석(DLA)을 통해 제목, 본문, 표 등의 영역을 구분하고 제목 계층과 표 구조가 유지된 구조화 데이터로 변환하는 것이 중요합니다.
한컴 데이터 로더는 청킹 전 단계인 파싱 과정에서 문서 구조를 보존하여 데이터를 추출하고, 이후 청킹과 임베딩 단계에서 문서의 맥락을 활용할 수 있도록 지원합니다.