[한컴 데이터 로더] 문서 계층 구조 기반 청킹은 고정 크기 분할과 무엇이 다른가요?
고정 크기 분할은 글자·토큰 수를 기준으로 문서를 나누지만, 계층 구조 기반 청킹은 제목·본문·표 같은 문서 구조를 함께 고려합니다. 그래서 제목과 본문, 표의 헤더와 값이 분리될 가능성을 줄이고 검색 단계에서 문맥이 유지된 청크를 활용할 수 있습니다. 이를 위해서는 전처리 단계에서 문서 구조를 보존하여 데이터를 추출하는 과정이 필요합니다.
고정 크기 분할은 글자·토큰 수를 기준으로 문서를 나누지만, 계층 구조 기반 청킹은 제목·본문·표 같은 문서 구조를 함께 고려합니다. 그래서 제목과 본문, 표의 헤더와 값이 분리될 가능성을 줄이고 검색 단계에서 문맥이 유지된 청크를 활용할 수 있습니다. 이를 위해서는 전처리 단계에서 문서 구조를 보존하여 데이터를 추출하는 과정이 필요합니다.