큰 텍스트 파일에서 줄 점프 최적화: 대체 접근 방식

다양한 길이의 줄이 포함된 대용량 텍스트 파일을 처리할 때 다음을 수행하는 것이 비효율적인 경우가 많습니다. 특정 줄 번호에 도달하기 위해 각 줄을 순차적으로 읽습니다. 질문에 제공된 코드 샘플은 전체 파일을 통해 잠재적으로 느린 반복이 필요한 이러한 접근 방식을 보여줍니다. 그러나 계산된 오프셋 목록을 활용하여 라인 점프를 최적화하는 대체 방법이 있습니다.

오프셋 기반 라인 점프

이 문제를 극복하려면 보다 효율적인 접근 방식이 필요합니다. 줄 오프셋 목록을 생성하기 위해 파일을 한 번 읽는 작업이 포함됩니다. 각 오프셋은 특정 라인의 시작 위치를 표시합니다. 이러한 오프셋을 저장하면 이전 행을 처리하지 않고 원하는 행으로 직접 이동할 수 있습니다.

다음은 향상된 코드 조각입니다.

# Read the file and build the line offset list
line_offset = []
offset = 0
with open(filename, "rb", 0) as file:
    for line in file:
        line_offset.append(offset)
        offset  = len(line)

# Jump to a specific line (line 141978 in this example)
file.seek(line_offset[141977])  # Adjust the index as lines are zero-indexed

# Process the target line as desired
DoSomethingWithThisLine(line)

라인 오프셋 목록을 활용하면 대상 라인으로 직접 건너뛸 수 있어 처리 시간이 대폭 단축되고 효율성이 향상됩니다.