Chunking z overlapem i nagłówkiem sekcji

Problem

Dokument pocięty na równe kawałki traci kontekst na granicach. Fragment zaczynający się od „Wartość tę ustawia się w pliku konfiguracyjnym" nie mówi nic o tym, jaką wartość i w jakiej sekcji — a to właśnie ten fragment wróci z retrievalu.

Rozwiązanie

Trzy rzeczy naraz:

• tnij po strukturze dokumentu, nie po liczbie znaków,
• nakładaj fragmenty na siebie, żeby zdanie z granicy trafiło do obu,
• doklejaj do każdego fragmentu ścieżkę nagłówków, z której pochodzi.

Kiedy nie stosować

Przy dokumentach bez struktury — transkrypcjach, czatach, logach. Tam ścieżka nagłówków nie istnieje, a overlap tylko zwiększa koszt embeddingów.