feat: implement text chunking processor with fixed token length and delimiter algorithm #305
| Job | Run time |
|---|---|
| 4m 31s | |
| 3m 57s | |
| 4m 34s | |
| 3m 59s | |
| 4m 47s | |
| 3m 58s | |
| 4m 35s | |
| 3m 57s | |
| 4m 33s | |
| 3m 44s | |
| 4m 32s | |
| 3m 46s | |
| 3m 43s | |
| 3m 46s | |
| 3m 39s | |
| 3m 57s | |
| 4m 4s | |
| 3m 57s | |
| 3m 45s | |
| 3m 46s | |
| 3m 44s | |
| 3m 43s | |
| 3m 54s | |
| 3m 57s | |
| 3m 57s | |
| 3m 57s | |
| 3m 45s | |
| 3m 41s | |
| 3m 47s | |
| 3m 46s | |
| 1h 59m 41s |