修改爬虫文档处理

Author: springrain

componentOpenAI.go

@@ -272,7 +272,7 @@ func (component *MarkdownConverter) Run(ctx context.Context, input map[string]in
 	} else {
 		document.FilePath = filePath
 	}
-	if filePath == "" {
+	if filePath == "" && document.Markdown == "" {
 		err := errors.New(funcT("The filePath of MarkdownConverter cannot be empty"))
 		input[errorKey] = err
 		return err

routeAdmin.go

@@ -1034,7 +1034,7 @@ func funcWebScraper(ctx context.Context, c *app.RequestContext) {
 			}
 
 			// 文档分块,分析处理
-			//updateDocumentChunk(ctx, &doc)
+			updateDocumentChunk(ctx, &doc)
 		}
 	}()