Replies: 1 comment
-
|
该项目中在处理上下游请求的代码中是不允许出现请求超时的。 从连接代理、请求上游、转发上游数据包给客户端,你都可以看到没有一行关于代码超时的功能。 作为一个LLM Proxy,有超时设置是不负责任的。 建议你自行排查你的CDN、Nginx设置。 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
描述
通过
openai-compatibility配置的上游(如 NVIDIA API),当模型响应时间超过 60s 时,CLIProxyAPI 直接返回 HTTP 500,请求被截断。
复现场景
moonshotai/kimi-k2-instruct-0905作为 openai-compatibility 上游部分请求耗时超过 1 分钟时会被强制中断。
期望行为
openai-compatibility上游应支持可配置的超时时间(类似 PR feat: add per-credential response-header-timeout and treat 524 as transient error #2060 对claude-api-key的response-header-timeout)建议
参考 #2060 的思路,在
openai-compatibility的配置中也支持response-header-timeout字段:Beta Was this translation helpful? Give feedback.
All reactions