是否可以给 默认对话模型加入触发词起到主动截断行为，并转入回退对话模型的方法？ #6537
xiaoffs-collab
started this conversation in
Ideas
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
是这样思考的，由于目前token本身就不便宜，而如果是能工作级的大模型token则更是跟烧钱差不多。而部分对话和本地简单处理行为又根本没必要调用大模型，哪么是否可以在本地部署一个小模型？例如9B或35B级别，如果AI判断自身无法完成对话任务则主动截断行为并转入回退模型 启动大模型。如果进一步功能延伸则可以将本地模型作为自然语言翻译为AI语言的功能
Beta Was this translation helpful? Give feedback.
All reactions