We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
2 parents 30f2da4 + 04d5ee4 commit 34a25f9Copy full SHA for 34a25f9
README.md
@@ -29,6 +29,7 @@ ChatGLM2-6B 开源模型旨在与开源社区一起推动大模型技术发展
29
30
## 友情链接
31
对 ChatGLM2 进行加速的开源项目:
32
+* [fastllm](https://github.com/ztxz16/fastllm/): 全平台加速推理方案,单GPU批量推理每秒可达10000+token,手机端最低3G内存实时运行(骁龙865上约4~5 token/s)
33
* [chatglm.cpp](https://github.com/li-plus/chatglm.cpp): 类似 llama.cpp 的 CPU 量化加速推理方案,实现 Mac 笔记本上实时对话
34
35
## 评测结果
0 commit comments