本地部署清华开源ChatGLM语言模型

简介

ChatGLM-6B 由清华大学唐杰团队开发的是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。
ChatGLM官方博客
ChatGLM开源项目地址

下载部署

首先我们下载 整理好的ChatGLM 可以得到以下几个文件：

用解压软件解压即可，正确解压后目录大概是这个样子：

运行ChatGLM

可以看到目录下有不同bat文件，大家可以查看自己的显卡配置来运行脚本，我笔记本是3060 6G显存就运行8G以下显存-int4量化.bat这个脚本就行（CPU运行需大量内存建议是32G）。
正常运行需要等待几分钟出现链接即可，没有运行成功先点目录里的强制更新.bat：

这边测试了一下输出还是挺快的，在云服务器上部署可以用外网+端口访问。