Google Colab一键部署ChatGLM

设置

进入Google Colab新建一个笔记，使用GPU类型。

设置以下代码块：

!git clone https://github.com/THUDM/ChatGLM-6B
%cd ChatGLM-6B
!pip install -r requirements.txt
!pip install gradio

!python cli_demo.py

运行后需要安装环境、下载模型所以需要等待许久。

小问题

运行之后会突然断掉，是配置不够导致的，
cli_demo.py文件中替换第七行为：

model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4-qe", trust_remote_code=True).half().cuda()

再次运行第二个代码块即可。

使用

直接在代码块输出中回复就行。