ChatGLM

ChatGLM官网,清华技术,智谱AI开源的GLM系列的对话模型

什么是ChatGLM?

ChatGLM 是智谱AI公司基于清华技术成果转化而开源的对话模型系列，支持中英两种语言。目前，该系列开源了规模为62亿参数的模型。这些模型在继承了GLM的优势基础上进行了架构优化，降低了部署和应用的门槛，使得大型模型可以在消费级显卡上进行推理应用。

>>推荐限时免费领取讯飞星火大模型api 1000万tokens！

ChatGLM官网: https://chatglm.cn/

github项目网址: (安装和使用教程请看官方介绍)

https://github.com/THUDM/ChatGLM-6B

从技术路线的角度来看，ChatGLM 实现了强化学习人类对齐策略，使得生成的对话效果更加贴近人类的价值观。目前，它的能力领域主要包括自我认知、提纲写作、文案写作、邮件写作助手、信息抽取、角色扮演、评论比较、旅游建议等。此外，ChatGLM 还开发了一个正在内测的超大模型，参数规模达到了1300亿，这在当前的开源对话模型中属于较大规模。

ChatGLM 的开源为研究人员和开发者提供了一个强大的工具，可以用于各种对话场景和应用。它的性能和规模使得它成为处理复杂对话任务和生成高质量对话的理想选择。随着ChatGLM的不断发展和改进，我们可以期待更多创新和应用在对话系统领域的实现。

详细介绍

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。

为了方便下游开发者针对自己的应用场景定制模型，我们同时实现了基于 P-Tuning v2 的高效参数微调方法 (使用指南) ，INT4 量化级别下最低只需 7GB 显存即可启动微调。

想让 ChatGLM-6B 更符合你的应用场景？欢迎参与 Badcase 反馈计划。

ChatGLM-6B 开源模型旨在与开源社区一起推动大模型技术发展，恳请开发者和大家遵守开源协议，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务。目前，本项目团队未基于 ChatGLM-6B 开发任何应用，包括网页端、安卓、苹果 iOS 及 Windows App 等应用。

尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于 ChatGLM-6B 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确性，且模型易被误导（详见局限性）。本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。

使用方式

硬件需求

环境安装

使用 pip 安装依赖：pip install -r requirements.txt，其中 transformers 库版本推荐为 4.27.1，但理论上不低于 4.23.1 即可。

此外，如果需要在 cpu 上运行量化后的模型，还需要安装 gcc 与 openmp。多数 Linux 发行版默认已安装。对于 Windows ，可在安装 TDM-GCC 时勾选 openmp。 Windows 测试环境 gcc 版本为 TDM-GCC 10.3.0， Linux 为 gcc 11.3.0。在 MacOS 上请参考 Q1。

代码调用

可以通过如下代码调用 ChatGLM-6B 模型来生成对话：

>>> from transformers import AutoTokenizer, AutoModel