阿里 通义千问LLM Qwen-7B-Chat与Qwen-VL-Chat 使用；国内huggingface模型下载

参考：
https://github.com/QwenLM/Qwen-7B
https://github.com/QwenLM/Qwen-VL

https://huggingface.co/Qwen

1、国内下载模型：

大模型国内下载：https://modelscope.cn/
或者huggingface镜像网站：https://hf-mirror.com/

from modelscope import Model
##默认下载本地 .cache/modelscope/hub 下
model = Model.from_pretrained('ZhipuAI/chatglm2-6b', device_map='auto', revision='v1.0.12')

2、Qwen-7B-Chat

下载好代码与模型后运行：

python ./Qwen-7B-main/web_demo.py -c ./qwen-6b-4bit/ --server-name 0.0.0.0  --server-port 10860

角色定义（相比chatglm要复杂识别不到，需要写很多很清楚通义千问才可以）

3、Qwen-VL-Chat 多模态聊天

下载好代码与模型后运行：

运行QwenQwen-VL-Chat-Int4 大概需要15G显卡：

（运行报错基本可以对应升级包的库即可 accelerate、peft等）

python ./Qwen-VL-master/web_demo_mm.py -c ./QwenQwen-VL-Chat-Int4  --server-name 0.0.0.0  --server-port 10860

类似其他模型参考：https://llava.hliu.cc/

效果也好

vllm加速推理

参考：https://blog.csdn.net/weixin_42357472/article/details/132664224