# fastchat-run-llm

**Repository Path**: fly-llm/fastchat-run-llm

## Basic Information

- **Project Name**: fastchat-run-llm
- **Description**: 使用fastchat 运行 llm 大模型的。
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 10
- **Forks**: 6
- **Created**: 2024-01-21
- **Last Updated**: 2025-02-14

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 使用平台

在autodl 上面使用。
[https://www.autodl.com/create](https://www.autodl.com/create)


选择 pytroch 2.1 版本，python3.10

先创建相关配置的容器，然后克隆本项目，执行运行某些模型脚本：

```bash
git clone https://gitee.com/fly-llm/fastchat-run-llm.git
```


## 书生·浦语2-对话-20B

[https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-20b/summary](https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-20b/summary)

[https://github.com/InternLM/InternLM/blob/main/README_zh-CN.md](https://github.com/InternLM/InternLM/blob/main/README_zh-CN.md)

InternLM2 开源了一个 200 亿参数的基础模型和一个针对实际场景定制的聊天模型。该模型具有以下特点：
200K 上下文窗口：在 200K 长的上下文中几乎能完美地找到针尖，在长上下文任务（如 LongBench 和 L-Eval）上具有领先性能。使用 LMDeploy 尝试 200K 上下文推理。
卓越的全面性能：在所有维度上的表现都显著优于上一代模型，尤其是在推理、数学、编程、聊天体验、指令遵循和创意写作方面，在类似规模的开源模型中性能领先。在某些评估中，InternLM2-Chat-20B 可能与 ChatGPT（GPT-3.5）相匹敌，甚至可能超越。
代码解释器与数据分析：具备代码解释器功能，InternLM2-Chat-20B 在 GSM8K 和 MATH 上的表现与 GPT-4 相当。InternLM2-Chat 也提供数据分析能力。
更强的工具使用：基于在遵循指令、选择工具和反思方面的更好工具利用能力，InternLM2 可以支持更多种类的代理和复杂任务的多步骤工具调用。查看示例。

执行:

```bash
bash download_run_internlm2-7b.sh


7b消耗显存：15G
```

```bash
bash download_run_internlm2-20b.sh


20b消耗显存： 40G
```

## BlueLM-7B-Chat

[https://www.modelscope.cn/models/vivo-ai/BlueLM-7B-Chat/summary](https://www.modelscope.cn/models/vivo-ai/BlueLM-7B-Chat/summary)

[https://github.com/vivo-ai-lab/BlueLM](https://github.com/vivo-ai-lab/BlueLM)

BlueLM 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型，本次发布包含 7B 基础模型和 7B 对话模型，同时我们开源了支持 32K 的长文本基础模型和对话模型。

更大量的优质数据：高质量语料库进行训练，规模达到了 2.6 万亿 的 token 数，该语料库包含中文、英文以及少量日韩数据。
更优的效果：其中 BlueLM-7B-Chat 在 C-Eval 和 CMMLU 上均取得领先结果，对比同尺寸开源模型中具有较强的竞争力。
长文本支持：BlueLM-7B-Base-32K 和 BlueLM-7B-Chat-32K 均支持 32K 长文本，在保持基础能力相当情况下，能够支持更长上下文理解。
协议说明：BlueLM 系列欢迎开发者进行学术研究和商业应用。


执行:

```bash
bash download_run_bluelm-7b.sh
```


## 猎户星空 Orion-14B-Chat-Plugin

[https://www.modelscope.cn/models/OrionStarAI/Orion-14B-Chat-Plugin/summary](https://www.modelscope.cn/models/OrionStarAI/Orion-14B-Chat-Plugin/summary)

Orion-14B-Chat-Plugin: 在插件调用、Agent、ReAct Prompting能力方面，接近千亿级模型效果。专门针对插件和函数调用任务定制的聊天模型，非常适用于使用代理的相关场景，其中大语言模型充当插件和函数调用系统。使用方法请参考demo。

Orion-14B-Base是一个具有140亿参数的多语种大模型，该模型在一个包含2.5万亿token的多样化数据集上进行了训练，涵盖了中文、英语、日语、韩语等多种语言。在多语言环境下的一系列任务中展现出卓越的性能。在主流的公开基准评测中，Orion-14B系列模型表现优异，多项指标显著超越同等参数基本的其他模型。具体技术细节请参考技术报告。

Orion-14B系列大模型有以下几个特点：

基座20B参数级别大模型综合评测效果表现优异
多语言能力强，在日语、韩语测试集上显著领先
微调模型适应性强，在人类标注盲测中，表现突出
长上下文版本支持超长文本，在200k token长度上效果优异，最长可支持可达320k
量化版本模型大小缩小70%，推理速度提升30%，性能损失小于1%

特殊需要安装的是 flash_attn ，已经写在脚本里面了。

执行:

```bash
bash download_run_orion-14b-plugin.sh
```

普通14b模型
```bash
bash download_run_orion-14b.sh
```

## 姜子牙-代码大模型-34B、15B

使用自然语言生成高质量的代码是大模型落地中的高频需求。今天，IDEA研究院封神榜团队正式开源最新的代码大模型Ziya-Coding-34B-v1.0，我们在HumanEval Pass@1的评测上，取得了75.5的好成绩，超过了GPT-4（67.0）的得分，也成为目前已知开源模型新高。封神榜团队正在为社区提供先进的大模型技术和经验，帮助生产和定制更多优秀垂类模型，推进大模型生态发展。

[https://modelscope.cn/models/Fengshenbang/Ziya-Coding-34B-v1.0/summary](https://modelscope.cn/models/Fengshenbang/Ziya-Coding-34B-v1.0/summary)

也有 15B的模型：

[https://modelscope.cn/models/Fengshenbang/Ziya-Coding-15B-v1/summary](https://modelscope.cn/models/Fengshenbang/Ziya-Coding-15B-v1/summary)


部署15b模型
```bash
bash download_run_ziya-coding-15b.sh
```

## 通义金融-14B-Chat

[https://modelscope.cn/models/TongyiFinance/Tongyi-Finance-14B-Chat/summary](https://modelscope.cn/models/TongyiFinance/Tongyi-Finance-14B-Chat/summary)

通义金融-14B（Tongyi-Finance-14B）是针对对金融行业推出的大语言模型，基于通义千问基础模型进行行业语料增量学习，强化金融领域知识和场景应用能力，覆盖金融知识问答、文本分类、信息抽取、文本创作、阅读理解、逻辑推理、多模态、Coding等能力象限。同时，在Tongyi-Finance-14B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Tongyi-Finance-14B-Chat。本仓库为Tongyi-Finance-14B-Chat的仓库。

部署14b模型
```bash
bash download_run_tongyi-finance-14b.sh
```

## 测试接口


```bash
curl http://localhost:8000/v1/chat/completions   -H "Content-Type: application/json" -d '{
     "model": "gpt-3.5-turbo",
     "messages": [{"role": "user", "content": "你是谁"}],
     "temperature": 0.7
}'

```