云服务器使用指南工具使用Deepseek-R1-Vllm

Deepseek-R1-Vllm 调用方式

一、创建资源

3090、4090资源已部署DeepSeek R1镜像，支持本地访问和对外访问方式。

选择创建云服务器 -> 选中图中镜像，配置云盘与带宽等参数 -> 创建资源。

image

具体配置选择可以根据需求创建，请参考：并行智算云产品文档中心_创建云服务器

二、运行

2.1 本地访问

2.1.1 命令行方式

云服务器部署了多个模型库，可根据需求自行选择。

（1）执行命令deepseek

为了保证服务的稳定性，建议使用screen的用法，例如：

安装：
sudo apt-get install screen 
 
新建一个session：
screen -S my  ; 新建一个会话，命名为my
 
查看当前打开session：
screen -ls     ; 列出当前登录节点打开的会话
 
返回到之前的session：
screen -r my   ; 回到my这个会话
screen -d -r my ; 结束当前到，返回my会话
 
离开当前会话：
ctrl A + D     ; 离开当前的会话，操作方法是同时按ctrl键和A键，然后按D键
终止screen某个后台运行的项目
screen -X -S ID quit
 
进入screen的会话后，则输入：
deepseek   
启动服务操作

（2）根据提示，输入【1】，选择”本地访问”，输入对应的模型编号，即可开启与 DeepSeek 命令行对话，如下图所示： image

注意事项：

（1）脚本存放在家目录下，即：/home/ubuntu 路径下，名为: run_ds.sh，请勿删除。

（2）使用交互式方式进行选择模型、设置端口、API 密钥 等参数；若需要修改相关参数，请自行输入即可。

（3）如有本地自定义模型库，可修改脚本中这个环境变量参数:

需要自定义挂载数据云盘，默认将模型下载到数据盘内，不占用系统盘空间

  MODELS_DIR="/data/deepseek-ai/"

修改为

  MODELS_DIR=="自定义模型库绝对路径"

2.1.2 Web可视化方式运行

（1）按照2.1.1步骤启动服务。

（2）点击云服务器ID：

image

（3）新增自定义端口：

image

（4）设置地址与端口：

源地址：0.0.0.0/0，端口：自定义或者服务对应的默认端口。例如：open-webui默认端口：8088，vllm默认端口：6006

image

（5）回到云服务器界面，复制外网IP。

（6）打开本地浏览器，输入”IP地址:端口号”如”xx.xxx.xxx.xxx:6006”（若自定义端口则输入：“xx.xxx.xxx.xxx:自定义端口”）。

注：首次登录需要先注册管理员账号。

默认web界面为中文

登录管理员账号后，根据自行选择，设置新用户注册，具体流程如下：

image

image

###2.2 对外访问

2.2.1 启动服务

（1）执行命令deepseek启动服务

  deepseek

（2）根据提示，输入【2】，选择”对外访问”。

image

（3）输入对应的模型编号，选择使用的模型。

（4）首先输入主机地址为：0.0.0.0，其次端口号、API密钥，可直接回车则系统自动配置成默认端口和API密钥。

注：当前密钥仅对当前服务有效，如果重启服务或关机，则会失效。请谨慎重启和关机！

2.2.2 调用API

API 支持WebUI、ChatBox、Cherry-Studio等客户端，可自行选择工具使用。

2.2.2.1 Web可视化方式

（1）根据 2.1.2 ，创建外网地址与端口（与2.2.1自定义的外网地址与端口号不同），打开浏览器配置粘贴 “外网地址及端口”。

（2）在界面中选择”管理员面板”

image

（3） 选择”外部连接”——设置 -——开启 OpenAI-API

image

（4）配置相关API-KEY并验证，输入2.2.1中自定义的主机地址 和 端口、API 密钥。url格式：http://IP:端口号/v1 ， 如：http://127.0.0.1:6006/v1。

image

刷新开启新对话。

2.2.2.2 ChatBox调用方式（推荐）

本地下载ChatBox客户端，在界面中配置2.2.1自定义的主机地址、端口号、KEY。url格式：“http://IP:端口号/v1” ， 如：“http://127.0.0.1:6006/v1”。 输入2.2.1中选择的模型。即可开启对话。

image

image

2.2.2.3 Cherry Studio调用方式

本地下载Cherry Studio客户端，在界面中配置2.2.1自定义的主机地址、端口号、KEY，url格式：“http://IP:端口号/v1” ， 如：“http://127.0.0.1:6006/v1”。 输入2.2.1中选择的模型。即可开启对话。

image

image

2.2.2.4 AnythingLLM调用方式

本地下载AnythingLLM客户端，在界面中配置2.2.1自定义的主机地址、端口号、KEY，url格式：“http://公网IP:端口号/v1” ， 如： “http://127.0.0.1:6006/v1”。 输入2.2.1中选择的模型。即可开启对话。

image

image

Deepseek-R1-OllamaTensorBoard