Skip to content

赵月辉 / fastgpt-migrated

Go to a project
Commit e1aa0688 by heheer Committed by archer
Options

ai proxy docker compose & doc (#3947)

parent e98d6f1d
Showing with 239 additions and 134 deletions
deploy/docker/docker-compose-milvus.yml
......@@ -137,6 +137,10 @@ services:
- FE_DOMAIN=
# root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
- DEFAULT_ROOT_PSW=1234
# AI Proxy 的地址，如果配了该地址，优先使用
- AIPROXY_API_ENDPOINT=http://aiproxy:3000
# AI Proxy 的 Admin Token，与 AI Proxy 中的环境变量 ADMIN_KEY
- AIPROXY_API_TOKEN=aiproxy
# AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
- OPENAI_BASE_URL=http://oneapi:3000/v1
# AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
......@@ -170,48 +174,49 @@ services:
volumes:
- ./config.json:/app/data/config.json
# oneapi
mysql:
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
# image: mysql:8.0.36
container_name: mysql
restart: always
# AI Proxy
aiproxy:
image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
container_name: aiproxy
restart: unless-stopped
depends_on:
pgsql:
condition: service_healthy
ports:
- 3306:3306
- '3002:3000/tcp'
networks:
- fastgpt
command: --default-authentication-plugin=mysql_native_password
environment:
# 默认root密码，仅首次运行有效
MYSQL_ROOT_PASSWORD: oneapimmysql
MYSQL_DATABASE: oneapi
- ADMIN_KEY=aiproxy # 对应 fastgpt 里的AIPROXY_API_TOKEN
- LOG_DETAIL_STORAGE_HOURS=1 # 日志详情保存时间（小时）
- TZ=Asia/Shanghai
- SQL_DSN=postgres://postgres:aiproxy@pgsql:5432/aiproxy
- DISABLE_MODEL_CONFIG=true
healthcheck:
test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
interval: 5s
timeout: 5s
retries: 10
# AI Proxy
pgsql:
# image: "postgres:latest"
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
restart: unless-stopped
container_name: pgsql
volumes:
- ./mysql:/var/lib/mysql
oneapi:
container_name: oneapi
image: ghcr.io/songquanpeng/one-api:v0.6.7
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
ports:
- 3001:3000
depends_on:
- mysql
- ./pgsql:/var/lib/postgresql/data
networks:
- fastgpt
restart: always
environment:
# mysql 连接参数
- SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
# 登录凭证加密密钥
- SESSION_SECRET=oneapikey
# 内存缓存
- MEMORY_CACHE_ENABLED=true
# 启动聚合更新，减少数据交互频率
- BATCH_UPDATE_ENABLED=true
# 聚合更新时长
- BATCH_UPDATE_INTERVAL=10
# 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
- INITIAL_ROOT_TOKEN=fastgpt
volumes:
- ./oneapi:/data
TZ: Asia/Shanghai
POSTGRES_USER: postgres
POSTGRES_DB: aiproxy
POSTGRES_PASSWORD: aiproxy
healthcheck:
test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
interval: 5s
timeout: 5s
retries: 10
networks:
fastgpt:
deploy/docker/docker-compose-pgvector.yml
......@@ -95,6 +95,10 @@ services:
- FE_DOMAIN=
# root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
- DEFAULT_ROOT_PSW=1234
# AI Proxy 的地址，如果配了该地址，优先使用
- AIPROXY_API_ENDPOINT=http://aiproxy:3000
# AI Proxy 的 Admin Token，与 AI Proxy 中的环境变量 ADMIN_KEY
- AIPROXY_API_TOKEN=aiproxy
# AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
- OPENAI_BASE_URL=http://oneapi:3000/v1
# AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
......@@ -127,48 +131,49 @@ services:
volumes:
- ./config.json:/app/data/config.json
# oneapi
mysql:
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
image: mysql:8.0.36
container_name: mysql
restart: always
# AI Proxy
aiproxy:
image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
container_name: aiproxy
restart: unless-stopped
depends_on:
pgsql:
condition: service_healthy
ports:
- 3306:3306
- '3002:3000/tcp'
networks:
- fastgpt
command: --default-authentication-plugin=mysql_native_password
environment:
# 默认root密码，仅首次运行有效
MYSQL_ROOT_PASSWORD: oneapimmysql
MYSQL_DATABASE: oneapi
- ADMIN_KEY=aiproxy # 对应 fastgpt 里的AIPROXY_API_TOKEN
- LOG_DETAIL_STORAGE_HOURS=1 # 日志详情保存时间（小时）
- TZ=Asia/Shanghai
- SQL_DSN=postgres://postgres:aiproxy@pgsql:5432/aiproxy
- DISABLE_MODEL_CONFIG=true
healthcheck:
test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
interval: 5s
timeout: 5s
retries: 10
# AI Proxy
pgsql:
# image: "postgres:latest"
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
restart: unless-stopped
container_name: pgsql
volumes:
- ./mysql:/var/lib/mysql
oneapi:
container_name: oneapi
image: ghcr.io/songquanpeng/one-api:v0.6.7
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
ports:
- 3001:3000
depends_on:
- mysql
- ./pgsql:/var/lib/postgresql/data
networks:
- fastgpt
restart: always
environment:
# mysql 连接参数
- SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
# 登录凭证加密密钥
- SESSION_SECRET=oneapikey
# 内存缓存
- MEMORY_CACHE_ENABLED=true
# 启动聚合更新，减少数据交互频率
- BATCH_UPDATE_ENABLED=true
# 聚合更新时长
- BATCH_UPDATE_INTERVAL=10
# 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
- INITIAL_ROOT_TOKEN=fastgpt
volumes:
- ./oneapi:/data
TZ: Asia/Shanghai
POSTGRES_USER: postgres
POSTGRES_DB: aiproxy
POSTGRES_PASSWORD: aiproxy
healthcheck:
test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
interval: 5s
timeout: 5s
retries: 10
networks:
fastgpt:
deploy/docker/docker-compose-zilliz.yml
......@@ -75,6 +75,10 @@ services:
- FE_DOMAIN=
# root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
- DEFAULT_ROOT_PSW=1234
# AI Proxy 的地址，如果配了该地址，优先使用
- AIPROXY_API_ENDPOINT=http://aiproxy:3000
# AI Proxy 的 Admin Token，与 AI Proxy 中的环境变量 ADMIN_KEY
- AIPROXY_API_TOKEN=aiproxy
# AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
- OPENAI_BASE_URL=http://oneapi:3000/v1
# AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
......@@ -108,48 +112,49 @@ services:
volumes:
- ./config.json:/app/data/config.json
# oneapi
mysql:
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
# image: mysql:8.0.36
container_name: mysql
restart: always
# AI Proxy
aiproxy:
image: 'ghcr.io/labring/sealos-aiproxy-service:latest'
container_name: aiproxy
restart: unless-stopped
depends_on:
pgsql:
condition: service_healthy
ports:
- 3306:3306
- '3002:3000/tcp'
networks:
- fastgpt
command: --default-authentication-plugin=mysql_native_password
environment:
# 默认root密码，仅首次运行有效
MYSQL_ROOT_PASSWORD: oneapimmysql
MYSQL_DATABASE: oneapi
- ADMIN_KEY=aiproxy # 对应 fastgpt 里的AIPROXY_API_TOKEN
- LOG_DETAIL_STORAGE_HOURS=1 # 日志详情保存时间（小时）
- TZ=Asia/Shanghai
- SQL_DSN=postgres://postgres:aiproxy@pgsql:5432/aiproxy
- DISABLE_MODEL_CONFIG=true
healthcheck:
test: ['CMD', 'curl', '-f', 'http://localhost:3000/api/status']
interval: 5s
timeout: 5s
retries: 10
# AI Proxy
pgsql:
# image: "postgres:latest"
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
restart: unless-stopped
container_name: pgsql
volumes:
- ./mysql:/var/lib/mysql
oneapi:
container_name: oneapi
image: ghcr.io/songquanpeng/one-api:v0.6.7
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
ports:
- 3001:3000
depends_on:
- mysql
- ./pgsql:/var/lib/postgresql/data
networks:
- fastgpt
restart: always
environment:
# mysql 连接参数
- SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
# 登录凭证加密密钥
- SESSION_SECRET=oneapikey
# 内存缓存
- MEMORY_CACHE_ENABLED=true
# 启动聚合更新，减少数据交互频率
- BATCH_UPDATE_ENABLED=true
# 聚合更新时长
- BATCH_UPDATE_INTERVAL=10
# 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
- INITIAL_ROOT_TOKEN=fastgpt
volumes:
- ./oneapi:/data
TZ: Asia/Shanghai
POSTGRES_USER: postgres
POSTGRES_DB: aiproxy
POSTGRES_PASSWORD: aiproxy
healthcheck:
test: ['CMD', 'pg_isready', '-U', 'postgres', '-d', 'aiproxy']
interval: 5s
timeout: 5s
retries: 10
networks:
fastgpt:
docSite/content/zh-cn/docs/development/docker.md
......@@ -195,15 +195,7 @@ sleep 10
docker restart oneapi
```
### 4. 打开 OneAPI 添加模型
可以通过`ip:3001`访问OneAPI，默认账号为`root`密码为`123456`。
在OneApi中添加合适的AI模型渠道。[点击查看相关教程](/docs/development/modelconfig/one-api/)
只需要添加模型即可，模板已经配置好了oneapi的连接地址和令牌，无需变更。
### 5. 访问 FastGPT
### 4. 访问 FastGPT
目前可以通过 `ip:3000` 直接访问(注意防火墙)。登录用户名为 `root`，密码为`docker-compose.yml`环境变量里设置的 `DEFAULT_ROOT_PSW`。
......@@ -211,9 +203,11 @@ docker restart oneapi
首次运行，会自动初始化 root 用户，密码为 `1234`（与环境变量中的`DEFAULT_ROOT_PSW`一致），日志里会提示一次`MongoServerError: Unable to read from a snapshot due to pending collection catalog changes;`可忽略。
### 6. 配置模型
### 5. 配置模型
登录FastGPT后，进入“模型提供商”页面，首先配置模型渠道，[点击查看相关教程](/docs/development/modelconfig/ai-proxy)
登录FastGPT后，进入模型配置页面，务必先配置至少一个语言模型和一个向量模型，否则系统无法正常使用。
然后配置具体模型，务必先配置至少一个语言模型和一个向量模型，否则系统无法正常使用。
[点击查看模型配置教程](/docs/development/modelConfig/intro/)
......
docSite/content/zh-cn/docs/development/modelConfig/ai-proxy.md 0 → 100644
---
title: '通过 AI Proxy 接入模型'
description: '通过 AI Proxy 接入模型'
icon: 'api'
draft: false
toc: true
weight: 744
---
从 FastGPT 4.8.23 版本开始，引入 AI Proxy 来进一步方便模型的配置。
AI Proxy 与 One API 类似，也是作为一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。
## 部署
### Docker 版本
`docker-compose.yml` 文件已加入了 AI Proxy 配置，可直接使用。
## 基础使用
### 1. 创建渠道
如果 FastGPT 的环境变量中，设置了 AIPROXY_API_ENDPOINT 的值，那么在“模型提供商”的配置页面，会多出两个 tab，可以直接在 FastGPT 平台上配置模型渠道，以及查看模型实际调用日志。
![aiproxy1](/imgs/aiproxy-1.png)
点击右上角的“新增渠道”，即可进入渠道配置页面
![aiproxy2](/imgs/aiproxy-2.png)
以阿里云的模型为例，进行如下配置
![aiproxy3](/imgs/aiproxy-3.png)
1. 渠道名：展示在外部的渠道名称，仅作标识;
2. 厂商：模型对应的厂商，不同厂商对应不同的默认地址和 API 密钥格式;
3. 模型：当前渠道具体可以使用的模型，系统内置了主流的一些模型，如果下拉框中没有想要的选项，可以点击“新增模型”，[增加自定义模型](/docs/development/modelconfig/intro/#新增自定义模型);
4. 模型映射：将 FastGPT 请求的模型，映射到具体提供的模型上；
5. 代理地址：具体请求的地址，系统给每个主流渠道配置了默认的地址，如果无需改动则不用填
6. API 密钥：从模型厂商处获取的 API 凭证
最后点击“新增”，就能在“模型渠道”下看到刚刚配置的渠道
![aiproxy4](/imgs/aiproxy-4.png)
### 2. 渠道测试
然后可以对渠道进行测试，确保配置的模型有效
![aiproxy5](/imgs/aiproxy-5.png)
点击“模型测试”，可以看到配置的模型列表，点击“开始测试”
![aiproxy6](/imgs/aiproxy-6.png)
等待模型测试完成后，会输出每个模型的测试结果以及请求时长
![aiproxy7](/imgs/aiproxy-7.png)
### 3. 启用模型
最后在“模型配置”中，可以选择启用对应的模型，这样就能在平台中使用了
![aiproxy8](/imgs/aiproxy-8.png)
## 渠道设置
### 优先级
在 FastGPT 中，可以给渠道设置优先级，对于同样的模型，优先级越高的渠道会越优先请求
![aiproxy9](/imgs/aiproxy-9.png)
### 启用/禁用
在渠道右侧的控制菜单中，还可以控制渠道的启用或禁用，被禁用的渠道将无法再提供模型服务
![aiproxy10](/imgs/aiproxy-10.png)
### 调用日志
在 “调用日志” 页面，会展示发送到模型处的请求记录，包括具体的输入输出 tokens、请求时间、请求耗时、请求地址等等
![aiproxy11](/imgs/aiproxy-11.png)
## 如何从 OneAPI 迁移到 AI Proxy
可以从任意终端，发起 1 个 HTTP 请求。其中 {{host}} 替换成 AI Proxy 地址，{{admin_key}} 替换成 AI Proxy 中 ADMIN_KEY 的值，参数 dsn 为 OneAPI 的 mysql 连接串
```bash
curl --location --request POST '{{host}}/api/channels/import/oneapi' \
--header 'Authorization: Bearer {{admin_key}}' \
--header 'Content-Type: application/json' \
--data-raw '{
"dsn": "mysql://root:s5mfkwst@tcp(dbconn.sealoshzh.site:33123)/mydb"
}'
```
执行成功的情况下会返回 "success": true
脚本目前不是完全准，可能会有部分渠道遗漏，还需要手动再检查下
\ No newline at end of file
docSite/content/zh-cn/docs/development/modelConfig/intro.md
......@@ -13,9 +13,15 @@ weight: 744
## 配置模型
### 1. 使用 OneAPI 对接模型提供商
### 1. 对接模型提供商
可以使用 [OneAPI 接入教程](/docs/development/modelconfig/one-api) 来进行模型聚合，从而可以对接更多模型提供商。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下：
#### AI Proxy
从 4.8.23 版本开始， FastGPT 支持在页面上配置模型提供商，即使用 [AI Proxy 接入教程](/docs/development/modelconfig/ai-proxy) 来进行模型聚合，从而可以对接更多模型提供商。
#### One API
也可以使用 [OneAPI 接入教程](/docs/development/modelconfig/one-api)。你需要先在各服务商申请好 API 接入 OneAPI 后，才能在 FastGPT 中使用这些模型。示例流程如下：
![alt text](/imgs/image-95.png)
......@@ -28,17 +34,7 @@ weight: 744
在 OneAPI 配置好模型后，你就可以打开 FastGPT 页面，启用对应模型了。
### 2. 登录 root 用户
仅 root 用户可以进行模型配置。
### 3. 进入模型配置页面
登录 root 用户后，在`账号-模型提供商-模型配置`中，你可以看到所有内置的模型和自定义模型，以及哪些模型启用了。
![alt text](/image-90.png)
### 4. 配置介绍
### 2. 配置介绍
{{% alert icon="🤖 " context="success" %}}
注意：
......
docSite/content/zh-cn/docs/development/modelConfig/one-api.md
......@@ -20,10 +20,6 @@ FastGPT 目前采用模型分离的部署方案，FastGPT 中只兼容 OpenAI
## 部署
### Docker 版本
`docker-compose.yml` 文件已加入了 OneAPI 配置，可直接使用。默认暴露在 3001 端口。
### Sealos 版本
* 北京区: [点击部署 OneAPI](https://hzh.sealos.run/?openapp=system-template%3FtemplateName%3Done-api)
......
docSite/content/zh-cn/docs/development/modelConfig/siliconCloud.md
......@@ -35,7 +35,7 @@ CHAT_API_KEY=sk-xxxxxx
![alt text](/imgs/image-104.png)
## 5. 体验测试
## 4. 体验测试
### 测试对话和图片识别
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or sign in to comment