Skip to content
Toggle navigation
P
Projects
G
Groups
S
Snippets
Help
赵月辉
/
fastgpt-migrated
This project
Loading...
Sign in
Toggle navigation
Go to a project
Project
Repository
Issues
0
Merge Requests
0
Pipelines
Wiki
Snippets
Members
Activity
Graph
Charts
Create a new issue
Jobs
Commits
Issue Boards
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
Unverified
Commit
baee8cfe
authored
Aug 31, 2023
by
不做了睡大觉
Committed by
GitHub
Aug 31, 2023
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
私有化模型对接oneapi教程+镜像更新 (#237)
* chatglm2-m3e对接教程 * chatglm2docker部署+对接Oneapi * Update m3e.md
parent
0b0570fa
Hide whitespace changes
Inline
Side-by-side
Showing
3 changed files
with
167 additions
and
2 deletions
+167
-2
docSite/content/docs/custom-models/chatglm2-m3e.md
+111
-0
docSite/content/docs/custom-models/chatglm2.md
+55
-2
docSite/content/docs/custom-models/m3e.md
+1
-0
No files found.
docSite/content/docs/custom-models/chatglm2-m3e.md
0 → 100644
View file @
baee8cfe
---
title
:
'
接入
ChatGLM2-m3e
模型'
description
:
'
将
FastGPT
接入私有化模型
ChatGLM2和m3e-large'
icon
:
'
model_training'
draft
:
false
toc
:
true
weight
:
100
---
## 前言
FastGPT 默认使用了 openai 的 LLM模型和向量模型,如果想要私有化部署的话,可以使用 ChatGLM2 和 m3e-large 模型。以下是由用户@不做了睡大觉 提供的接入方法。
## 部署镜像
镜像名:
`stawky/chatglm2-m3e:latest`
国内镜像名:
`registry.cn-hangzhou.aliyuncs.com/fastgpt/chatglm2-m3e:latest`
端口号: 6006
镜像默认sk-key:
`sk-aaabbbcccdddeeefffggghhhiiijjjkkk`
## 接入 OneAPI
为chatglm2和m3e-large各添加一个渠道,参数如下:
!
[
](/imgs/model-m3e1.png)
这里我填入m3e作为向量模型,chatglm2作为语言模型
## 测试
curl 例子:
```
bash
curl
--location
--request
POST
'https://domain/v1/embeddings'
\
--header
'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk'
\
--header
'Content-Type: application/json'
\
--data-raw
'{
"model": "m3e",
"input": ["laf是什么"]
}'
```
```
bash
curl
--location
--request
POST
'https://domain/v1/chat/completions'
\
--header
'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk'
\
--header
'Content-Type: application/json'
\
--data-raw
'{
"model": "chatglm2",
"messages": [{"role": "user", "content": "Hello!"}]
}'
```
Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 OneAPI 填写的自定义模型。
## 接入 FastGPT
修改 config.json 配置文件,在 VectorModels 中加入 chatglm2和M3E 模型:
```
json
"ChatModels"
:
[
//已有模型
{
"model"
:
"chatglm2"
,
"name"
:
"chatglm2"
,
"contextMaxToken"
:
8000
,
"quoteMaxToken"
:
4000
,
"maxTemperature"
:
1.2
,
"price"
:
0
,
"defaultSystem"
:
""
}
],
"VectorModels"
:
[
{
"model"
:
"text-embedding-ada-002"
,
"name"
:
"Embedding-2"
,
"price"
:
0.2
,
"defaultToken"
:
500
,
"maxToken"
:
3000
},
{
"model"
:
"m3e"
,
"name"
:
"M3E(测试使用)"
,
"price"
:
0.1
,
"defaultToken"
:
500
,
"maxToken"
:
1800
}
],
```
## 测试使用
M3E 模型的使用方法如下:
1.
创建知识库时候选择 M3E 模型。
注意,一旦选择后,知识库将无法修改向量模型。
!
[
](/imgs/model-m3e2.png)
2.
导入数据
3.
搜索测试
!
[
](/imgs/model-m3e3.png)
4.
应用绑定知识库
注意,应用只能绑定同一个向量模型的知识库,不能跨模型绑定。并且,需要注意调整相似度,不同向量模型的相似度(距离)会有所区别,需要自行测试实验。
!
[
](/imgs/model-m3e4.png)
chatglm2 模型的使用方法如下:
模型选择chatglm2即可
\ No newline at end of file
docSite/content/docs/custom-models/chatglm2.md
View file @
baee8cfe
...
@@ -66,6 +66,59 @@ CHAT_API_KEY=sk-aaabbbcccdddeeefffggghhhiiijjjkkk # 这里是你在代码中配
...
@@ -66,6 +66,59 @@ CHAT_API_KEY=sk-aaabbbcccdddeeefffggghhhiiijjjkkk # 这里是你在代码中配
这样就成功接入 ChatGLM2-6B 了。
这样就成功接入 ChatGLM2-6B 了。
## 注意
## docker 部署
## 部署镜像
镜像名:
`stawky/chatglm2:latest`
国内镜像名:
`registry.cn-hangzhou.aliyuncs.com/fastgpt/chatglm2:latest`
端口号: 6006
镜像默认sk-key:
`sk-aaabbbcccdddeeefffggghhhiiijjjkkk`
## 接入 OneAPI
为chatglm2添加一个渠道,参数如下:
!
[
](/imgs/model-m3e1.png)
这里我填入chatglm2作为语言模型
## 测试
curl 例子:
```
bash
curl
--location
--request
POST
'https://domain/v1/chat/completions'
\
--header
'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk'
\
--header
'Content-Type: application/json'
\
--data-raw
'{
"model": "chatglm2",
"messages": [{"role": "user", "content": "Hello!"}]
}'
```
Authorization 为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk。model 为刚刚在 OneAPI 填写的自定义模型。
## 接入 FastGPT
修改 config.json 配置文件,在 VectorModels 中加入 chatglm2和M3E 模型:
```
json
"ChatModels"
:
[
//已有模型
{
"model"
:
"chatglm2"
,
"name"
:
"chatglm2"
,
"contextMaxToken"
:
8000
,
"quoteMaxToken"
:
4000
,
"maxTemperature"
:
1.2
,
"price"
:
0
,
"defaultSystem"
:
""
}
],
```
## 测试使用
chatglm2 模型的使用方法如下:
模型选择chatglm2即可
1.
docker 部署时,给的推荐配置是组网模型,无法连接到本地的网络,以为这无法请求 0.0.0.0:6006。可以使用 host 模式,或者将模型发布到服务器上,并通过 oneapi 引入该模型。
docSite/content/docs/custom-models/m3e.md
View file @
baee8cfe
...
@@ -14,6 +14,7 @@ FastGPT 默认使用了 openai 的 embedding 向量模型,如果你想私有
...
@@ -14,6 +14,7 @@ FastGPT 默认使用了 openai 的 embedding 向量模型,如果你想私有
## 部署镜像
## 部署镜像
镜像名:
`stawky/m3e-large-api:latest`
镜像名:
`stawky/m3e-large-api:latest`
国内镜像:
`registry.cn-guangzhou.aliyuncs.com/kbgpt/m3e-large-api:latest`
端口号: 6008
端口号: 6008
## 接入 OneAPI
## 接入 OneAPI
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment