Skip to content
Toggle navigation
P
Projects
G
Groups
S
Snippets
Help
phsl
/
new-api
This project
Loading...
Sign in
Toggle navigation
Go to a project
Project
Repository
Issues
0
Merge Requests
0
Pipelines
Wiki
Snippets
Members
Activity
Graph
Charts
Create a new issue
Jobs
Commits
Issue Boards
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
Commit
5d4c5628
authored
Jul 19, 2024
by
CalciumIon
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
feat: update stream_options
parent
28397c5d
Hide whitespace changes
Inline
Side-by-side
Showing
2 changed files
with
14 additions
and
8 deletions
+14
-8
README.md
+6
-6
relay/relay-text.go
+8
-2
No files found.
README.md
View file @
5d4c5628
...
@@ -58,12 +58,12 @@
...
@@ -58,12 +58,12 @@
您可以在渠道中添加自定义模型gpt-4-gizmo-
*
,此模型并非OpenAI官方模型,而是第三方模型,使用官方key无法调用。
您可以在渠道中添加自定义模型gpt-4-gizmo-
*
,此模型并非OpenAI官方模型,而是第三方模型,使用官方key无法调用。
## 比原版One API多出的配置
## 比原版One API多出的配置
-
`STREAMING_TIMEOUT`
:设置流式一次回复的超时时间,默认为 30 秒
-
`STREAMING_TIMEOUT`
:设置流式一次回复的超时时间,默认为 30 秒
。
-
`DIFY_DEBUG`
:设置 Dify 渠道是否输出工作流和节点信息到客户端,默认为
`true`
-
`DIFY_DEBUG`
:设置 Dify 渠道是否输出工作流和节点信息到客户端,默认为
`true`
。
-
`FORCE_STREAM_OPTION`
:是否覆盖客户端stream_options参数,请求上游返回流模式usage,默认为
`true`
-
`FORCE_STREAM_OPTION`
:是否覆盖客户端stream_options参数,请求上游返回流模式usage,默认为
`true`
,建议开启,不影响客户端传入stream_options参数返回结果。
-
`GET_MEDIA_TOKEN`
:是统计图片token,默认为
`true`
,关闭后将不再在本地计算图片token,可能会导致和上游计费不同,此项覆盖
`GET_MEDIA_TOKEN_NOT_STREAM`
选项作用
,
-
`GET_MEDIA_TOKEN`
:是统计图片token,默认为
`true`
,关闭后将不再在本地计算图片token,可能会导致和上游计费不同,此项覆盖
`GET_MEDIA_TOKEN_NOT_STREAM`
选项作用
。
-
`GET_MEDIA_TOKEN_NOT_STREAM`
:是否在非流(
`stream=false`
)情况下统计图片token,默认为
`true`
-
`GET_MEDIA_TOKEN_NOT_STREAM`
:是否在非流(
`stream=false`
)情况下统计图片token,默认为
`true`
。
-
`UPDATE_TASK`
:是否更新异步任务(Midjourney、Suno),默认为
`true`
,关闭后将不会更新任务进度
-
`UPDATE_TASK`
:是否更新异步任务(Midjourney、Suno),默认为
`true`
,关闭后将不会更新任务进度
。
## 部署
## 部署
### 部署要求
### 部署要求
...
...
relay/relay-text.go
View file @
5d4c5628
...
@@ -130,6 +130,12 @@ func TextHelper(c *gin.Context) *dto.OpenAIErrorWithStatusCode {
...
@@ -130,6 +130,12 @@ func TextHelper(c *gin.Context) *dto.OpenAIErrorWithStatusCode {
return
openaiErr
return
openaiErr
}
}
includeUsage
:=
false
// 判断用户是否需要返回使用情况
if
textRequest
.
StreamOptions
!=
nil
&&
textRequest
.
StreamOptions
.
IncludeUsage
{
includeUsage
=
true
}
// 如果不支持StreamOptions,将StreamOptions设置为nil
// 如果不支持StreamOptions,将StreamOptions设置为nil
if
!
relayInfo
.
SupportStreamOptions
||
!
textRequest
.
Stream
{
if
!
relayInfo
.
SupportStreamOptions
||
!
textRequest
.
Stream
{
textRequest
.
StreamOptions
=
nil
textRequest
.
StreamOptions
=
nil
...
@@ -142,8 +148,8 @@ func TextHelper(c *gin.Context) *dto.OpenAIErrorWithStatusCode {
...
@@ -142,8 +148,8 @@ func TextHelper(c *gin.Context) *dto.OpenAIErrorWithStatusCode {
}
}
}
}
if
textRequest
.
StreamOptions
!=
nil
&&
textRequest
.
StreamOptions
.
I
ncludeUsage
{
if
i
ncludeUsage
{
relayInfo
.
ShouldIncludeUsage
=
t
extRequest
.
StreamOptions
.
IncludeUsag
e
relayInfo
.
ShouldIncludeUsage
=
t
ru
e
}
}
adaptor
:=
GetAdaptor
(
relayInfo
.
ApiType
)
adaptor
:=
GetAdaptor
(
relayInfo
.
ApiType
)
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment