自动补全 - UniAPI API Doc

请求参数

Authorization

在 Header 添加参数

Authorization

，其值为在 Bearer 之后拼接 Token

示例：

Authorization: Bearer ********************

Body 参数application/json

model

要使用的模型ID。

必需

Any of

string

prompt

必需

用于生成补全的提示，编码为字符串、字符串数组、标记数组或标记数组的数组。

请注意，<|endoftext|> 是模型在训练期间看到的文档分隔符，因此如果未指定提示，模型将像从新文档的开头开始生成一样。

One of

allOf {2}

One of

null

string

用于生成补全的提示，编码为字符串、字符串数组、标记数组或标记数组的数组。

请注意，<|endoftext|> 是模型在训练期间看到的文档分隔符，因此如果未指定提示，模型将像从新文档的开头开始生成一样。

默认值:

<|endoftext|>

best_of

integer | null

可选

在服务器端生成 best_of 个完成结果，并返回“最佳”的一个（每个标记的对数概率最高）。结果不能被流式传输。

当与 n 一起使用时，best_of 控制候选完成的数量，n 指定返回的数量——best_of 必须大于 n。

注意：由于此参数会生成许多完成结果，可能会迅速消耗您的令牌配额。请谨慎使用，并确保对 max_tokens 和 stop 有合理的设置。

>= 0<= 20

默认值:

1

echo

boolean | null

可选

回显提示以及完成内容

默认值:

false

frequency_penalty

number | null

可选

介于 -2.0 和 2.0 之间的数字。正值会根据新令牌在文本中已有的频率对其进行惩罚，从而降低模型逐字重复相同行的可能性。

>= -2<= 2

默认值:

0

logit_bias

object | null

可选

修改指定标记在完成中出现的可能性。

接受一个 JSON 对象，该对象将标记（由 GPT 分词器中的标记 ID 指定）映射到一个关联的偏差值，范围从 -100 到 100。您可以使用此tokenizer 工具将文本转换为标记 ID。从数学上讲，偏差值会被加到模型生成的 logits 上，然后再进行采样。具体效果因模型而异，但介于 -1 和 1 之间的值应会减少或增加选择的可能性；像 -100 或 100 这样的值应导致相关标记被禁止或被专门选择。

例如，您可以传递 {"50256": -100} 来防止生成 <|endoftext|> 标记。

默认值:

null

额外字段

integer

可选

logprobs

integer | null

可选

包括 logprobs 最可能输出的标记的对数概率，以及所选择的标记。例如，如果 logprobs 是 5，API 将返回一个包含 5 个最可能标记的列表。API 始终会返回采样标记的 logprob，因此响应中最多可能包含 logprobs+1 个元素。

logprobs 的最大值为 5。

>= 0<= 5

默认值:

null

max_tokens

integer | null

可选

完成中可以生成的最大token数量。

您的提示的令牌数加上max_tokens不能超过模型的上下文长度。计数令牌的Python示例代码。

>= 0

默认值:

16

示例值:

16

n

integer | null

可选

为每个提示生成多少个完成。

注意：由于此参数会生成许多完成，可能会迅速消耗您的令牌配额。请谨慎使用，并确保您对 max_tokens 和 stop 有合理的设置。

>= 1<= 128

默认值:

1

示例值:

1

presence_penalty

number | null

可选

介于 -2.0 和 2.0 之间的数字。正值会根据新标记是否出现在当前文本中对其进行惩罚，从而增加模型谈论新话题的可能性。

>= -2<= 2

默认值:

0

seed

integer <int64> | null

可选

如果指定，我们的系统将尽最大努力进行确定性采样，以便使用相同的 seed 和参数的重复请求应返回相同的结果。

确定性不保证，您应参考 system_fingerprint 响应参数以监控后端的变化。

stop

StopConfiguration

可选

不支持最新的推理模型 o3 和 o4-mini。

最多支持4个序列，API将在这些序列处停止生成更多的标记。

返回的文本将不包含停止序列。

One of

null

allOf {2}

默认值:

<|endoftext|>

示例值:

stream

boolean | null

可选

是否流式返回部分进度。如果设置，令牌将在可用时作为仅数据的服务器发送事件发送，流以data: [DONE]消息终止。示例Python代码。

默认值:

false

stream_options

object (ChatCompletionStreamOptions) | null

可选

流式响应的选项。仅在设置 stream: true 时设置此项。

默认值:

null

include_usage

boolean

可选

如果设置了，在 data: [DONE] 消息之前会额外流式传输一个块。该块上的 usage 字段显示整个请求的令牌使用统计信息，choices 字段将始终是一个空数组。

所有其他块也将包含一个 usage 字段，但其值为 null。注意：如果流被中断，您可能无法收到包含请求总令牌使用量的最终使用块。

suffix

string | null

可选

插入文本完成后附加的后缀。

此参数仅支持 gpt-3.5-turbo-instruct。

默认值:

null

示例值:

test.

temperature

number | null

可选

使用什么采样温度，范围在0到2之间。较高的值如0.8会使输出更随机，而较低的值如0.2会使其更集中和确定。

我们通常建议调整这个参数或top_p，但不要同时调整两者。

>= 0<= 2

默认值:

1

示例值:

1

top_p

number | null

可选

一种替代温度采样的方法，称为核采样，其中模型只考虑具有 top_p 概率质量的标记结果。因此，0.1 意味着只考虑构成前 10% 概率质量的标记。

我们通常建议更改此参数或 temperature，但不要同时更改两者。

>= 0<= 1

默认值:

1

示例值:

1

user

string

可选

表示您的终端用户的唯一标识符，有助于 OpenAI 监控和检测滥用行为。

示例值:

user-1234

示例

{
    "model": "string",
    "prompt": "",
    "best_of": 1,
    "echo": false,
    "frequency_penalty": 0,
    "logit_bias": null,
    "logprobs": null,
    "max_tokens": 16,
    "n": 1,
    "presence_penalty": 0,
    "seed": 0,
    "stop": "<|endoftext|>",
    "stream": false,
    "stream_options": null,
    "suffix": null,
    "temperature": 1,
    "top_p": 1,
    "user": "user-1234"
}

示例代码

Shell

JavaScript

Java

Swift

Go

PHP

Python

HTTP

C

C#

Objective-C

Ruby

OCaml

Dart

R

curl --location --request POST 'https://api.uniapi.io/v1/completions' \
--header 'Content-Type: application/json' \
--data-raw '{
    "model": "string",
    "prompt": "",
    "best_of": 1,
    "echo": false,
    "frequency_penalty": 0,
    "logit_bias": null,
    "logprobs": null,
    "max_tokens": 16,
    "n": 1,
    "presence_penalty": 0,
    "seed": 0,
    "stop": "<|endoftext|>",
    "stream": false,
    "stream_options": null,
    "suffix": null,
    "temperature": 1,
    "top_p": 1,
    "user": "user-1234"
}'

返回响应

🟢200成功

application/json

OK

Body

表示来自API的完成响应。注意：流式和非流式响应对象具有相同的结构（与聊天端点不同）。

id

string

完成的唯一标识符。

必需

choices

array [object {4}]

必需

模型为输入提示生成的完成选项列表。

finish_reason

enum<string>

必需

模型停止生成标记的原因。如果模型达到自然停止点或提供的停止序列，则为stop，

如果达到请求中指定的最大标记数，则为length，

如果由于我们的内容过滤器的标记而省略了内容，则为content_filter。

枚举值:

stoplengthcontent_filter

index

integer

必需

logprobs

object | null

必需

text

string

必需

created

integer

必需

完成创建时的Unix时间戳（以秒为单位）。

model

string

用于完成的模型。

必需

system_fingerprint

string

可选

此指纹表示模型运行时的后端配置。

可以与 seed 请求参数结合使用，以了解何时后端发生了可能影响确定性的更改。

object

enum<string>

必需

对象类型，始终为“text_completion”

枚举值:

text_completion

usage

object (CompletionUsage)

可选

完成请求的使用统计数据。

completion_tokens

integer

必需

生成的完成内容中的标记数量。

默认值:

0

prompt_tokens

integer

提示中的标记数量。

必需

默认值:

0

total_tokens

integer

必需

请求中使用的令牌总数（提示 + 完成）。

默认值:

0

completion_tokens_details

object

可选

完成中使用的标记细分。

prompt_tokens_details

object

可选

提示中使用的令牌细分。

示例

{
    "id": "string",
    "choices": [
        {
            "finish_reason": "stop",
            "index": 0,
            "logprobs": {
                "text_offset": [
                    0
                ],
                "token_logprobs": [
                    0
                ],
                "tokens": [
                    "string"
                ],
                "top_logprobs": [
                    {
                        "property1": 0,
                        "property2": 0
                    }
                ]
            },
            "text": "string"
        }
    ],
    "created": 0,
    "model": "string",
    "system_fingerprint": "string",
    "object": "text_completion",
    "usage": {
        "completion_tokens": 0,
        "prompt_tokens": 0,
        "total_tokens": 0,
        "completion_tokens_details": {
            "accepted_prediction_tokens": 0,
            "audio_tokens": 0,
            "reasoning_tokens": 0,
            "rejected_prediction_tokens": 0
        },
        "prompt_tokens_details": {
            "audio_tokens": 0,
            "cached_tokens": 0
        }
    }
}