协同生成(Co.Generate)
POST
https://api.cohere.ai/v1/generate该接口根据给定的输入生成真实的文本。
请求参数
模型将作为响应的一部分生成的最大令牌数。注意:设置较低的值可能会导致生成不完整。
默认为20
. 有关更多详细信息,请参阅BPE 代币。
只能设置为0
ifreturn_likelihoods
设置为ALL
才能得到提示的可能性。
其中之一NONE|START|END
指定 API 如何处理长于最大令牌长度的输入。 传递START
将丢弃输入的开头。END
将丢弃输入的末尾。在这两种情况下,输入都会被丢弃,直到剩余输入恰好是模型的最大输入标记长度。 如果NONE
选择,当输入超过最大输入令牌长度时,将返回错误。 默认:END
其中之一GENERATION|ALL|NONE
指定如何以及是否随响应返回令牌可能性。默认为NONE
. 如果GENERATION
选择,则只会为生成的文本提供标记可能性。 如果ALL
选择,将为提示和生成的文本提供标记可能性。 默认:NONE
作为生成响应的起点的输入文本。 注意:在到达模型之前,提示将被预处理和修改。
要生成的模型的标识符。当前可用的模型有command
(默认)、command-nightly
(实验)、command-light
和command-light-nightly
(实验)。 较小的“轻型”模型速度更快,而较大的模型性能更好。定制模型也可以提供完整的 ID。
将返回的最大代数。默认为1
、最小值1
、最大值5
。
当 时true
,响应将是 JSON 事件流。流式传输对于在生成响应时逐段呈现响应内容的用户界面非常有利。 最终事件将包含完整的响应,并将包含一个is_finished
设置为 的字段true
。该事件还将包含finish_reason
,它可以是以下之一: - COMPLETE
- 模型发回完成的回复 - MAX_TOKENS
- 回复被切断,因为模型达到了其上下文长度的最大标记数 - ERROR
- 生成回复时出现问题 - ERROR_TOXIC
- 模型生成的回复被视为有毒
一个非负浮点数,用于调整生成的随机程度。较低的温度意味着较少的随机世代。有关详细信息,请参阅温度。 默认为0.75
、最小值0.0
、最大值5.0
。
自定义预设的标识符。预设是提示、温度等参数的组合。您可以在 Playground 中创建预设。 指定预设后,该prompt
参数将变为可选,并且任何包含的参数都将覆盖预设的参数。
生成的文本将在最早出现的结束序列的开头被剪切。该序列将从文本中排除。
生成的文本将在最早出现的停止序列的末尾被剪切。该序列将包含在文本中。
确保k
在每一步中仅考虑最有可能的令牌进行生成。 默认为0
、最小值0
、最大值500
。
确保只有最有可能的标记(总概率质量为p
)才被考虑用于每一步的生成。如果k
和p
均已启用,p
则在 后执行k
。 默认为0
. 的最小值0.01
, 的最大值0.99
。
用于减少生成令牌的重复性。值越高,对先前存在的令牌施加的惩罚就越强,与它们在提示或上一代中已经出现的次数成正比。
默认为0.0
、最小值0.0
、最大值1.0
。可用于减少生成令牌的重复性。与 类似frequency_penalty
,只不过此惩罚同等地应用于所有已经出现的标记,无论其确切频率如何。
用于防止模型生成不需要的令牌或激励模型包含所需的令牌。格式是{token_id: bias}
偏差是 -10 到 10 之间的浮点数。可以使用Tokenize从文本中获取令牌。 例如,如果{'11': -10}
提供了该值,则模型将不太可能在生成的文本中的任何位置包含标记 11("\n"
换行符)。相反,{'11': 10}
将导致几乎只包含该令牌的世代。-10 到 10 之间的值将按比例影响标记出现在生成的文本中的可能性。 注意:并非所有自定义模型都支持 Logit 偏差。
{
"max_tokens": 20,
"truncate": "END",
"return_likelihoods": "NONE"
}
示例代码
返回响应
{
"id": "string",
"prompt": "string",
"generations": [
{
"id": "string",
"text": "string",
"index": 0,
"likelihood": 0,
"token_likelihoods": [
{
"token": "string",
"likelihood": 0
}
]
}
],
"meta": {
"api_version": {
"version": "string",
"is_deprecated": true,
"is_experimental": true
},
"warnings": [
"string"
]
}
}