Cohere

协同分词（Co.Tokenize）

开发环境

https://api.cohere.ai/v1

POST

https://api.cohere.ai/v1/tokenize

该接口使用字节对编码（BPE）将输入文本分割成称为标记的较小单元。要了解有关标记化和字节对编码的更多信息，请参阅标记页面。

请求示例

Shell

JavaScript

Java

Swift

curl --location --request POST 'https://api.cohere.ai/v1/tokenize' \
--header 'Content-Type: application/json' \
--data-raw '{
  "text": "tokenize me! :D",
  "model": "command"
}'

响应示例

{
  "tokens": [
    34160,
    974,
    514,
    34,
    1420,
    69
  ],
  "token_strings": [
    "token",
    "ize'",
    " me",
    "!",
    " :",
    "D"
  ],
  "meta": {
    "api_version": {
      "version": "1"
    }
  }
}

请求参数

Body 参数application/json

text

string

必需

待标记的字符串，最小文本长度为1个字符，最大文本长度为65536个字符。

model

string

可选

用于提供模型名称的可选参数。这将确保标记化使用该模型使用的标记器。

示例

返回响应

🟢200成功

application/json

Body

tokens

array[integer]

必需

token_strings

array[string]

必需