Cohere

协同分词（Co.Tokenize）

POSThttps://api.cohere.ai/v1/tokenize

该接口使用字节对编码（BPE）将输入文本分割成称为标记的较小单元。要了解有关标记化和字节对编码的更多信息，请参阅标记页面。

请求参数

text

string

必需

待标记的字符串，最小文本长度为1个字符，最大文本长度为65536个字符。

model

string

可选

用于提供模型名称的可选参数。这将确保标记化使用该模型使用的标记器。

{
  "text": "tokenize me! :D",
  "model": "command"
}

示例代码

返回响应

成功(200)

HTTP 状态码: 200

内容格式: JSONapplication/json

tokens

array[integer]

必需

token_strings

array[string]

必需

meta

object

必需

api_version

object

必需

{
  "tokens": [
    34160,
    974,
    514,
    34,
    1420,
    69
  ],
  "token_strings": [
    "token",
    "ize'",
    " me",
    "!",
    " :",
    "D"
  ],
  "meta": {
    "api_version": {
      "version": "1"
    }
  }
}

最后修改时间： 1 年前