Skip to main content

FAQ

收集和整理各个 MAAS Provider 的 API 问题

tip
  • tool call 缓存实际是缓存的 schema+描述 等
encn
Guardrails护栏（安全与合规边界过滤）
Turn轮次（对话中的一问一答）
Step步骤（Agent 执行任务的推演动作或操作）
Thread线索 / 话题流（维护独立上下文的对话分支）
Conversation对话
Session会话（持续交互的状态与生命周期）
Prompt提示词 / 提示语
Token词元 / Token
Context Window上下文窗口
Hallucination幻觉（模型生成看似合理但实质错误的内容）
Grounding事实锚定 / 溯源 / 接地（通过引入外部权威数据限制幻觉）
Agent智能体 / 代理
Alignment价值对齐（让大模型行为符合人类意图和价值观规则）
Persona角色设定 / 人设
Chain of Thought (CoT)思维链 / 链式思考（Think step by step）
Function Calling / Tool Use函数调用 / 工具调用
RAG检索增强生成 (Retrieval-Augmented Generation)
Embedding嵌入 / 向量表示
Inference推理（服务端提供模型运行响应的服务过程）
Reasoning推理（模型进行内在逻辑推演和思考的能力）
Orchestration编排（业务中对多个 Agent 或工具的流程调度）
Few-shot / Zero-shot少样本 / 零样本（提示工程技巧）

499​

  • ⚠️ 有些供应商会持续处理
    • zhipu

Anthropic Bedrock need thinking block for thinking​

Expected `thinking` or `redacted_thinking`, but found `tool_use`.
When `thinking` is enabled, a final `assistant` message must start with a thinking block
  • GCP Vertex AI 要求没这么严格

Thinking encryption​

  • 闭源模型会对思考内容加密，避免被蒸馏
  • 可能会提供思考内容的总结内容
  • 思考内容加密后得到 singature
  • 交叉 thinking 的时，tool call 也会包含 thinking 信息用于保留推理状态

Vertex AI

  • 非 function 的 thought_signature 不强制要求，但推荐包含
    • 确保模型高质量推理
{
  "content": {
    "role": "model",
    "parts": [
      {
        "functionCall": {
          "name": "check_flight",
          "args": {
            "flight": "AA100"
          }
        },
        "thoughtSignature": "<SIGNATURE_A>"
      }
    ]
  }
}

Anthropic

{
  "content": [
    {
      "type": "thinking",
      "thinking": "Let me analyze this step by step...",
      "signature": "WaUjzkypQ2mUEVM36O2TxuC06KN8xyfbJwyem2dw3URve/op91XWHOEBLLqIOMfFG/UvLEczmEsUjavL...."
    },
    {
      "type": "redacted_thinking",
      "data": "EmwKAhgBEgy3va3pzix/LafPsn4aDFIT2Xlxh0L5L8rLVyIwxtE3rAFBa8cr3qpP..."
    },
    {
      "type": "text",
      "text": "Based on my analysis..."
    }
  ]
}
  • type signature_delta
  • redacted_thinking
    • sonet 3.7
  • signature
    • claude 4+
    • 返回总结的思考内容

Bedrock 特殊测试 prompt

ANTHROPIC_MAGIC_STRING_TRIGGER_REDACTED_THINKING_46C9A13E193C177646C7398A98432ECCCE4C1253D5E2D82641AC0E52CC2876CB

role developer vs system​

  • OpenAI o1-2024-12-17 之后推出的
  • developer 权重比 system 高
  • developer
    • 强调规则
  • system
    • 强调角色

AI_APICallError: Error while downloading [URL REDACTED].​

openai 相关似乎不允许 wikimedia 来源图片

Output Speed​

参考TPS
朗读/听书3-4
正常默读5-10
快速略读15 - 25
ModelTPS
Claude Sonnet 4.540
gemini-3-flash-preview80-100
级别TPS典型应用场景
超快 (Instant)800 - 1200实时语音助手、搜索建议
快速 (Fast)150 - 250简单翻译、摘要、简单对话
标准 (Standard)70 - 100复杂指令、代码生成、字幕
重型 (Heavy)20 - 50深度写作、复杂逻辑推理
  • Prefill Speed
    • 一般 > 2000t/s
    • Context Caching 加速 Prefill
  • TPS / Token Per Seconds
  • 思考影响速度
    • 思考 budget 影响思考深度

Gemini

Missing thought_signature in function call​

Please ensure that the number of function response parts is equal to the number of function call parts of the function call turn.​

Unable to submit request because thinking_budget and thinking_level are not supported together​

Gemini 限制

Anthropic

Claude temperature, top_p 不能一起传​

max_tokens must be greater than thinking.budget_tokens​

Input should be greater than or equal to 1024​

  • budget_tokens 最小 1024

thinking or redacted_thinking blocks in the latest assistant message cannot be modified These blocks must remain as they were in the original response​

上下文丢失

Invalid signature in thinking block​

消息里的 singature 无效，判断请求是否正确

Moonshoot

  • 协议严格，kimi follow 类似 anthropic 的限制

tool_call_id is not found​

缺少 tool_calls，但是有 tool 角色和 tool_call_id

thinking is enabled but reasoning_content is missing in assistant tool call message at index​

tool_call 缺少 reasoning_content

Bedrock

reasoning: Extra inputs are not permitted​

协议很严格，不允许额外字段

Access to Bedrock models is not allowed for this account.​

Access to Bedrock models is not allowed for this account.
Request a quota increase from: https://support.console.aws.amazon.com/support/home?region=us-east-1#/case/create?issueType=service-limit-increase

This request has been blocked by our content filters. Our filters automatically flagged this prompt because it may conflict our AUP or AWS Responsible AI Policy. Please adjust your input image to submit a new request.​

原因：

使用 AWS Bedrock 生成服务（主要集中在使用 Amazon Titan Image Generator 或特定的高敏模型时）抛出的内容审查过滤错误。 AWS 内置了严格的内容审查机制（Guardrails 和底层模型审查），当你的 prompt 或者输入内容命中了 AWS 的 AUP (Acceptable Use Policy) 或 Responsible AI Policy 时会被拦截。

处理建议：

  1. 修改 prompt，移除可能触发暴恐、色情、偏见、敏感实体（有时甚至商标名称，如 Disney 的角色名）词汇。
  2. 检查应用是否启用了自定义的 Bedrock Guardrails，如果有，可以调整 Guardrails 的敏感度阈值。
  3. 纯文本模型偶尔也会触发，大部分底层模型自身内置的安全限制用户无法修改，只能通过调整 prompt 来规避。