教程2026年11月21日7,840 浏览约 17 分钟阅读

Gemini API最新更新:Genie 4实时交互与多模态开发实战

Gemini API有哪些新变化?详解Genie 4实时世界生成、Decisions API多模态判断与Hydrogen模型更新,附Python、JavaScript接入示例。

Gemini API最新更新:Genie 4实时交互与多模态开发实战

2026 年 11 月,Google 对 Gemini API 的更新开始呈现出一个值得关注的方向:模型不再只是接收文本、返回答案,而是逐渐承担实时交互、环境生成和复杂决策等任务。

11 月 19 日,Google 正式向开发者开放 Genie 4 API。开发者可以通过文字提示词或参考图片创建一个持续运行的交互式世界,在实时视频流中使用键盘控制角色移动,也可以通过自然语言改变环境、天气和场景事件。生成内容还包含同步的立体声音频。

在此之前,Google 于 11 月 11 日推出 Gemini Decisions API,将多模态内容判断与传统文本生成区分开来。开发者可以针对同一份输入提出多个判断问题,让模型一次性完成分类、选项判断和评分,而不必为每个问题单独生成一段自然语言回答。

与此同时,11 月 12 日发布的 Gemini 4 Hydrogen,则进一步面向日常代码开发和 Agent 执行任务优化。

这几项更新放在一起看,Gemini API 正在形成更加细分的开发接口体系:实时环境交互、结构化决策和通用推理分别承担不同任务。

对于正在开发 AI Agent、游戏交互、多模态应用和自动化系统的团队来说,值得研究的不只是新模型的名称,还包括这些接口在应用架构中应该如何组合。

本文以 Genie 4 为主要技术入口,结合 Gemini Decisions API 和 Gemini 4 Hydrogen 的近期变化,分析 Gemini API 的新能力,并提供可以用于实际项目的 Python 和 JavaScript 接入示例。

一、Gemini API 最新消息:Genie 4 正式开放开发者调用

2026 年 11 月 19 日,Google 官方宣布 Genie 4 可以通过 Gemini API 使用,并同步开放 Google AI Studio 体验入口。

这次更新与传统的视频生成模型存在明显区别。

普通视频生成接口通常采用一次性提交任务的方式:用户提供提示词或图片,服务端生成视频文件,最后返回结果。

Genie 4 则采用持续交互的方式。用户首先创建一个初始世界,模型开始输出连续视频和音频。运行过程中,开发者可以继续发送动作事件或自然语言指令,改变当前场景。

例如,用户可以创建一个具有第一人称视角的城市街道环境,然后执行以下操作:

  • 使用 W、A、S、D 控制移动方向。
  • 使用方向键改变摄像机视角。
  • 通过文本指令改变天气。
  • 让场景中的物体产生新的动作。
  • 与环境中的角色进行自然语言交流。

这些操作并不是先生成完整视频,再通过传统视频编辑工具修改,而是在持续生成的过程中改变环境状态。

Google 官方将这种能力定位为实时交互式世界生成,适用于互动体验原型、空间设计可视化,以及机器人和 AI Agent 训练相关研究。

需要注意,Genie 4 输出的视频包含不可见的 SynthID 水印,用于标识 AI 生成内容。

Genie 4 的主要技术规格

根据 Google 当前的模型文档,Genie 4 的主要参数如下:

表格

技术项目官方规格
模型标识genie-4
视频分辨率1280×720
视频比例16:9
帧率24 FPS
音频48 kHz 立体声
最大会话时长120 秒
每帧视频输出240 Video Tokens
每秒视频输出5,760 Video Tokens
输入方式文本、单张 16:9 参考图片
交互方式键盘控制、实时文本事件
连接方式WebRTC、WebSocket

这里有一个重要区别:Genie 4 生成的是连续交互式视频流,而不是普通的固定时长视频文件。

如果开发者的需求是生成一段固定长度的视频、进行多轮视频编辑,或者将视频放大到 4K,Google 当前建议使用 Gemini Omni 1.2 Flash,而不是把 Genie 4 当作通用视频剪辑接口。

这两种模型解决的问题不同。

Genie 4 关注的是环境的持续变化和实时控制,Gemini Omni 1.2 Flash 更适合固定视频片段的生成和编辑。

二、Genie 4 的实时交互是如何通过 Gemini API 实现的?

对于开发者来说,Genie 4 最值得研究的是它的会话生命周期。

它不是简单地发送一个 HTTP 请求,然后等待完整结果返回,而是需要创建 Interaction、建立实时连接、发送控制事件,并在结束时主动关闭会话。

Google 官方提供了四个主要步骤。

1. 创建 Interaction

首先由后端创建一个 Genie 4 Interaction。

模型标识为:

genie-4

当前官方示例使用 v1beta API 版本。

如果是浏览器应用,建议不要把长期使用的 Gemini API Key 直接发送到前端,而是由服务端生成一次性会话凭证。

2. 建立实时连接

Genie 4 支持两种主要传输方式:

  • WebRTC:更适合浏览器中的实时音视频应用。
  • WebSocket:适合 Python、Node.js 等需要处理异步事件的客户端。

WebRTC 可以利用浏览器原生音视频处理能力,将视频和音频流直接呈现在页面上。

控制事件则可以通过数据通道发送。

3. 初始化世界并发送控制事件

创建会话后,首先发送 world_setup 事件。

这个事件负责提供初始世界描述。

随后可以发送:

  • user_action:键盘和动作控制。
  • input:运行过程中的自然语言指令。

例如,用户在初始环境中创建一个雪山小镇,随后发送文本事件:

Make heavy snow fall across the village.

模型会根据当前环境和指令改变场景。

4. 主动结束会话

这一点在实际开发中尤其重要。

Genie 4 是持续生成型服务。关闭浏览器标签页或断开本地连接,并不一定代表服务端生成已经立即停止。

官方文档要求在完成任务后调用:

await session.complete();

这样才能正常结束服务端会话并停止继续计费。

对于需要控制调用成本的产品,这个操作应该放在明确的生命周期管理逻辑中,而不是依赖浏览器自动关闭连接。

三、如何使用 JavaScript 创建 Genie 4 会话?

下面按照官方提供的 JavaScript SDK 接入方式,演示后端创建会话和临时凭证的基本流程。

首先安装 SDK:

npm install @google/genai

后端创建 Interaction:

import { GoogleGenAI } from "@google/genai";

const serverAi = new GoogleGenAI({
  apiKey: process.env.GEMINI_API_KEY,
  apiVersion: "v1beta",
});

export async function createWorldSession() {
  const interaction = await serverAi.interactions.create({
    model: "genie-4",
    api_version: "v1beta",
  });

  const { auth_token } =
    await serverAi.interactions.authTokens.create(
      interaction.id,
      { api_version: "v1beta" }
    );

  return {
    interactionId: interaction.id,
    authToken: auth_token,
  };
}

这里有一个安全设计值得注意。

长期 API Key 保留在服务端,浏览器只接收与当前 Interaction 对应的临时凭证。

这样可以减少长期密钥暴露的风险。

前端再使用临时凭证建立连接:

import { GoogleGenAI } from "@google/genai";

async function connectWorld(
  interactionId,
  authToken,
  videoElement
) {
  const client = new GoogleGenAI({
    apiKey: authToken,
    apiVersion: "v1beta",
  });

  const session = await client.interactions.connect(
    interactionId,
    {
      transport: "webrtc",
      api_version: "v1beta",
    },
    {
      timeout_ms: 30000,
    }
  );

  session.transport.setVideoElement(videoElement);

  await session.send({
    event_type: "world_setup",
    world_prompt: {
      text: "A futuristic city at sunset, first-person view."
    }
  });

  return {
    moveForward: () => session.send({
      event_type: "user_action",
      action: "key_down",
      input: "key_w"
    }),

    stop: async () => {
      await session.complete();
    }
  };
}

这段代码展示的是会话连接和初始环境设置,并不是一个完整的游戏控制器。正式应用还需要处理键盘释放、重复事件、流事件监听、异常退出和会话清理。

另外,浏览器端应该通过服务端接口获取临时凭证,不应该在前端代码中配置长期 API Key。

四、Genie 4 的计费方式与实时延迟,开发者需要注意什么?

Genie 4 与普通文本模型最大的区别之一,是它的输出会持续产生。

根据当前官方文档:

  • 每帧视频消耗 240 个输出 Token。
  • 每秒生成 24 帧。
  • 每秒对应 5,760 个视频输出 Token。
  • 包含立体声音频的参考费用约为每秒 0.10 美元。

这里的价格是官方文档当前公布的参考计费信息,实际使用应以调用时的官方价格页面为准。

按照这一参考值计算:

表格

会话时长参考费用
10 秒约 $1
30 秒约 $3
60 秒约 $6
120 秒约 $12

以上是按照每秒约 0.10 美元进行的简单估算,不代表每个任务都必然产生相同账单。

实际开发中,建议在创建会话前设置最大运行时间,并在用户离开页面、主动结束交互或任务完成时调用 complete()。

实时交互为什么对网络延迟敏感?

普通文本请求可以容忍一定程度的网络等待,但实时环境控制不同。

如果用户按下前进键,画面很久之后才开始变化,交互体验就会受到影响。

Google 当前公布的 Genie 4 服务区域包括:

  • 美国。
  • 西欧。
  • 日本。

官方文档指出,在北美、西欧和中欧、东亚等区域,往返延迟低于 150 毫秒时,可以获得较好的响应表现。

如果部署位置距离服务区域较远,键盘控制可能出现延迟,视频帧率也可能受到影响。

因此,开发者不能只测试模型本身的生成速度,还需要测量:

  1. 浏览器到业务后端的延迟。
  2. 后端到模型服务的网络延迟。
  3. WebRTC 连接建立时间。
  4. 控制事件发送到画面变化的时间。
  5. 音视频流是否持续稳定。

对于实时交互应用,网络架构本身就是模型体验的一部分。

另一个值得注意的细节是,Genie 4 的参考图片要求为 16:9。使用 WebRTC 时,官方建议将 JPEG 压缩到 48 KB 以下,以避免 Base64 JSON 事件超过 64 KB 的 SCTP 数据通道限制。

这意味着,参考图片预处理也应该成为应用的一部分。

五、Gemini Decisions API 发布:让模型直接完成多模态判断

Genie 4 解决的是实时世界生成问题。

而 Gemini Decisions API 解决的是另一种开发需求:当程序需要判断一个输入属于哪种情况时,是否还需要调用完整的文本生成模型?

在很多业务中,模型并不需要写一段长答案。

例如:

  • 判断图片中是否存在商品破损。
  • 判断一份合同是否包含指定条款。
  • 判断用户请求应该分配给哪个 Agent。
  • 对客服通话进行风险等级评分。
  • 判断上传的视频是否符合内容审核要求。

这些任务都有一个共同点:结果通常落在预先定义的有限选项中。

Google 于 2026 年 11 月 11 日发布 Gemini Decisions API,由 Gemini Decision 1 提供支持,模型标识为:

gemini-decision-1

它可以针对同一份输入执行多个判断问题,并返回对应的概率和置信度。

1. Gemini Decisions API 支持哪些判断类型?

官方公开了三种主要类型:

表格

类型功能典型场景
noul是 / 否判断是否存在安全风险
choice多选一判断请求应该路由到哪个模型
score按评分标准打分内容质量、风险等级评估

其中:

  • noul 用于判断某个条件是否成立。
  • choice 用于在多个候选项中选择,支持 2—255 个选项。
  • score 用于按照有序评分标准给出结果。

每个判断结果还会附带 0 到 1 之间的置信度。

开发者可以根据置信度设置不同处理路径。

例如:

  • 高置信度:直接执行下一步。
  • 中等置信度:交给其他模型复核。
  • 低置信度:转人工处理。

这种方式能够减少所有任务都经过完整生成流程的情况。

2. Gemini Decisions API 有哪些公开数据?

Google 官方在 11 月 11 日公布了以下数据:

表格

项目官方公布信息
模型Gemini Decision 1
最大输入上下文256K Token
单次请求判断问题最多 1,000 个
支持模态文本、图片、音频、视频、PDF
端到端延迟150—250 毫秒
模型计算延迟50—100 毫秒
输入价格$0.10 / 百万 Token
输出 Token 费用$0

需要特别说明,官方提到的 150—250 毫秒是其公布的端到端延迟数据,不是所有网络环境和业务输入下的固定响应时间。

官方还指出,在其对比测试中,问题数量从 1 个增加到 100 个时,延迟变化较小。这里的性能描述不能直接外推到所有 1,000 个问题的实际请求。

另外,256K 是官方公布的输入上下文上限,而其性能测试中也单独提到 16K 上下文条件。两者不是同一个测试口径。

六、如何使用 Python 调用 Gemini Decisions API?

与传统生成式请求不同,Decisions API 使用 client.decisions.create()。

安装 SDK:

pip install -U google-genai

设置 API Key:

export GEMINI_API_KEY="your-api-key"

下面使用官方公开示例的请求结构,演示图片和文本输入,以及三种判断方式:

from google import genai

client = genai.Client(
    http_options={"api_version": "v1beta"}
)

result = client.decisions.create(
    model="gemini-decision-1",

    input=[
        {
            "type": "image",
            "uri": "https://storage.googleapis.com/generativeai-downloads/images/spill.jpg",
            "mime_type": "image/jpeg",
        },
        {
            "type": "text",
            "text": "检查会议室桌面是否清洁。",
        },
    ],

    questions={
        "has_spill": {
            "type": "noul",
            "instructions": "桌面上是否存在未清理的液体污渍?",
        },

        "next_action": {
            "type": "choice",
            "instructions": "应该采取哪种清洁措施?",
            "criteria": {
                "wipe_with_cloth": "小范围污渍,使用抹布清洁",
                "dispatch_cleaner": "存在较大范围污染,需要安排清洁",
                "ready": "桌面已经清洁,可以正常使用",
            },
        },

        "severity": {
            "type": "score",
            "instructions": "评估当前桌面的脏污程度。",
            "criteria": [
                "干净",
                "轻微污渍",
                "明显污染",
            ],
        },
    },
)

print(result)

这段代码展示了三种判断可以在同一个请求中完成。

对于企业应用而言,这种方式有一个直接价值:同一份图片不必为了三个不同问题重复上传和分析。

例如,仓库质检系统可以将一张商品图片作为共享输入,然后一次性判断:

  • 是否存在外观损伤。
  • 商品属于哪一种异常类型。
  • 当前异常应该分配给哪个处理部门。

需要注意,官方示例中的图片通过公开 URI 传入。实际业务可以根据 API 支持的内容格式和访问条件选择适合的输入方式。

3. Decisions API 适合完全替代普通 Gemini 模型吗?

不适合。

Decisions API 更适合有明确选项和评分规则的任务。

如果业务要求:
“解释为什么这个产品存在问题,并给出详细修改建议。”

这类任务仍然更适合普通生成式模型。

如果业务要求:
“判断图片是否存在破损,并在三个处理选项中选择一个。”

Decisions API 就更符合任务结构。

因此,它更像一个面向有限决策问题的专用执行接口,而不是通用聊天模型的替代品。

七、Gemini 4 Hydrogen 更新:开发者工作流开始重视执行效率

除了 Genie 4 和 Decisions API,11 月 12 日发布的 Gemini 4 Hydrogen 也是近期 Gemini API 更新中值得关注的一项。

它的定位与 Gemini 4 Carbon 不完全相同。

Google 将 Carbon 定位为面向复杂、长周期任务的前沿模型,而 Hydrogen 更侧重快速执行、日常编程和 Agent 工作流。

官方模型标识:

gemini-4-hydrogen

根据当前模型文档,Hydrogen 支持:

  • 1M Token 上下文。
  • 文本、图片、音频、视频和 PDF 输入。
  • 最高 64K 输出或相应扩展输出配置,具体取决于使用的模型能力和请求设置。

Google 在 11 月 12 日的发布文章中公布了以下数据:

  • Artificial Analysis Intelligence Index 默认 High 思考等级得分 51,高于 Argon 的 50。
  • 在最高 XHigh 思考等级下达到 54。
  • 相比 Gemini 3.8 Flash,Google 公布的 Terminal-Bench 4.1 成绩为 57%,对比 18.2%。
  • 在其测试中,High 默认设置下的任务完成速度约为 Gemini 3.8 Flash 的 2.5 倍。

这些都是 Google 公布的评测结果,应当理解为厂商测试数据,而不是每个开发项目都能复现的性能保证。

Hydrogen 的价格结构

根据 Google 当前公布的价格:

表格

计费项目价格
输入 Token$1.50 / 百万 Token
输出 Token$7.50 / 百万 Token
上下文窗口1M Token

官方说明,该价格在整个 1M 上下文窗口内采用统一价格结构。

对于开发者来说,Hydrogen 的价值不仅在于单次模型调用。

更值得关注的是它在多模型工作流中的位置。

例如,一个复杂代码任务可以先由 Carbon 负责架构判断,再由 Hydrogen 执行代码修改、运行测试和验证。

Google 还介绍了其 Orchestrator 方案,在同一工作流中根据任务动态切换不同模型。

这与单纯选择一个模型完成所有任务的思路不同。

在实际应用中,可以让复杂推理与常规执行使用不同模型,从而控制整体调用成本和执行时间。

八、Genie 4、Decisions API 和 Hydrogen 应该如何组合?

这三项能力并不是互相替代的模型。

它们分别处理不同类型的任务。

表格

技术主要任务适合的应用
Genie 4实时环境生成与控制交互式世界、模拟环境
Gemini Decisions API多模态有限选项判断分类、评分、路由
Gemini 4 Hydrogen通用推理和快速执行代码、Agent、日常任务
Gemini 4 Carbon复杂推理和长周期任务系统设计、复杂代码分析

一个实际的应用架构可以这样设计。

假设开发团队正在构建一个互动式虚拟空间:

第一步,用户输入场景要求,系统使用 Hydrogen 整理场景描述和初始配置。

第二步,将整理后的描述交给 Genie 4,创建持续运行的虚拟环境。

第三步,用户在环境中执行操作,Genie 4 根据键盘和文本事件实时改变场景。

第四步,如果系统需要判断某个环境事件是否符合预设条件,可以调用 Decisions API 进行多模态判断。

第五步,如果出现复杂异常,再交给 Carbon 或其他适合的推理模型分析。

从架构角度看,这种方式将生成、执行和判断分开处理,避免一个模型承担所有业务。

对于需要同时接入 Gemini、DeepSeek 等模型的应用,也可以按照任务类型进行分层调用。

例如:

  • Gemini Hydrogen:日常执行和任务组织。
  • Gemini Decisions API:有限选项判断。
  • Gemini Genie 4:实时交互环境。
  • DeepSeek:承担项目中适合其能力和部署条件的推理任务。
  • Codex:辅助开发者编写接口适配器、测试代码和自动化程序。

Codex 在这里属于开发工具,不是一个需要被当作视频生成模型的推理节点。

九、Gemini API 开发者接入时,需要重点检查哪些问题?

新模型和新接口增加之后,开发者需要关注的不只是调用成功,还包括请求协议、会话状态和资源管理。

1. 区分不同 API 接口

Genie 4 和 Decisions API 的调用方式并不相同。

Genie 4 使用 Interactions API 创建交互资源,再通过实时连接发送事件。

Decisions API 则通过 client.decisions.create() 提交判断请求。

不能因为它们都属于 Gemini API,就假设两者具有完全一致的请求体。

2. 不要把长期 API Key 暴露在浏览器

对于 Genie 4,建议使用服务端创建 Interaction,再生成一次性会话凭证。

浏览器只获取当前会话需要的信息。

长期密钥应保留在服务端的环境变量或密钥管理系统中。

3. 正确管理实时会话

Genie 4 的会话会持续消耗生成资源。

应用应在用户退出、任务完成或会话异常时执行清理逻辑。

特别要避免仅依赖浏览器关闭事件来终止生成。

4. 对实时音视频进行独立监控

建议记录:

  • Interaction ID。
  • 会话创建时间。
  • 首帧到达时间。
  • 音频首包时间。
  • 控制事件发送时间。
  • 网络连接状态。
  • 会话结束时间。

这些指标可以帮助区分模型生成延迟和网络传输延迟。

5. 为 Decisions API 设置置信度门槛

Decisions API 会返回置信度,但置信度不是业务正确性的绝对证明。

例如,某个风险判断得到较低置信度时,不应该强制将其归入某个类别。

更合理的方式是设置业务阈值,将边界样本交给更复杂的模型或人工审核。

6. 对不同模型分别管理 Token 和费用

不同模型的计费结构不同。

实时视频生成、普通文本生成和多模态判断不能只使用一个简单的文本 Token 统计字段进行成本核算。

建议分别记录模型标识、输入类型、输出类型、会话时长和对应 usage 信息。

十、Gemini API 的应用方向:从内容生成走向实时交互与自动决策

这几项更新透露出一个比较清晰的技术趋势。

过去,开发者使用 Gemini API,主要是将文本生成、多模态理解和函数调用嵌入自己的应用。

现在,Google 开始提供更加细分的接口,让开发者能够直接构建交互式环境、实时音视频体验,以及需要多个判断条件的自动化系统。

Genie 4 的特点是持续生成和实时控制。

Decisions API 的特点是共享输入、多问题判断和概率输出。

Hydrogen 则提供日常推理和快速执行能力。

它们共同指向一个变化:模型能力正在从单次请求响应,扩展到持续运行的应用流程。

对于正在开发 AI Agent 的团队来说,这意味着需要重新考虑模型的分工。

并不是所有任务都需要调用大型推理模型,也不是所有多模态任务都需要先生成一段文字再由程序解析。

如果任务本身是判断、分类或路由,就可以考虑专用决策接口。如果任务要求持续改变环境,则应该选择实时交互模型。

在需要统一管理不同模型调用的项目中,开发团队也需要考虑接口配置、模型标识、请求日志和调用成本的管理。

例如,使用 KoalaAPI 了解多模型 API 统一接入方式,可以作为应用侧管理模型调用的一种参考。具体模型能力和接口支持范围仍需要以实际可用的模型列表及端点文档为准。

未来,Gemini API 的竞争重点可能不再只是模型回答质量,而是开发者能否将模型能力稳定地组织成真正可运行的产品。


FAQ:Gemini API 最新更新常见问题

Q1:Genie 4 已经支持 Gemini API 调用了吗?
支持。Google 于 2026 年 11 月 19 日宣布开放开发者调用,可以通过 Gemini API 的 Interactions API 使用,也可以在 Google AI Studio 中体验。

Q2:Genie 4 和普通视频生成模型有什么区别?
Genie 4 主要生成持续交互的实时环境,支持键盘控制和中途文本事件。普通视频生成通常是提交任务后返回固定视频片段,两者的任务模式不同。

Q3:Genie 4 支持多长时间的视频生成?
官方当前模型文档规定单次会话最长 120 秒。它属于持续交互会话,不应直接理解为普通视频文件的固定时长上限。

Q4:Genie 4 是否支持音频?
支持 48 kHz 立体声音频,与视频流同步输出。WebSocket 传输采用 16-bit PCM,WebRTC 采用 Opus。

Q5:Gemini Decisions API 有什么用途?
它主要用于有限选项的多模态判断,例如是非判断、多选一和评分。开发者可以在同一份输入上设置多个问题,减少重复调用。

Q6:Gemini Decisions API 支持哪些输入?
支持文本、图片、音频、视频和 PDF。官方公布的输入上下文上限为 256K Token。

Q7:Gemini 4 Hydrogen 适合什么开发任务?
它主要面向日常编程、代码调试、快速执行和 Agent 工作流,适合与复杂推理模型进行任务分工。

Q8:Gemini API 可以同时调用不同的 Gemini 模型吗?
可以。开发者可以根据任务类型选择不同模型,并在应用层实现模型路由、任务拆分和结果整合。

Q9:Genie 4 是否支持 Function Calling?
当前官方模型能力表将 Function Calling 标记为不支持。因此,不能直接将普通 Gemini 模型的函数调用流程套用到 Genie 4 上。需要通过应用层的控制逻辑实现交互。

标签Gemini APIGenie 4Gemini Decisions APIGemini 4 HydrogenGoogle AI多模态模型AI AgentPythonJavaScriptAPI开发
Koala API · 一站式大模型 API 中转

把博客读到的,落地到你的下一个项目

国内直连 · 兼容 OpenAI SDK · GPT / Claude / Gemini 等主流模型聚合

延伸阅读

免费注册