Gemini 多模态输入实战：图片、PDF、视频的 Token 成本与验收

多模态 AI 应用开发中，一个容易被低估的问题是：文件成功上传，不代表模型已经正确理解文件。

一张商品图片、一份包含财务报表的 PDF，以及一段产品演示视频，都可以成为 Gemini API 的输入，但它们的处理逻辑并不相同。图片任务关注视觉细节和文字识别；PDF 分析需要理解文本、表格和页面布局；视频理解则涉及时间顺序、画面采样和事件定位。

如果只关注接口是否返回结果，而不检查输入限制、Token 用量和输出依据，应用就可能出现信息遗漏、费用超出预期或结果无法复现等问题。

本文结合 Google 官方文档，从格式支持、文件限制、调用方式、成本核算和结果验证五个方面，分析三类多模态输入的工程差异，并提供可用于项目验收的具体方法。

一、Gemini API 图片、PDF 与视频输入的核心区别

三类输入的差别不只是文件扩展名，更在于模型需要从中提取什么信息，以及开发者如何验证结果。

表格

Google 分别提供了图片理解、文档处理和视频理解指南。虽然这些能力可以组合使用，但不能因此认为三类输入具有相同的限制和计费规则。

二、Gemini API 图片输入：支持哪些格式，Token 如何计算？

图片输入常用于商品信息识别、截图分析、图表解读、视觉问答和图片分类。开发者可以把图片与文字指令放在同一个请求中，让模型根据画面内容完成指定任务。

1. 官方支持的图片格式

Google 官方图片理解文档列出的常见图片 MIME 类型如下。

表格

官方文档还列出了每个请求最多 3,600 个图片文件的限制。但这个数字只是接口层面的上限，并不意味着一次请求适合提交数千张图片。

实际可处理数量还会受到上下文窗口、请求大小、模型版本以及任务复杂度影响。如果需要比较大量商品图片，建议分批处理，并为每批数据建立独立的结果校验记录。

2. 图片分辨率如何影响 Token 消耗？

图片输入的 Token 计算与图像处理方式有关，并非简单地按照文件体积换算。

根据 Google 官方文档，当图片宽度和高度都不超过 384 像素时，处理成本为 258 Token。较大的图片可能被切分为多个 768×768 像素的图像块，每个图像块对应 258 Token。

官方文档提供的一个计算示例是：对于 960×540 像素的图片，按相应分块规则估算，可形成 6 个图像块，对应 1,548 个 Token。

这个示例说明，图片的视觉处理成本可能随着尺寸和分块数量变化。文件只有几十 KB，并不代表模型只需要消耗很少的视觉 Token。

Gemini 3 系列还提供了 media_resolution 参数，用于控制视觉输入的处理分辨率。提高分辨率可能有助于识别小字、密集表格或细小图形，但也可能增加 Token 用量和延迟。具体支持情况应以目标模型的文档为准。

实际开发时，可以先使用满足任务要求的分辨率，再针对识别失败的样本进行对照测试。对于普通物体分类，不一定需要最高分辨率；对于票据金额、产品标签和小字号截图，则需要优先保证细节清晰。

3. 图片识别结果应该如何验证？

以商品图片信息提取为例，可以要求模型返回商品名称、颜色、可见材质、包装文字和规格信息，并采用 JSON 格式输出。

随后从三个层面检查结果。

第一，检查字段是否完整。例如，要求返回商品名称、颜色和包装文字时，不能因为其中一个字段无法识别，就直接省略整个字段。

第二，检查信息是否有原图依据。颜色、数字、型号和文字应当能在对应图像中找到支持，而不是根据常见商品特征推断。

第三，检查不确定信息。图片无法确认的材质、内部结构或具体型号，应当标记为未知，而不是让模型自行补全。

对于 OCR（光学字符识别）任务，尤其要关注数字混淆、文字截断和标点错误。金额、日期、业务编号等重要字段可以进一步使用正则表达式、格式校验或人工复核。

需要注意，模型能够描述一张图片，并不代表所有文字都识别正确。图片理解结果应当根据业务要求进行验收。

三、Gemini API PDF 输入：原生文本与页面视觉理解有什么区别？

PDF 经常同时包含可复制文字、扫描页面、表格、图表、页眉页脚和复杂排版。只提取纯文本，可能会丢失页面中的空间关系；只依靠视觉理解，也不一定是所有文档任务的最经济方式。

1. PDF 文件大小和页数限制

Google 官方文档列出的 PDF 输入限制为单个文件最大 50 MB，或最多 1,000 页。这些限制适用于内联数据和 Files API 上传方式。文档处理说明还给出了每页相当于 258 Token 的参考值。

需要同时关注文件大小和页数。一个 100 页的扫描版 PDF，可能因为图片分辨率较高而占用大量存储空间；一份文件体积不大的长文档，也可能因为页数过多而触及接口限制。

对于需要反复提问的大型文档，可以优先评估 Files API。对于临时处理的小型 PDF，内联输入也可能适用。具体方式应根据文件大小、重复使用频率和目标接口的要求决定。

2. 为什么 PDF 不等于普通文本文件？

PDF 的一个重要特点，是它可以同时承载文本和视觉布局。

例如，一份财务报告可能包含可复制的收入数据，也包含通过图表展示的季度变化。如果只提取文字，模型可能拿到数字，却无法完整理解图表中各条曲线的对应关系。

Google 官方文档指出，Gemini 3 的相关 PDF 处理流程可以提取原生嵌入文本，并将其提供给模型；页面中需要视觉理解的内容，则会通过相应的视觉处理机制进行分析。

这也影响用量统计。官方说明，在相应的 Gemini 3 PDF 处理流程中，原生文本提取产生的 Token 不收费；页面视觉处理产生的 Token 会计入 IMAGE 模态，而不是单独的 DOCUMENT 模态。实际账单仍应以具体模型和当前计费规则为准。

如果输入的是 TXT、Markdown、HTML 或 XML 等文件，Gemini 可以在相应接口中处理其中的文本，但这不等于保留了原始页面的视觉布局。文件中的图表关系、排版和特定格式信息可能无法以同样方式传递给模型。

3. PDF 结果如何进行业务验收？

假设应用需要从合同中提取付款期限、违约条款和金额，仅仅要求模型 “总结合同” 是不够的。

更可靠的处理流程是：

1. 规定需要提取的字段，并要求返回对应页码或原文片段。
2. 检查每个字段是否能在指定页面找到。
3. 对金额、日期、比例等关键数据执行程序化校验。
4. 对扫描件、复杂表格和低清页面进行专项抽样。
5. 对原文中无法确认的信息返回 “未找到” 或 “无法判断”。

这样可以区分两种不同问题：模型没有找到相关信息，或者模型找到了信息却错误理解了含义。

对于财务报表、合同和合规文件，建议保留原始文件、模型输出和复核记录。模型可以辅助信息检索和整理，但不应自动替代正式的业务审核。

四、Gemini API 视频输入：文件限制、采样方式与 Token 成本

视频输入与图片的主要差别，是模型需要处理随时间变化的内容。

在软件操作录屏中，开发者可能需要定位错误发生在哪一步；在产品演示中，用户可能希望找到某个功能首次出现的时间；在课程视频中，任务则可能是提取章节、关键知识点和操作流程。

1. 视频输入有哪些方式？

Google 官方视频理解文档列出了以下输入方式和限制。

表格

这些限制需要结合实际服务层级和接口要求理解。官方文档建议，对于超过 100 MB 的文件、时长较长的视频，或者需要在多次请求中复用的文件，优先考虑文件 API。

文件大小限制与请求体限制也不是完全相同的概念。工程实现时，应核对实际使用的接口、编码方式和请求大小要求，不要只根据文件上传上限推断请求一定能够成功。

2. 视频 Token 如何估算？

视频处理的成本与视频时长、帧采样频率和处理模式有关。

Google 官方 Token 文档给出的静态处理参考值为：默认低分辨率下约每秒 100 Token，高分辨率下约每秒 300 Token。默认采样方式为每秒一帧，实际用量可能随配置变化。

以 10 分钟的视频为例：

表格

以上仅用于估算视频输入部分，不包含提示词、其他输入内容和输出 Token，也不等于最终费用。

Google 还提供了 Agentic 视频理解模式。在支持该模式的模型中，系统可以根据问题动态查看转录文本、画面帧或音频，而不是固定处理所有采样帧。官方文档指出，对于长视频内容，该模式在特定条件下最多可以减少 88% 的 Token 消耗。这个数字是官方公布的潜在节省幅度，不代表所有任务都能达到相同结果。

对于只需要定位某个事件的任务，动态查看相关片段可能更有效；对于需要连续梳理完整操作流程的任务，则必须验证动态采样是否遗漏了关键步骤。

3. 视频理解结果怎样验证？

视频任务容易出现一种问题：总结整体内容时看起来合理，但关键事件的具体时间不准确。

例如，分析一段软件操作录屏时，可以要求模型返回事件时间戳、对应操作、画面变化和判断依据。随后抽取关键时间点，与原视频逐一核对。

对于长视频，建议将任务拆分为几个阶段。先提取主要章节和事件，再分析指定片段，最后检查总结是否遗漏重要信息。

如果应用需要精确定位，必须验证时间戳是否真正对应目标事件。自然语言描述正确，并不意味着时间定位也一定正确。

五、如何控制图片、PDF 和视频的实际调用成本？

多模态 API 的成本管理不能只看文件大小。视觉处理方式、输入 Token、上下文长度和重复调用次数都会影响总费用。

建议为每次请求记录以下信息：

表格

对于图片，可以测试不同分辨率下的识别质量；对于 PDF，可以区分文本提取与视觉理解的必要性；对于视频，可以比较固定帧采样与动态片段分析的结果。

如果同一份文件需要多次查询，使用文件引用能够减少重复传输文件的操作，但不能据此认定成本一定会下降。文件引用只是省去二进制重复上传，模型依然会按照配置的采样策略、分辨率规则消耗视觉 Token，反复提问依然会持续产生提示词与输出 Token 开销。想要真正降低成本，需要搭配动态采样、按需加载片段等策略一起使用。

如何建立可持续的多模态成本管理机制？

对于长期运行的多模态应用，建议将成本控制与结果质量放在同一套评估流程中，而不是单纯追求更少的 Token。

首先，为不同任务设置合理的输入范围。例如，图片识别只保留完成任务所需的清晰度；PDF 分析优先定位相关章节和页面；视频理解则根据业务目标选择关键片段。减少无关输入，可以降低处理开销，但必须确保重要信息没有被提前过滤。

其次，建立按任务类型划分的用量记录。至少保存模型 ID、输入类型、输入与输出 Token、请求耗时、重试次数和验收结果。对于视频，还应记录时长和采样配置；对于 PDF，则需要记录页数、文件大小以及是否包含扫描页面。只有将这些数据关联起来，才能判断费用增长究竟来自输入规模、模型选择，还是重复调用。

最后，通过固定测试集验证优化效果。可以分别比较调整前后的任务成功率、实际费用和处理时间。如果成本下降的同时，关键字段识别率、文档引用准确性或视频事件定位能力明显降低，就不能将这种优化视为有效改进。

对于需要同时调用多个模型的应用，还应核对统一接入层的实际计费和功能支持情况。使用 KoalaAPI 这类 API 中转服务时，应以当前平台提供的模型列表、接口说明和账单记录为准，不要直接将上游厂商的价格或功能视为第三方服务的最终承诺。

结论：成本优化必须建立在结果可验证的基础上

Gemini API 的图片、PDF 与视频输入有不同的处理特点。图片任务需要平衡分辨率与细节识别，PDF 分析需要兼顾文本、表格和页面布局，视频理解则要处理时间顺序、关键画面和跨片段信息。文件能够正常上传，并不代表输出结果已经满足业务要求。

实际部署时，建议先用一组具有明确参考答案的样本验证三类输入，再逐步优化分辨率、文档范围和视频采样策略。同时记录 Token 用量、请求耗时、失败率与最终验收结果，确保成本变化能够被解释和复现。

对于涉及合同、财务数据、商品规格或操作流程的应用，还应根据错误可能造成的影响设置必要的程序校验与人工复核。模型生成的内容应当能够回溯到原图、原文页面或视频时间点，而不是仅凭回答看起来合理就认定任务成功。

最终，多模态 API 的选型与优化不是单纯比较文件大小或单价，而是找到满足业务质量要求的处理方式，并让每次调用的成本、输入和结果都可追踪。只有把输入控制、结果验收和用量核算结合起来，才能在控制开销的同时维持应用的可靠性。

*注：具体模型的输入限制、Token 计算方式和价格可能随版本、服务计划及接口调整。正式部署前，应以对应模型的最新官方文档和实际调用记录为准。*