Gemini 多模态接口实战:文本、图片、视频一次打通
首页 / 文章 / 技术教程 / Gemini 多模态接口实战:文本、图片、视频一次打通
一个 API Key、三套 OpenAI 兼容端点——在Itzyk API 上同时调用 Gemini 对话、文生图与 Veo 视频,从文案到视觉一条流水线打通。
作者:Itzyk API · 发布:2026-09-29 · 更新:2026-11-09
一、前言 「会调 Gemini 对话」只是第一步。真实产品里,用户经常要:先聊清需求 → 生成海报图 → 再出 5 秒宣传视频。如果文本走一套 Key、图像走另一家、视频再找第三方,你会同时面对 三套鉴权、三种账单、三套报错语义 ,运维和财务都会头疼。 Itzyk API(api.itzyk.top)把 Gemini 家族的文本、图像、视频能力挂在同一网关下: | 能力 | 端点 | 典型模型 | |------|------|---------| | 对话 / 推理 | POST /v1/chat/completions | gemini-3.6-flash 、 gemini-3.1-pro-preview | | 文生图 | POST /v1/images/generations | gemini-3-pro-image 等 | | 文生视频 | POST /v1/video/generations | veo-3.1-generate-preview | 共用同一个 sk- Key、同一套人民币计费与控制台账单。本文按「先文本、再图像、再视频」的顺序实战,并给出可直接复制的示例,最后补上计费、错误码与一条「文案→出图」的产品流水线。 适合人群:要做营销素材工具、内容中台、电商主图/短视频助手的开发者;以及已经会调 Chat,想把多模态补齐的同学。 --- 二、统一准备:账号、Key、环境变量 1. 注册登录 https://api.itzyk.top/ 2. 「API 管理」创建 Key,并确认模型权限覆盖文本 + 图像 + 视频(按需勾选) 3. 钱包充值(图像按张、视频按秒,建议先充少量做联调) 4. 本地用环境变量管理密钥,前端页面不要硬编码 Key 生产环境务必用密钥管理(环境变量、密钥托管),禁止把 Key 写进公开仓库或小程序前端包。若业务必须「浏览器直调」,也应改为「浏览器 → 你们后端 → Itzyk」,由后端持有 Key。 联调建议先只开通文本模型权限,Chat 通了再打开图像与视频,避免误触发高单价请求。 --- 三、文本:Chat Completions 文本是所有多模态流水线的「大脑」——写提示词、改文案、拆分镜头,都可以先让模型帮你。把对话调稳,后面的图和视频质量会明显更好。 3.1 非流式 3.2 Python 流式(适合产品对话) 需要深度推理时,把 model 换成 gemini-3.1-pro-preview ,并适当降低 temperature 。例如:帮运营写分镜表、评估三条广告脚本的优劣、从长需求文档里抽取「画面主体 / 台词 / 时长」。 3.3 多轮里沉淀「视觉描述」 一个实用技巧:不要让用户直接对视频模型说「好看一点」。先用 Chat 把模糊需求落成结构化描述,例如: - 主体是什么、在什么场景 - 镜头运动(推 / 拉 / 环绕) - 光影与色调 - 是否需要画面字幕或旁白 再把这段结构化文本交给图像或视频端点,成功率会高很多。 --- 四、图像:Images Generations 文生图端点兼容 OpenAI Images 形态,核心字段是 model 、 prompt 、 n 。旗舰画质可选用 gemini-3-pro-image (圈子里常称 Nano Banana Pro 档),适合品牌海报与带文字的电商主图。 4.1 curl 出一张图 返回里通常包含图片 URL(或 base64,视平台配置而定)。失败不计费;成功按张扣款。联调时务必先 n=1 ,确认风格满意再批量。 4.2 Python 保存到本地 4.3 提示词小技巧 - 写清: 主体 + 风格 + 光影 + 构图 + 分辨率 - 需要画面内文字时, 把文案原文写进 prompt ,并说明位置(如「底部居中」) - 中文提示词对 Gemini 很友好,不必强行全英 - 批量草图可用更轻量档位控成本,关键交付再用 Pro 精修 - 不满意就重抽:单张成本可控时,多抽 2~3 张择优往往比死磕一条 prompt 更高效 常见翻车原因:prompt 过空(「好看的图」)、文字太多挤在一起、风格词互相冲突(既要「极简」又要「赛博朋克堆满霓虹」)。先做减法,再逐步加约束。 --- 五、视频:Veo 生成 视频走独立路由(Itzyk视频端点),计费按秒。联调时先用短时长(如 4~5 秒)验证。Veo 系列擅长电影感运镜与更接近真实的物理表现,适合短广告与社媒素材。 视频生成是长任务:可能同步返回结果 URL,也可能进入异步轮询(以平台当前实现为准)。客户端要做好超时与重试;失败一般不扣费或按规则回退,具体以控制台费用记录为准。 推荐流水线: 1. Chat 生成分镜文案与中英文 prompt 2. Images 出关键帧 / 海报,确认视觉风格 3. Video 用同一视觉描述生成短片 这样品牌调性一致,也方便对账(三次请求都能在账单里按模型拆开)。不要一上来就生成 15~30 秒视频:先验证 5 秒镜头语言,再拉长,能少烧不少冤枉钱。 --- 六、Node.js 一次串起文本 + 出图 这段代码演示了多模态业务的最小闭环: 模型帮你写文案,再把文案嵌进出图 prompt 。产品上可以再加一步:让用户从三张候选图里选一张,再触发视频生成。 工程上建议把「Chat / Image / Video」拆成三个服务函数,统一记录 usage 与业务单号,方便客诉时回溯。 --- 七、计费与成本控制 | 类型 | 计费单位 | 注意点 | |------|---------|--------| | 文本 | Token(输入/输出) | Flash 日常,Pro 离线任务 | | 图像 | 张 | n=4 按 4 张计;失败不计 | | 视频 | 秒 | 时长越长越贵,先短后长 | 控制台可查每次请求的 usage / cost / 余额。调试阶段建议: - 文本默认 Flash,关掉不必要的长 system prompt - 图像先 n=1 ,满意再批量 - 视频先 4~5 秒验证 prompt,再拉长 - 给免费用户设日配额,防止刷图刷视频 公开价格页(无需 Key)也可先做成本估算,再决定产品定价。若你的 SaaS 要对外售卖「每张图 X 元」,务必在售价里覆盖平台成本、失败重试与毛利,不要只按理想成功率测算。 --- 八、错误码速查与稳定性建议 | HTTP | 含义 | 建议 | |------|------|------| | 401 | Key 无效/过期 | 重建 Key,检查 Bearer | | 402 | 余额或额度不足 | 充值或提高 Key 限额 | | 403 | IP/模型未授权 | 放开白名单与模型权限 | | 429 | 限流 | 退避重试,降低并发 | | 502/503 | 上游异常 | 稍后重试,查状态页 | 多模态链路里,建议对图像/视频单独做超时与幂等:同一次用户点击不要重复连发 5 次视频任务。可用「任务表 + 状态机」: pending → running → success/failed ,前端轮询任务状态,而不是让用户狂点按钮。 同时给运维留告警:余额过低、5xx 比例升高、视频队列堆积,都应能通知到人。 --- 九、场景示例:电商活动素材中台 假设你要做「双十一主图 + 15 秒短视频」: 1. 运营在后台填写商品卖点(文本) 2. 服务端调 Flash 生成 3 条 Slogan 与画面描述 3. 调文生图生成 3 张主图,运营点选 4. 用选定风格生成 5 秒试片,满意后再出完整时长 5. 所有请求绑定 campaign id ,月底按活动维度出成本报表 整条链路只用一个Itzyk Key,财务只看一份账单,研发只维护一套客户端封装——这就是多模态统一网关的价值。 --- 十、提示词工程:让图和视频更「听话」 多模态效果差,一半是模型问题,一半是描述问题。可以固定一个「视觉 brief」模板,让 Chat 先填空,再交给图像/视频: 1. 主体 :商品/人物/场景,越具体越好 2. 动作 :静止特写还是缓慢推进 3. 光线 :侧光、逆光、橱窗光、阴天柔光 4. 色彩 :暖色、冷色、品牌主色(给色值更稳) 5. 文字 :要渲染的文案 + 位置 + 字体风格(如「粗黑体」) 6. 禁忌 :不要出现的元素(竞品 logo、乱码文字、多余手指等) 把模板固化成 system prompt,运营只需填「卖点」和「风格关键词」,产出会稳定很多。团队协作时,把优秀 prompt 沉淀进素材库,比每次从零写更重要。 图生视频时,尽量保持与选定主图同一套描述词,只改「镜头运动」和「时长」,主体一致性会更好。 --- 十一、产品侧交互建议 多模态生成往往比纯文本慢,产品设计要匹配预期: - 文本 :可流式,强调「秒回」 - 出图 :展示进度或骨架屏,允许「再来一张」 - 出视频 :异步任务 + 通知(站内信/邮件),不要让用户干等一分钟盯着转圈 对失败要有话术:「生成失败,未扣费/已退回,请调整描述后重试」。对成功要展示费用或剩余配额(面向 C 端套餐时尤其重要),减少客服咨询。 若面向内部运营工具,可以做成「队列看板」:谁提交了什么任务、耗时、成本、结果链接,方便复盘哪类 prompt 性价比最高。 --- 十二、小结 Gemini 多模态接入在Itzyk上的心智模型很简单: 一个 Key,三个端点,三种计费单位 。先跑通 Chat,再用同一 Key 出图、出视频,就能把「文案 → 视觉 → 动态」收进一条产
本文发布于 Itzyk API(AI API 网关,OpenAI 兼容)。更多: 文章中心 · 开发者文档 · API 服务 · 价格。