FashionMind 是 谷歌云开发者关系团队工程师 Annie Wang 于 2026 年 3 月公开的实时语音穿搭助手参考实现,主要用于全双工语音对话与摄像头画面内的穿搭点评,支持跨会话记忆与商品目录联动,适用于线上导购、个人穿搭咨询与场合着装规划等场景。
| 基础信息 | 内容 |
|---|---|
| 产品定位 | 实时语音穿搭导购的开源参考实现 |
| 出品方 | 谷歌云开发者关系工程师 Annie Wang |
| 发布时间 | 2026 年 3 月 29 日开源;11 月国内集中收录 |
| 开源协议 | Apache-2.0 |
| 底层模型 | Gemini Live 2.5 Flash(原生音频) |
| 技术栈 | 后端 FastAPI 与 ADK,前端 React 与 TypeScript |
| 记忆方案 | Cloud SQL 存事实,Memory Bank 存偏好 |
| 商品联动 | 目录全量注入上下文,后端匹配文本后推送界面事件 |
| 部署前提 | Python 3.11 以上、Node 18 以上,需自有 GCP 项目与结算账号 |
| 已知限制 | 硬编码数据库密码;目录重载接口无鉴权;会话不跨实例 |

FashionMind 的核心能力
FashionMind 的能力集中在语音链路的延迟控制上,官方在说明与代码里给出的都是可复核的时间量级。以下按五项能力逐条说明。
全双工语音对话与随时打断
语音链路由 Gemini Live 原生音频模型承担,浏览器把 16kHz 的连续音频经 WebSocket 推入后端,后端用两个并发任务分别处理上行与下行。连续音频走实时通道,由语音活动检测判定说话边界;图像与文本走离散通道,一次提交一个完整回合。打断在本地判定,检测到用户开口即停止播放,不等待服务端口令回传,因此插话的响应不受网络往返影响。端到端融合路线的开源做法可参考站内 MiniCPM-o 4.5。
摄像头画面内的穿搭点评
前端通过独立的快照消息提交摄像头画面,一次一张 640×480 的 JPEG,由用户在需要点评穿搭时主动触发。仓库的系统提示里另外描述了每秒一帧的连续视频输入,但当前前端组件实现的是手动分享,两者需要区分。这条链路对带宽要求不高,代价是画面细节有限,衣物材质与细小花纹的辨识需要用户靠近镜头。官方案例的流程是用户开启摄像头、描述场合,助手结合快照给出搭配意见,不需要额外上传照片。
商品提到即高亮的一轮完成
商品目录在会话开始时整段注入模型上下文,作者估算约 50 件商品时每轮约 300 个 token,商品增至 200 件时每轮约 1600 个 token,模型因此无需调用检索工具即可回答库存与款式问题。当前版本的代码已把推荐类工具从工具列表中移除,改由后端在模型输出的转录文本里匹配商品名,命中后直接向前端推送界面事件。作者在演示环境中报告,目录高亮与语音报价可落在同一轮,响应约 200 至 400 毫秒;这是观测值,不等于所有目录规模下的保证。
跨会话的三层记忆
记忆按性质分成三层。订单、日程、愿望清单这类事实存进 Cloud SQL,按条件精确查询;风格偏好这类理解交给 Memory Bank,由模型在会话结束后提炼;实时音频以转录文本参与后续记忆提取,Memory Bank 存的是抽出的稳定偏好,而非音频波形本身。仓库的记忆配置设定了七个提取主题:用户偏好与个人信息为托管主题,穿衣风格认同、标志性单品、舒适度限制、视觉特征与场合背景为自定义主题。分层记忆的通用背景可参考站内 AI 智能体 一文。
明确指令的即时写入
用户在对话中说出「加进愿望单」这类明确指令时,模型调用工具在当前回合同步写入数据库并给出确认,写入路径不经过模型归纳,因此不产生额外等待。偏好类信息走另一条路径,会话结束时由 ADK 回调提交历史记录,WebSocket 断开时也会显式触发一次保存,由 Vertex AI Memory Bank 提取长期偏好。这一取舍的原因是提炼需要模型通读上下文,而在全双工语音里插入一次模型往返会造成冷场。
FashionMind 与 Claude Commerce Agents、GPT-Live-1.1 的对比
下表按出品方、开源协议、部署前提等维度对照。Claude Commerce Agents 同属厂商开源的电商类参考实现。
| 对比维度 | FashionMind | Claude Commerce Agents | GPT-Live-1.1 |
|---|---|---|---|
| 出品方 | 谷歌云开发者关系工程师 | Anthropic | OpenAI |
| 发布时间 | 2026 年 3 月 29 日开源 | 2026 年 9 月 2 日 | 2026 年 10 月 15 日 |
| 开源协议 | Apache-2.0 | Apache-2.0 | 未开放权重 |
| 产品定位 | 实时语音穿搭导购参考实现 | 电商智能体参考实现 | 全双工实时语音模型 |
| 交互形态 | 全双工语音与摄像头画面 | 文本对话与工具调用 | 全双工语音,可随时打断 |
| 商品侧处理 | 目录全量注入上下文,说到即高亮 | 购物端与商家端各一套角色 | 不涉及商品目录 |
| 部署前提 | 自建,需自有 GCP 项目与结算账号 | 托管版或自建,走 Messages API | 随订阅档位提供,API 待开放 |
- 表格内数据来源:FashionMind 一列取自 GitHub 仓库 README 与后端代码;Claude Commerce Agents 一列取自站内评测页记载的发布信息;GPT-Live-1.1 一列取自站内评测页。三款产品的形态不同,跨形态比较只作定位参考。
- 产品对比简述:开源协议上,FashionMind 与 Claude Commerce Agents 同为 Apache-2.0,GPT-Live-1.1 未开放权重;交互形态上,FashionMind 支持全双工语音与摄像头画面,Claude Commerce Agents 以文本对话与工具调用为主。
同为实时语音方向的国产模型可对照腾讯混元的 Hy Realtime,站内已收录独立评测页。
FashionMind 的应用场景与适用人群
以下场景以可自建复现的导购与穿搭咨询流程为主。
- 线上导购对话:顾客用语音描述需求,助手结合目录与购买记录给出推荐,界面同步高亮对应商品卡片,适合需要降低客服输入成本的自营商城。
- 个人穿搭咨询:打开摄像头展示当日穿搭,助手在同一回合内给出评价,并在下次打开时沿用此前的风格偏好。
- 场合着装规划:助手读取日程与场合记录后提前给出搭配建议,并把候选商品加入愿望清单,流程横跨结构化数据与语音对话两条链路。
适用人群:具备 GCP 项目与后端开发能力的团队,用于验证语音导购或带记忆的实时 Agent 形态。只有业务需求、没有研发资源的商家不适合直接部署,参考实现的价值在架构而非成品。
FashionMind 的使用方法
官方只给出一条自建路径:从仓库取代码,在本机分别启动后端与前端。
- 从 GitHub 仓库 克隆代码,按 README 准备 Python 3.11 以上与 Node 18 以上的运行环境。
- 在 GCP 项目中启用结算,执行仓库提供的
setup_gcp.sh,由脚本创建 Cloud SQL 实例与 Agent Engine 资源。 - 填写 .env 中的数据库连接与模型配置,默认模型标识为
gemini-live-2.5-flash-native-audio,可按需替换。 - 启动后端服务与前端页面,浏览器授权摄像头与麦克风后开始对话,首轮前会等待记忆召回完成。
- 核对资源与费用:脚本创建的是真实云资源,验证结束后需自行清理,避免持续计费。
- 部署前确认 Gemini Live 2.5 Flash 的生命周期状态,官方文档已给出退役安排,必要时预留模型升级方案。
启动阶段会先等待记忆召回,再放开实时音频连接,官方在代码里给记忆召回设了 8 秒上限、数据库上下文查询设了 2 秒上限,超时则不带记忆开始对话。会话状态当前存放在进程内存中,重启服务会丢失正在进行的那一轮对话。
FashionMind 的价格方案
项目本身免费,运行成本全部落在自有云资源与模型调用上。
- 代码:Apache-2.0 许可免费使用,允许商用与二次开发。
- 云资源:需自有 GCP 项目,Cloud SQL、Agent Engine 与 Memory Bank 按 Google Cloud 价目计费。
- 模型调用:初始化脚本设置 GOOGLE_GENAI_USE_VERTEXAI=TRUE,默认经 Vertex AI 调用 Gemini Live 2.5 Flash,按对应服务计费。
- 生命周期:该模型在官方文档中已标注退役安排,部署前应确认可用版本并预留升级方案。
- 演示数据:仓库附带商品与用户的种子脚本,可本地生成,不产生额外费用。
官方未给出整体运行成本的估算值,实际支出取决于会话时长、目录规模与记忆召回次数。目录规模是主要变量,官方说明约 200 件商品时每轮 token 开销明显上升。
FashionMind 的常见问题
FashionMind 是谷歌官方产品吗
不是。它是 Google Cloud 开发者关系工程师 Annie Wang 开源的示范项目,配合 Google Cloud Tech 频道的实时语音系列视频讲解,仓库挂在个人账号下,采用 Apache-2.0 许可。
FashionMind 为什么不用工具调用做商品推荐
当前代码已把推荐类工具从工具列表中移除。作者的测量针对需要确认再查询的交互流程,一次工具调用要多耗两个语音轮次、6 至 16 秒,因此改为后端在模型输出的转录文本里匹配商品名,再由前端高亮对应卡片。这一延迟不是所有工具调用的固定开销。
FashionMind 能直接商用吗
许可允许商用,但仓库仍是参考实现。初始化脚本内含硬编码数据库密码,目录重载接口没有鉴权,会话状态存在进程内存中、多实例下不共享,上生产前需自行补齐。
FashionMind 需要什么运行环境
Python 3.11 以上、Node 18 以上,以及一个启用结算的 GCP 项目。仓库提供的初始化脚本会真实创建 Cloud SQL 与 Agent Engine 资源,运行前应确认账单承受能力。
FashionMind 是 2026 年 11 月发布的吗
不是。仓库创建于 2026 年 3 月 22 日,作者两篇技术文章与 README 均在 3 月 29 日发布,最后一次代码提交在 4 月 22 日。2026 年 11 月 17 日是部分国内工具导航站建立介绍页的日期,容易被误读成发布日。判断首发应看仓库提交记录与作者原文,同名应用 Fashion Mind: AI Designer 与本项目无关。
浙公网安备33010202004812号