Why
不舒服的人,往往不会主动说
现有陪伴机器人会聊天,却很难在“该不该介入”上保持克制;传统按摩设备又需要手持,老人和儿童使用不便。
◌
说不出口的需求
独居老人肩颈、腹部不适时,常选择忍一忍。机器人如果只会被动应答,就错过了关心的时机。
✋
手持设备有门槛
按摩仪需要持续举握、对准部位,对腕力和操作能力有要求,也难以与陪伴交互结合。
◍
误报比漏报更扰人
摄像头一旦“自作主张”,就会侵犯边界。只有把证据门槛、询问和同意写进流程,才敢放进家里。
How it works
四步闭环:看见 → 询问 → 同意 → 执行
不是“识别到动作就按摩”,而是把决策权留在人手里。每一步都有可测试的门槛。
看见
摄像头或视频每 2 秒抽 1 帧,本地模型逐帧描述人物动作与接触部位,最多保留 6 帧。
询问
至少 2 轮有效观察、证据跨度 ≥4 秒、模型间隔 ≥8 秒,机器人才会开口,避免一次性误判。
同意
语音回答“需要”或点击按钮,才生成一次性确认令牌;拒绝、取消、45 秒超时都不执行。
执行
只允许应用层白名单动作;完成后进入 120 秒冷却。真实 N2 运动默认锁止,需现场三重条件才开启。
采样 2 s / 帧
有效证据 ≥2 轮
证据跨度 ≥4 s
询问超时 45 s
冷却 120 s
真实运动 默认关闭
Interactive walkthrough
点一遍完整流程
下面是按真实状态机编写的前端流程演示,用于展示交互与话术。它不是模型推理,也不会连接机器人。
FamilyMate · 8501 界面流程复刻
前端模拟 · 非真实推理
待机 · IDLEMOCK
🤖
早上好。我会先观察,不会一上来就打扰你。
操作
点击“开始观察”,模拟摄像头看到你反复活动肩颈。
真实系统中:模型只能输出 ASK_USER,不能生成 SDK 参数;动作由应用层白名单决定。
此处冷却加速为 8 秒显示,实际为 120 秒。
此处冷却加速为 8 秒显示,实际为 120 秒。
Hardware
自研 3D 打印按摩道具
非接触按摩拍为参数化 OpenSCAD 建模,改尺寸即可重新打印;另有两款球头小锤,均已完成切片。全部为演示道具,接触安全性未测试。
STL 实时渲染
拖动旋转 · 滚轮缩放
Architecture
模型只管“理解”,动作交给白名单
Windows 本机完成视觉、语音与决策;N2 板端只暴露受限的语音与运动网关。模型无法直接下发速度、索引或坐标。
输入摄像头 / 视频 / 图片
感知Qwen3-VL-2B 多帧描述
线索补丁手接触颈/腹、皱眉闭眼
状态机证据门槛 · 同意令牌 · 冷却
↓ 只输出 ASK_USER,不生成控制参数 ↓
交互Whisper 识别 · SAPI/机器人播报
服务肩颈 / 腹部 / 疲劳 / 限频反馈
安全层动作白名单 · 软件锁止
N2 板端8766 语音 · 8777 受限运动
✓连续证据门槛:至少两轮观察、跨度 ≥4 秒,单帧不触发。
✓明确同意:一次确认只对一次服务有效,过期作废。
✓失败保守:超时、空输出、非法 JSON、低置信度一律不执行。
✓默认 Mock:真实运动需环境开关 + workmode=2 + 界面切换。
Honest status
哪些做到了,哪些还没做到
比赛材料不把计划写成结果。以下状态与工程报告一致;未做盲测,就不写准确率。
| 模块 | 实际状态 | 结论 |
|---|---|---|
| 本地视觉感知 | Qwen3-VL-2B-Instruct 在真实 1080p 视频上跑通多帧描述;4 帧约 9.7–12.8 秒,峰值显存 3.1 GB。 | 已验证 |
| 行为线索 | 揉颈、捂腹、疲劳三类素材可产出询问,正常活动保持安静;但依赖确定性规则补丁,存在误报,未做盲测。 | 部分可用 |
| 语音与播报 | Whisper Base 按键录音单句识别;电脑 SAPI 播报;N2 真机扬声器播放测试句已由用户现场确认。 | 已验证 |
| 安全决策链 | 两轮证据、同意令牌、冷却、锁止均有单元/集成测试;项目文档记录全量 140 项通过(本次未复跑)。 | 已验证 |
| N2 运动接入 | 受限网关代码与测试完成;SWING 预设经手柄确认,程序侧提交过一次命令;未完成端到端动作验收。 | 未完整验收 |
| 人工示教动作 | “捶背2”现场回放幅度过大、动作不对,已从板端配置移除,不可用于演示。 | 不可用 |
| 3D 打印道具 | 非接触按摩拍、球头小锤 A(加长柄)、球头锤头 B(平放):模型、STL、3MF、G-code 齐全并完成切片;打印照片与装配记录未在工程留存,接触安全性未测试。 | 文件齐全 |
| 最终演示视频 | 工程内未找到成片,仅有拍摄脚本与输入素材;需补录 3 分钟主片。 | 待补录 |
Materials
工程与设计文件
完整提交包包含源码、3D 模型、四版海报、真机验证与答辩材料。
源代码与说明Python · Streamlit · 感知/决策/网关分层,74 个文件
非接触按摩拍 STL99.5 × 40 × 8.2 mm · PLA · 可直接切片
闭环实测记录23 秒完整因果链的真实终端输出与时间账
海报含概念示意与团队联系方式,未在本公开页面展示;完整物料见提交压缩包。
本项目为辅助照护演示原型,不提供医疗诊断或疗效,不替代专业理疗与护理。

