脑机接口 · 人机共创
EmpBrush
一个结合被动式脑机接口、生成式 AI 与机器人绘画的人机共创系统，将参与者的状态线索转化为机器人在共享画布上的实体回应。
2026.03 — 2026.09
研究 · 交互设计 · 原型开发
代尔夫特理工大学 IDE 应用实验室
可运行系统 · 项目已完成
项目概述
脑机接口如何参与人与机器人共同绘画？
EmpBrush 探索脑机接口如何参与人机共同创作。参与者佩戴 Emotiv EPOC X，与一台 7 自由度 Franka 机械臂在同一张实体画布上轮流绘画。系统结合参与者的状态线索与当前画面，生成机器人的下一次视觉回应，并将其转化为真实笔触。
机器人的贡献不是最终结果，而是下一轮创作的起点。参与者可以继续发展画面，也可以保留、覆盖、修改或拒绝机器留下的笔触。
共同绘画体验
一次共同绘画如何发生
EmpBrush 不是让脑电直接控制机械臂，而是把人的状态、当前画面与机器的下一次回应组织成一个可以持续往返的创作过程。
参与者佩戴脑机接口设备，在共享实体画布上自由作画。
每个机器人回合开始时，系统同步取得当前画面与 EEG 衍生状态线索。
生成结果被转化为颜色、线条和可执行笔触，由 Franka 画在同一张画布上。
参与者可以保留、覆盖、修改或拒绝机器的贡献，并开始下一轮。
两轮形成性研究
先确认视觉线索能否被读懂，再把它交给机器人。
两轮在线研究不是主实验，也不是严格的前后对照。它们用于发现初始视觉语言中的歧义，并把研究结果转译成 Colour painting 与 Sketch 两种系统配置。
抽象刺激暴露了线条表达的歧义。
参与者分别判断四组色彩主导刺激和四组线条主导刺激。色彩条件的预期类别匹配约为 63%–68%；线条中的 Angry 与 Relaxed 较清楚，但 Happy 与 Sad 只有约 37% 和 42%。
设计回应不再让线条单独承担效价表达；第二轮统一画面内容，并测试 Colour、Line 与 Combined 三种配置。
统一构图后，组合线索最稳定。
第二轮把刺激放进相同的“山上小屋”构图中。Colour-only 为 85%–93%，Combined 为 89%–96%；Sad 的 Line 条件仍然最弱，约为 63%。
两轮同时改变了表现内容和视觉特征，因此第二轮结果只能说明修订后刺激的可读性，不能被解释为单一变量造成的提升。
Colour painting 主要通过明度、饱和度和辅助色相表达状态。
Sketch 将色彩点缀与密度、方向、曲率等线条特征结合。
21 色实体颜料盘进一步限制低明度蓝灰色的还原，网页不会把它包装成已解决的问题。
被动式脑机接口与系统机制
从状态与画面，到机器人留在共享画布上的下一笔。
参与者佩戴 Emotiv EPOC X。每个机器人回合开始时，系统同步取得 EEG 衍生状态线索与当前画面；经过个人基线、视觉条件和局部生成后，结果被转译为可以被人继续回应的实体笔触。
14 通道 Emotiv EPOC X
128 Hz · 回合级采样 + 画布拍摄
个人基线归一化
Interest / Excitement → 效价 / 唤醒
四个效价—唤醒象限约束颜色与线条，并结合当前画面生成局部回应
生成结果映射到 21 色实体色盘并提取笔触，由机械臂画在共享画布上
它能改变系统回应，不能证明系统理解了人。
- 输入是什么
- 供应商模型输出的粗略 EEG 衍生指标，并依据参与者个人基线解释。
- 系统怎样使用
- 只在预设回合节点取样，用来约束下一次视觉贡献的色彩和线条。
- 人如何保持主导
- 机器人留下的是可见提案；参与者可以保留、覆盖、修改或拒绝它。
闭环不是 EEG → 机器人就结束。真正的交互闭环是：人的状态与画面 → EEG 衍生线索 → 机器人实体笔触 → 人对笔触的解释与下一步创作。
主实验 · 探索性设计探针
两位参与者分别完成四种条件；比较的不是两个人，而是同一个人在不同回应方式下的体验。
主实验采用 2 × 2 被试内设计。每种条件包含两次人类回合和两次机器人回合；画布大小、机器人贡献次数和任务说明保持一致。参与者直到最终访谈结束才得知两种回应方式的区别。
如何阅读下面的矩阵：每一行是一种完整条件；顶部人物与机械臂图标表示人—机—人—机—人的连续演进。P01 与 P02 是两位不同参与者，不是两轮形成性研究。
参与者 01 的四种条件与完整画布演进
P01 先完成色彩绘画，再完成速写。她在两种绘画配置中都认为 Affect-conditioned 回应与自己的创作过程更有连接。
参与者 02 的四种条件与完整画布演进
P02 先完成速写，再完成色彩绘画。她在两种绘画配置中都认为 Canvas-conditioned 回应与自己的创作过程更有连接。
结果与解释
情绪表达更清楚，不等于机器人一定更有回应感。
Affect 更有连接
两种绘画配置中，P01 都选择 Affect-conditioned 更 connected。她认为系统提供了更明确的方向，同时强调机器的影响并没有夺走自己的自主性。
Canvas 更有连接
两种绘画配置中，P02 都选择 Canvas-conditioned 更 connected。她能清楚感知情绪变化，但认为系统有时表达得太满，应当给人的情绪表达留下空间。
- 两人一致
- Affect-conditioned 在 Colour 与 Sketch 中都获得更高的情绪清晰度评分。
- 两人分歧
- P01 把清晰方向理解为连接；P02 则可能把过强的情绪表达体验为侵入。
- 设计结论
- 永久留在画布上的痕迹必须是可协商的提案，而不是替画者完成情绪表达。
反思
局限不是附注，而是设计的一部分。
目前的局限
- 主实验只有两位参与者，结果用于提出设计假设，不能推广为普遍体验。
- Interest 与 Excitement 是供应商提供的粗略指标，不是对参与者真实情绪的直接测量。
- Canvas-conditioned 总是在 Affect-conditioned 之前完成，因此条件差异也可能受到疲劳和顺序影响。
- 绘画媒介与回应通道共同变化，无法把 Colour 与 Sketch 的差异归因于单一变量。
- 生成内容和视觉风格进入同一个提示过程，不能保证语义内容与情绪风格完全分离。
下一步
- 让画者接受、修改或拒绝机器的情绪方向
- 测试局部渲染与可调节的表达强度
- 扩大并多样化参与者样本
- 分别评价情绪匹配与创作价值
- 探索匹配之外的安抚、转向与对比策略