随着脑机接口(BCI)技术近几年的快速发展，科研人员也将脑机接口(BCI)技术融入在娱乐游戏种经行深入研究，因此除临床应用外，脑机接口(BCI)技术也可以成为一种的娱乐方式。目前，大多数BCI游戏由于控制性能差或容易引起疲劳而无法广泛推广。BCI技术在游戏交互中的应用越来越流行，在过去几年已经进行了大量的研究。在先前研究中的BCI游戏中，P300电位、稳态视觉诱发电位(SSVEPs)和运动意象(MI)是使用EEG(EEG)信号的最常见游戏。因为P300的稳定性，不易引起疲劳，并且用户不需要经过特殊培训。因此微美全息(NASDAQ:WIMI)采用P300脑机接口设计游戏模型，以探索在实际环境中使用脑电图(EEG)信号进行可行且自然的游戏执行体验。
WIMI微美全息这项研究的新颖性体现在设计BCI游戏和范式，其整合了游戏规则和BCI系统的特点。此外，引入卷积神经网络(CNN)算法，在训练样本上实现高精度。这种BCI系统不仅为用户提供了一种娱乐形式，而且还为游戏提供了更多操控的可能性。
在过去的十年，深度学习在许多领域得到了快速发展，例如计算机视觉，自然语言处理和语音处理。研究人员提出了一些新颖的深度架构，它们在图像分类方面实现了高精度。近年来，卷积神经网络(CNN)已被用于P300检测，使用CNN对P300脑电信号进行识别和分类，可以得到良好的效果。为提高模型的泛化，并实现了最先进的P300信号分类和字符识别。需要CNN一个大型数据集来训练非线性数据，因此在小型数据集上会发生过拟合。但是，在实际应用中收集大量的训练数据是非常困难的。因此，我们提出了一种基于卷积神经网络(CNN)的新架构，以在小型训练数据集上实现最先进的P300信号分类和字符识别。
微美全息(NASDAQ:WIMI)设计了一个基于CNN的P300 BCI游戏模型，并提出了一种基于贝叶斯深度学习的算法，解决了在小数据集上训练时的过拟合问题。让基于P300的BCI游戏模型的成功应用，而且证明了可以应用于在线BCI系统的深度学习算法。
WIMI微美全息基于CNN BCI游戏模型系统框架包含三个子系统，即数据采集部分、数据处理部分以及视觉和游戏终端。在数据采集部分，使用电极帽和放大器记录多通道头皮脑电信号。信号经过预处理后，数据处理部分可分为离线训练和在线分类测试两步。最后，将分类结果转换为操作命令，并发送到视觉和游戏终端。视觉和游戏终端包括两个子步骤：(1)在刺激策略更新后向用户提供视觉刺激和(2)为用户提供视觉反馈(输出坐标)。
脑电数据采集和预处理
WIMI微美全息基于CNN BCI游戏模型使用32通道电容和放大器，通过非侵入性记录EEG数据，以1000 Hz数字化并使用50 Hz陷波滤波器过滤。收集所有电极数据。为了减少滤波边缘效应的影响，首先过滤记录的数据。带通滤波用于来自每个通道的EEG信号，捕获刺激后 P300 信号的必要信息。然后，对数据进行下采样。对相同字符的数据矩阵进行叠加和平均，以降低信噪比。
CNN 架构
WIMI微美全息基于CNN BCI游戏模型的BCI信号经过预处理后，数据处理部分可分为离线训练和在线分类两步。通过CNN基于贝叶斯反向传播，这是一种变分推理方法，用于学习神经网络权重的后验分布，可以从中对反向传播中的权重进行采样。例如，如果使用高斯分布来表示每个权重参数，则原始权重值可以表示为高斯分布的参数，即平均值和标准差。然后通过变分推理计算后验。
CNN的卷积层需要使用具有权重值的卷积核进行卷积运算。卷积核中的每个权重参数都以高斯分布的形式表示。为了获得一定的权重值，必须使用高斯分布进行采样。因此，在采样过程中，采用重参数化技术将采样过程放在前面，使网络的前向传播成为导数，并在反向传播过程中更新权重。从卷积核的权重分布中抽取一定的权重值，将通过这种方式得到的权重值形成卷积核，在接收场上进行卷积运算。
脑机接口(BCI)是一种非常规的通信方法，可在人与外围之间建立通信路径，最初BCI技术应用于临床领域，通过直接从大脑向计算机发送命令，帮助患者恢复与外界互动的能力。现在除临床应用外，BCI技术也已在娱乐游戏中进行了实验和应用，BCI技术通常用于为游戏提供输入，从而摆脱对中间设备(鼠标，键盘，游戏手柄和游戏控制器)的依赖。WIMI微美全息基于CNN BCI游戏模型，构成了一个可以同时满足健康用户和残疾用户兴趣的平台。对于健康的用户来说，BCI游戏神秘而有技术感，增加了游戏的魅力，非常有利于游戏的推广。对于残障用户来说，BCI游戏为他们提供了一个公平的游戏平台，不仅可以让他们以同样的方式与健康用户玩游戏，还可以作为功能性康复系统，帮助患者进行康复训练。将BCI技术应用于娱乐游戏是推动BCI技术从科研阶段推向实际应用市场阶段的重要环节。
