南京邮电大学

一种基于机器学习的VR场景沉浸控制方法

摘要

本发明涉及一种基于机器学习的VR场景沉浸控制方法，使用基于隐马尔科夫模型的用户位置学习算法，预测用户的位置，进而通过VR场景音频输出设备指向用户算法，根据用户位置，调整VR场景音频输出设备的指向，进而达到调整声源指向的目的，并通过实时调节音量算法，解决距离衰减的问题，从而实现用户在空间随机移动时，在空间内任何一个位置听到的声音效果完全相同，完美的解决了这个问题，为VR用户提供了更多的自由度。

主权项

一种基于机器学习的VR场景沉浸控制方法，其特征在于，包括如下步骤：步骤A01.针对L个VR音频录制设备所采集音频信号对应的MIT HRTF数据库，获取MIT HRTF数据库中的各个音频信号对象xn，1≤n≤N，xn表示MIT HRTF数据库中第n个音频信号对象，N表示MIT HRTF数据库中音频信号对象的数目；接着分别针对各个音频信号对象xn，获得音频信号对象xn所对应的各个指定音频特征属性值xns，并构建该音频信号对象xn的特征向量p(xn)＝{xn1、…、xns、…、xnS}，1≤s≤S，xns表示第n个音频信号对象所对应的第s个指定音频特征属性值，S表示指定音频特征属性的数目，各个指定音频特征属性包括方位角；然后根据W个VR场景音频输出设备，构建W个聚类簇，初始化迭代次数g＝1，并进入步骤A02；步骤A02.由N个音频信号对象中随机选取W个音频信号对象，作为W个初始音频信号对象，剩余各个音频信号对象作为各个待处理音频信号对象，构建待处理音频信号对象集合M＝{x1、…、xl、…、xL}，1≤l≤L,L＝N‑W，然后进入步骤A03；步骤A03.将W个初始音频信号对象的特征向量分别一一对应加入至各个聚类簇中，分别作为各个聚类簇中的向量元素，并分别获得各个聚类簇中所有向量元素的初始均值向量a1、…、aw、…、aW，1≤w≤W，然后进入步骤A04；步骤A04.分别针对待处理音频信号对象集合M中的各个待处理音频信号对象，获得待处理音频信号对象xl分别与各个聚类簇初始均值向量aw的距离dlw，并将该待处理音频信号对象xl加入至最小dlw所对应的聚类簇当中，进而将待处理音频信号对象集合M中各个待处理音频信号对象分别加入至对应聚类簇当中，然后进入步骤A05；步骤A05.判断迭代次数g是否等于预设最大迭代次数，是则进入步骤A08；否则进入步骤A06；步骤A06.分别获得各个聚类簇中所有向量元素的均值向量a′1、…、a′w、…、a′W，并针对各个聚类簇，判断各个聚类簇初始均值向量aw与对应均值向量a′w是否均相等，是则进入步骤A08；否则进入步骤A07；步骤A07.分别针对各个聚类簇，获得聚类簇初始均值向量aw与对应均值向量a′w之间的差值，并获得W个差值的平均值，作为调整幅度值，然后判断调整幅度值是否小于预设最小调整幅度阈值，是则进入步骤A08；否则回滚本次迭代中步骤A02至步骤A04的操作，并针对迭代次数g的值进行加1更新，然后返回步骤A02；步骤A08.分别针对各个聚类簇，获得聚类簇中各个向量元素方位角的均值，并与MIT HRTF数据库中音频信号对象的方位角进行对比，确认该聚类簇所对应的方位角，并与VR场景音频输出设备的摆放位置进行映射，进而将各个聚类簇一一对应映射到W个VR场景音频输出设备，实现L个VR音频录制设备到W个VR场景音频输出设备的音频信号映射控制。