强化学习是一种用于解决序列决策问题的常用机器学习方法,核心思想是让智能体与环境交互获得反馈,从而逐步学会最佳策略.随着实际应用对计算能力和数据规模的要求不断提高,单体智能转向群体智能逐渐成为人工智能未来发展的必然趋势,这为强化学习带来诸多新的机遇和挑战.文中首先从深度多智能体强化学习概念着手,针对目前的理论困境,如可拓展性较差、效用分配较难、探索-利用困境、环境非稳态、信息部分可观测等问题,进行提炼和分析.然后,详细阐述目前学者对于这些问题提出的多种解决方法及其优缺点.最后,介绍当前多智能体强化学习的典型训练学习环境和智慧城市建设、游戏、机器人控制、自动驾驶等复杂决策领域的实际应用,并总结协作多智能体强化学习面临的挑战和未来发展方向.
作为形式概念分析的扩展,三元概念分析在高维数据的理论和应用中均取得显著效果.然而,数据量的极速增长导致三元概念的生成算法的时间复杂度呈指数级增长,在现实应用中面临巨大挑战,需要构造并行算法.因此文中提出适用于大规模数据的三元概念分布式并行构造算法,首先给出对象-属性和属性-条件三元概念的相关理论,并证明所有三元概念可通过合并这两种类型的中间概念生成.然后,采用两阶段聚合策略,改进Spark框架中的弹性分布式数据集操作符,有效解决数据倾斜问题,明显提升算法的运行效率.最后,在多个公开数据集上的实验表明,文中算法在海量数据中的三元概念生成过程中表现高效.
在获取稀缺水下图像时图像生成技术至关重要,通常依赖有序配对数据.考虑到实际海洋环境中获取该类数据受限,引入CL-GAN(Contrastive Learning-Based Generative Adversarial Network),克服图像域双射条件的限制,但由于随机采样的负样本质量较低,模型难以从水下噪声图像中学习复杂内容特征.因此,文中提出基于硬负样本对比学习的特征级生成对抗网络(Hard Negative Sample Contrastive Learning-Based Feature Level Generative Adversa-rial Network, HCFGAN),用于水下图像生成.为了提高负样本质量,提出硬负样本采样模块(Hard Negative Sampling Module, HNS),挖掘样本间的特征相似性,将靠近锚点样本的硬负样本加入对比损失中,学习复杂特征.为了保证负样本的复杂性和全面性,构造负样本生成模块(Negative Sample Generation Module, NSG).通过NSG和HNS的对抗性训练,确保硬负样本的有效性.为了提高模型对水下模糊图像的特征提取能力及训练稳定性,设计上下文特征生成器和全局特征判别器,增强对细微内容特征和水下风格信息的感知能力.实验表明,HCFGAN生成的水下图像具有良好的真实性和丰富性,在水下图像生成实际应用中具有重要价值.
当前方面级情感分析方法大多通过依赖树和注意力机制提取情感特征,容易受上下文无关信息的噪声干扰,往往忽略对句子全局情感特征的建模,难以处理隐含表达情感的句子.为了解决该问题,文中提出基于对比学习的多视角特征融合方面级情感分析模型(Contrastive Learning Based Multi-view Feature Fusion Model for Aspect-Based Sentiment Analysis, CLMVFF).首先,使用图卷积网络编码依赖图、成分图和语义图中的信息,并在每个图中构建全局情感节点,学习全局情感特征,同时引入外部知识嵌入,丰富情感特征.然后,通过对比学习减少噪声的负面影响,并结合相似度分离增强情感特征.最后,融合依赖图表示、成分图表示、语义图表示和外部知识嵌入,得到多视角特征增强表示.在3个数据集上的实验表明,CLMVFF的性能取得一定提升.
知识图谱推理是解决知识图谱不完整性的重要手段之一.针对现有基于嵌入的推理模型依赖准确事实,可解释性较差,而基于规则的推理模型过于依赖图谱的完整性,数据稀疏时推理性能较低,无法准确表达推理模式.因此文中提出联合规则推理模式和事实嵌入的知识图谱推理模型(Knowledge Graph Reasoning Combining Rule Inference Patterns and Fact Embedding, RPFE).首先,将BoxE作为基础嵌入模型,实现事实的嵌入表示.再设计推理模式差异性函数,辅助嵌入模型捕获不同推理模式的规则,并对规则学习提供直观的嵌入解释.然后,提出事实距离一致性评分函数,强化嵌入表示.最后,优化规则和事实得分,弥补知识图谱高质量事实不足的缺陷,进而提升模型推理的可解释性.在3个公开数据集上的实验表明RPFE在知识图谱推理方面的优越性.