基于知识图谱的视频标签提取方法与流程

1.本发明涉及的是基于知识图谱的视频标签提取方法，属于深度学习、机器学习和知识图谱技术领域。

背景技术：

2.在信息的基础上，建立实体之间的联系，就能形成“知识”，知识图谱就是这样由一条条知识组成的，每条知识表示为一个spo三元组。知识图谱是google于2012年提出的，目的是用来优化搜索结果，让计算机理解人类信息内在的相关性。
3.经过多年的发展，知识图谱在人工智能的许多行业都拥有了成熟落地的应用。按照知识图谱的覆盖面来看，主要分为通用知识图谱与行业知识图谱。
4.由于视频媒体行业的应用标签比较多样和多变，那么通过完全的深度学习模型去进行预测不太可行。关键词匹配算法是相较于正则搜索法效率较高的一种关键词搜索方法，这样的方法结合知识图谱正好可以应用在视频标签提取。对于视频来讲，直接处理视频或者图片本身去打标签的计算复杂度和设备要求比较高，因此，可以选择将视频的音频内容利用现在比较成熟的语音识别技术将其文本化，再处理文本，这样的经济效益要高很多，效率也会高很多。
5.对于新媒体企业，每年生产大量的视频媒资等素材，保存有海量新闻娱乐媒体的信息。基于这些素材的搜索是一项困难而艰巨的事情，对这些信息进行整合和挖掘更是难上难。想要解决这些难题，首先要对这些数据和信息进行合理有效的整理，有效的整理需要依赖有效且可持续的标签体系，引入ai技术和知识图谱可解决这一问题。

技术实现要素：

6.本发明提出的是基于知识图谱的视频标签提取方法，其目的旨在填补现有技术存在的上述空白，实现在视频媒体领域基于深度学习自然语言处理技术和知识图谱技术对视频进行打标签。
7.本发明的技术解决方案：基于知识图谱的视频标签提取方法，该方法基于深度学习自然语言处理技术和知识图谱技术，应用于视频媒体领域，包括：
8.第一步，根据专业知识整理若干个基础知识包，并将这些基础知识包内的词组按照层级关系整理到excel并导入到知识图谱中,基础知识包是指某一个特定领域的基础知识的所有层级类别以及其对应的实体关键词；
9.第二步，根据第一步得到的基础知识包的特征词的组合特征整理应用知识包，整理这些知识到excel并导入知识图谱中，应用知识包是指视频分类或者应用需要设定的某一些特定规则下的分类标签以及其对应的特征关键词；
10.第三步，利用深度学习的语音识别技术，将视频的字幕信息识别出来，结合标题形成文档并进行预处理；
11.第四步，利用自然语言处理中的关键词匹配技术，按第一步得到的基础知识包的
类别分别查找第三步中得到的文档中的基础知识包内的末端节点的关键词及其基础知识包类别；
12.第五步，利用第四步查找的关键词，反向搜索应用知识包标签，最后进行定制化微调，输出标签。
13.优选的，所述的第一步中，利用cypher的loadcsv命令导入到neo4j 知识图谱中，设所有基础知识包的末端节点集合为baselist，baselist 中包含了所有关键词。
14.优选的，所述的第二步中，设所有应用知识包的末端节点集合为 applylist,applylist包含了所有的应用知识包对应的基础知识包列表及其关键词集合。
15.优选的，所述的第三步中，语音识别技术采用深度学习基于注意力机制和transformer新型神经网络结构的语音识别技术，将视频的音频识别为文本，掐头去尾进行处理，同时将语音识别的文本进行数字、网页符号和特殊符号的预处理，并与标题合并为待测文档。
16.优选的，所述的第四步中，采用开源关键词匹配技术flashtext，根据baselist查找到文档对应的基础知识包名称和关键词集合。
17.优选的，所述的第五步中,搜索应用知识包标签，假设该文档的查找结果集合为set＝{a:[x1,x2,x3]；b:[y1,y2,y3]；c:[z1,z2,z3]},则该文档包含的基础知识包为list＝[a,b,c]，首先通过list和applylist的反向对查，找到applylist的元素是list子集的列表partlist，然后验证 partlist中每个元素中基础知识包的具体关键词集合与set中对应的关键词集合是否有重合，如有重合，则反向查询partlist该元素对应的应用知识包标签链并输出。
[0018]
本发明的优点：1)相较于通用知识图谱，本发明构建的包含基础知识包和应用知识包的知识图谱的数据更加丰富，也更符合新媒体企业业务需求；
[0019]
2)将知识图谱、语音识别、nlp技术联合应用到视频的标签提取中，大大简化了工作的复杂度，标签工作具有更好的继承性和系统性；
[0020]
3)构建媒体知识图谱，可作为基础数据，对于行业、企业发展提供了一个大数据分析平台，且数据更全面，关系更清晰。
附图说明
[0021]
图1是本发明基于知识图谱的视频标签提取方法中基础知识包图谱结构示意图。
[0022]
图2是本发明基于知识图谱的视频标签提取方法中应用知识包图谱结构示意图。
具体实施方式
[0023]
下面结合实施例和具体实施方式对本发明作进一步详细的说明。
[0024]
基于知识图谱的视频标签提取方法，该方法基于深度学习自然语言处理技术和知识图谱技术，应用于视频媒体领域，包括：
[0025]
第一步，根据专业知识整理诸如：地点、政治人物、美食、国家等若干个基础知识包，并将这些基础知识包内的词组按照层级关系整理到 excel并导入到知识图谱中,基础知识包(图1)是指某一个特定领域的基础知识的所有层级类别以及其对应的实体关键词；
[0026]
第二步，根据基础知识包的特征词的组合特征整理应用知识包，比如“娱乐圈”标
签下的“大陆明星”子标签对应的特征是地点基础知识包加明星基础知识包信息，整理这些知识到excel并导入知识图谱中，应用知识包(图2)是指视频分类或者应用需要设定的某一些特定规则下的分类标签以及其对应的特征关键词；
[0027]
第三步，利用深度学习的语音识别技术，将视频的字幕信息识别出来，结合标题形成文档并进行预处理；
[0028]
第四步，利用自然语言处理中的关键词匹配技术，按基础知识包的类别分别查找上述文档中的基础知识包内的末端节点的关键词及其基础知识包类别；
[0029]
第五步，利用第四步查找的关键词，反向搜索应用知识包标签，最后进行定制化微调，输出标签。
[0030]
具体的，
[0031]
第一步中，基础知识包的整理主要是类似：中国
‑‑
云南
‑‑
怒江
‑‑
泸水县,福贡,贡山,兰坪,怒江，这样的有层级的知识整理，并利用cypher 的loadcsv命令导入到形如neo4j知识图谱中；设所有基础知识包的末端节点集合为baselist，baselist中包含了所有关键词。
[0032]
第二步中，应用知识包的标签体系可形如：中国—娱乐文化—娱乐圈—明星—地点名(北京、上海等)+明星人名(陈坤、刘诗诗等)，这样的结构导入到知识图谱中；设所有应用知识包的末端节点集合为 applylist,applylist包含了所有的应用知识包对应的基础知识包列表及其关键词集合。
[0033]
第三步中，语音识别技术，可采用深度学习基于注意力机制和 transformer新型神经网络结构的语音识别技术，将视频的音频识别为文本，可掐头去尾进行处理；同时，将语音识别的文本进行数字、网页符号和特殊符号的预处理，并与标题合并为待测文档。
[0034]
第四步中，可采用一些开源关键词匹配技术如：flashtext，根据 baselist查找到文档对应的基础知识包名称和关键词集合。
[0035]
第五步中,搜索应用知识包标签。假设该文档的查找结果集合为 set＝{a:[x1,x2,x3]；b:[y1,y2,y3]；c:[z1,z2,z3]},则该文档包含的基础知识包为list＝[a,b,c]。首先，通过list和applylist的反向对查，找到applylist的元素是list子集的列表partlist；然后，验证partlist 中每个元素中基础知识包的具体关键词集合与set中对应的关键词集合是否有重合，如有重合，则反向查询partlist该元素对应的应用知识包标签链并输出。
[0036]
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

网址：基于知识图谱的视频标签提取方法与流程 http://c.mxgxt.com/news/view/1392966

相关内容

华为云专家讲述知识图谱构建流程及方法
视频知识图谱如何更懂你？
辽宁蒲公英取得基于学习轨迹与知识图谱的课程推荐方法专利
抖音运营知识图谱 流程图模板
湖南上容取得基于知识图谱的图像识别优化方法专利
基于知识图谱的内容推荐算法研究与实现
基于社交影响力和标签关系的短视频标签生成
基于知识图谱及AI课程体系专题研讨会
知识图谱
知识图谱的核心概念、应用场景与构建方法解析

随便看看