研究员成果｜聂曼影等《档案跨媒体知识服务应用研究》

2024-02-02

往期推文中，我们为大家推出了多个主题的中心研究员成果（公众号主页菜单栏“学术动态—研究员成果”中可查看）。

本期将继续为大家推出一个新的专题——“档案知识服务理论与实践”专题，相关成果有以下5篇：

钱毅《基于U型曲线重新审视档案信息化工作》
聂曼影等《档案跨媒体知识服务应用研究》
于英香等《面向知识服务的文书档案知识聚合模型构建》
刘力超等《馆藏照片档案叙事可视化方法探析》
李泽锋等《面向知识服务的干部人事档案知识库构建初探》

本期分享的论文来自聂曼影等《档案跨媒体知识服务应用研究》。

研究员简介

聂曼影，国家档案局科学技术研究所情报及标准化研究室主任、研究馆员。国际标准化组织信息与文献委员会档案和文件管理分技术委员会（ISO/TC 46/SC11）委员，国际标准化组织文件管理技术委员会应用问题分委员会（ISO/TC 171/SC2）委员，国际档案理事会会刊《逗号》编辑（2008至今）。

档案跨媒体知识服务应用研究

聂曼影郑莹斌颜祥林

摘要：档案信息是重要的数据源，充分开发利用档案数据资源，可以大量释放数据要素红利，为国家治理体系和治理能力现代化持续赋能。《中华人民共和国档案法》第34条中规定，国家鼓励档案馆开发利用馆藏档案，通过开展专题展览等活动进行宣传。而其中的档案信息通过文本、照片、音频、视频和实物等不同类型的媒体介质传播或展示，需要档案部门从不同渠道获取不同媒体形态的档案信息，因此建立效率快、精准度高可读性强的档案开发利用体系就显得十分重要。

引文格式：聂曼影,郑莹斌,颜祥林.档案跨媒体知识服务应用研究[J].中国档案,2022(09):70-71.

中图分类号：G279.2

档案信息是重要的数据源，充分开发利用档案数据资源，可以大量释放数据要素红利，为国家治理体系和治理能力现代化持续赋能。《中华人民共和国档案法》第34条中规定，国家鼓励档案馆开发利用馆藏档案，通过开展专题展览等活动进行宣传。而其中的档案信息通过文本、照片、音频、视频和实物等不同类型的媒体介质传播或展示，需要档案部门从不同渠道获取不同媒体形态的档案信息，因此建立效率快、精准度高、可读性强的档案开发利用体系就显得十分重要。但如何跨越不同类型媒体形态的档案数据，从而进行更加泛化的知识表示，实现对数据内容的关联理解与知识挖掘，还面临着许多难题，有待于档案数据知识发现和服务方法的创新。这不仅是我国各级各类档案馆馆藏档案资源真正实现知识服务的关键，也是计算档案学理论创新和应用探索的发展方向。

档案跨媒体知识服务框架

档案大数据的治理和深度挖掘有助于发现档案资源服务于档案用户的高价值知识。而现有档案搜索或服务技术大多是针对单一媒体模态内的检索，如基于关键字的检索和基于内容的检索，只可执行相同媒体类型的相似性搜索。随着档案数字资源建设的不断发展，由文本、声音、照片、音视频等不同类型媒体介质共同组成的档案资源库将会不断增加，因而可以预期这些资源库中的跨媒体非结构化数据也将快速增长，而针对非结构化、跨媒体的档案数据进行关联理解和知识挖掘的需求也会随之增加。

人工智能在文献知识服务领域的探索起步于单一媒体的理解与应用，而新一代的人工智能涉及知识服务的应用则加入了跨媒体智能的研究。随着近年来人工智能方法的显著进步，一系列以计算机视觉、自然语言处理等技术为基础的跨媒体解析、检索与应用方法已有所进展。但现有面向跨媒体数据的方法，主要针对海量的互联网数据构建通用的知识库和知识图谱，直接将其迁移到档案领域往往有较大的差异。尽管各档案馆馆藏的档案数据内容有一定的差异，但国家档案局发布了一系列规范和标准，同一类别的档案馆（室）保存的档案数据往往有一定内容上的相关性和形式上的相似性。这就为构建一个基于跨媒体智能的档案数据知识挖掘原型，再根据档案馆（室）的实际需求进行客制化应用创造了可能性。

面向档案资源的跨媒体知识服务的研究思路与模块图

一般来说，当深度学习应用于一个与训练数据有一定差异的新场景中时，如因图像质量带来的损失、因年代原因导致拍摄内容的差异等，深度神经网络的识别精度往往有一定幅度的下降。档案数据作为人工智能新的应用场景，与现有主流模型训练数据集也具有一定的差异。相比之下，人类的视觉、听觉、语言认知系统可以准确地识别出各类带有一定差异的物体，其中一个因素在于人类对事物的认知是综合了多个模态的输入、以一种跨媒体的形式进行处理和认知的。因此，为了能够提升档案数据处理、管理和利用的效率，有必要设计一定的机制，从而让现有的各类深度网络模型更为鲁棒，能够让计算机系统像人类一样快速适应持续变化的档案内容。本文提出了一套档案跨媒体知识服务框架（如图所示），其中，文本、图像、声音、视频不同类型的档案数据作为数据基础，首先对其进行向量化的表示；其次，聚焦于如何利用跨媒体的内容进行智能分析，从而搭建面向各类型档案的跨媒体表征模型；最后，在此基础上进行跨媒体数据关联理解与挖掘，实现档案数据和知识的开发利用，并最终搭载在满足档案部门实际需求的电子档案智能管理系统中。

2单种媒体类型的档案数据表示

档案数据中包含了丰富的内容和知识，将其进行适当的表示是档案资源开发利用的基础，决定了智能档案管理系统能否应用于更多种类的媒体数据上。文书档案作为现阶段一类主要的档案类型，对其中的内容进行数据表示有着重要的意义。当前文书档案的档案内容通过多种形式进行保存，纸质档案数字化成果以TIF等格式图片或PDF格式附件的形式保存，而另一部分电子档案通过系统对接的形式保存。对于以图片等附件形式保存的数据，需要首先通过OCR或文件解析的方式将其中的内容转化为结构化的文本。以此为起点，可以对其中的关键内容和信息进行抽取和著录。对于常见的档案内容，可以结合文字语义及其所在的位置进行匹配和著录；对于较为复杂的数据，可以采用基于自然语言处理的算法对档案中的实体、实体关系以及实体属性等进行抽取。

图像、视频、语音等类型的多媒体档案数据中蕴含着丰富的人物、事件、地点等时空信息，相对纸质文书档案可以更直观地展现和还原档案中的历史场景。例如，档案部门保存了有一定历史的建筑在不同年代的老照片，人物专题档案保存了相关人物在不同时期的照片，记录会议的照片档案可能在照片画面中同时保存了会议信息和参会人等信息。考虑到图像、视频、语音等类型的数据均为非结构化数据，如何对其进行内容解析和表示对后续的档案利用有着重要的意义。多媒体数据可以采用计算机视觉和语音识别等人工智能算法进行处理，但由于上述模型往往采用互联网数据进行建模，与档案数据的视觉内容分布上有一定的差异。可以采用迁移学习的方法，对已初步获取的视频图像特征描述模型进行持续更新，从而在保证模型在新的数据分布中取得良好解析性能的同时，保留在档案数据中的知识。

3跨媒体档案数据的表示

不同类型档案数据表示有着较大的差异。文书类的档案数据，可以通过自然语言来进行描述，也可以通过向量化的形式，而声像档案的特征主要是通过特征向量进行表征。同时，针对不同类型媒体设计特征向量分别表征了各自的内容，不具备通用性。因此如何度量不同媒体特征之间的关联是跨媒体档案利用服务的主要挑战，构建高效率的跨模态关系模型有助于用户便捷地对各种模态的档案数据进行利用。

跨媒体数据的表示有多种计算方法。一种典型的方法是将不同类型数据的特征表示都进一步映射到一个公共空间。由于许多声像档案数据已通过信息著录的方式保存了文字标签，这些标签可以作为公共空间的一个信息源，带有相同语义标签的档案数据在公共空间的特征表示应彼此接近；同时，当两份档案数据带有的标签不同但具有较强的相关性时，档案数据特征也会在公共空间上位于邻近的位置。这种跨媒体的表示结合预设的规则有助于进一步挖掘跨媒体档案数据中的知识。例如，声像档案著录时用“某某人”表示照片上出现的但不明确身份的人员，如果结合上述方法，可以调用图像特征提取算法尤其是其中的人脸识别算法，抽取图像中的人脸特征，并和档案公共空间中的人脸特征及标签进行比对，并用查找到的关联个体名“张三”替换“某某人”这个原有的著录项，从而辅助完成知识的录入。

4跨媒体数据关联理解与挖掘

在档案知识大数据库的构建过程中，相对实体间的关系，应该更关心实体与档案之间的联系。因此大数据库会记录所有抽取出的实体与其抽取来源档案之间的关联关系，也会把档案之间的从属关系、附件关系也作为知识库的关系一同存储起来。同时，在档案数据中，也存在大量不能用文本描述的知识，以图像、视频、音频等多媒体形式存在，因此档案知识大数据库的设计中还支持非文本表示的特殊的实体。以人脸照片为例，文本是无法精确描述人的外貌的，可通过计算机视觉技术抽取人脸的特征，并以向量的形式将特征存储在档案知识大数据库中，从而在档案利用时可以通过人脸相似算法找到同一个人的不同图像、视频档案以及相关的其他知识信息。

在跨媒体知识关联的建立过程中，利用跨媒体智能描述的生成方法提高整个流程的自动化程度。所谓跨媒体智能描述生成，指的是建立从视听觉内容到自然语言表达的映射模型，由于人类习惯用文字去描述事物与逻辑，建立起视听觉内容到自然语言映射之后，才会方便人类用户对档案数据的搜索利用。而在系统中，获得了跨媒体的表达，可以很自然地通过基于自然语言处理的知识图谱构建技术把多媒体档案数据结构化和知识化。在实际处理中，也可以参考跨媒体智能描述生成的方法，跳过不同媒体数据的自然语言描述生成这一步，直接通过模型中的特征数据输出结构化的知识表示，进行数据的关联构建。利用跨媒体档案数据构建的知识图谱，不仅可以在跨媒体检索中提供更高效的搜索结果，在各类编研过程中还可以提供更全面的素材，从而帮助编研效率的提升。

5结语

总的来说，本文所涉及的研究属于计算档案学应用的一次尝试，研究中所采纳“确立流程、分析特征、形成技术、案例实践”的跨媒体档案知识服务研究方法论，经前期在档案部门业务场景的实践表明其具有一定的普适性。但在具体应用时仍存在着一定的技术及其应用风险，主要体现在：由于相关档案资源知识服务系统或平台的构建必然涉及诸多计算机视觉、自然语言处理等人工智能算法，同时还需要与具体档案数据应用场景相结合，有一定的实现难度或不确定性，这也进一步表明面向档案资源的跨媒体知识服务仍然是一个需要深耕的研究方向。同时，相关研究中需要采取一定的配套解决措施。如可以加强与应用场景实现的档案业务部门紧密联系和沟通管理，细化相关算法的实现细节，加快跨媒体检索技术的实现进度，同时邀请相关档案领域的专家开展咨询和研讨，力争用最先进、有效和适用的算法解决档案知识服务中存在的难题，这也再次揭示了计算档案学需要“整合计算与档案的理论、方法和资源”，是计算科学和档案学知识的“双向互动”。

学生研究员学习感悟

宋宇新：文章以档案知识服务为研究对象，对跨媒体档案数据知识服务的方式方法进行了理论探索，所提出的面向档案资源的跨媒体知识服务的研究思路有着重要意义，为知识服务的流程提供了参考借鉴。

该文总结了档案大数据从量化表示、建立关联、挖掘内涵到最终利用的几个阶段的流程与机制，并通过对单种媒体和跨媒体档案资源进行对比分析，提出了跨媒体档案数据的表示、关联理解与挖掘的具体建议。通过特征数据输出结构化的知识表示，进行数据的关联构建，利用跨媒体档案数据构建的知识图谱，对于提高跨媒体检索的查全率与查准率都大有裨益，可提高档案数据治理的效率与水平。

随着信息技术的不断发展，档案跨媒体知识服务应用已成为现代图书馆和档案馆服务的重要组成部分，该文为从理论上把握档案知识服务、档案数据治理提供了一个很有价值的研究视角。

卿非：文章提出了一套档案跨媒体知识服务框架，即对以文本、图像、音视频等多种不同类型的档案数据作为数据基础进行向量化表示，在对如何利用跨媒体的内容进行智能分析、搭建面向各类型档案的跨媒体表征模型的基础上进行跨媒体数据关联与理解，实现档案数据和知识的开发利用，这一框架的提出进一步创新了档案数据知识发现和服务的方法。文章还对单种媒体类型的档案数据和跨媒体档案数据的表示进行了比对研究，对纸质档案数字化保存形式的数据可以采用基于自然语言处理的算法对档案中的实体等进行抽取。对于图像、视频、语音等类型的多媒体档案数据等非结构化数据可以采用计算机视觉和语音识别等人工智能算法进行处理。对于跨媒体数据表示的典型计算方法进行了详细介绍，加深了我对不同媒体的档案数据的表示的认识与理解。该文在研究中所采用“确立流程、分析特征、形成技术、案例实践”的跨媒体档案知识服务研究方法论，对于档案跨媒体数据关联映射模型和知识图谱的构建具有重要意义。该文提出的档案知识大数据库的构建，实现了计算机科学与档案学的有机融合，为档案数据的开发利用服务提供新的研究方向。

李桂英：文章以实现不同类型媒体形态档案数据内容的关联理解与知识挖掘、建立高效且精准度高可读性强的档案开发利用体系为目标，提出一套档案跨媒体知识服务框架，对该篇文章的阅读，令我受益匪浅。

首先，档案跨媒体知识服务框架有助于实现对文本、图像、音频、视频等不同类型档案数据的高效开发利用，这在满足数字时代档案部门开发需求的同时，与便于社会各方面利用的档案工作的根本目的高度契合。

其次，文章将新一代人工智能涉及知识服务的应用加入跨媒体智能的研究中，例如计算机视觉、语音识别、迁移学习等，不仅能够提高数据处理的效率和精准度，也是对时代潮流的顺应和迎合。

再次，文章提出多种跨媒体数据的计算方法，为实现不同媒体特征档案数据之间的关联提供更多可能性，便于用户对各种模态档案数据的高效利用，为实现面向档案资源的跨媒体知识服务贡献专业力量。

张直前：该论文提出了一种档案跨媒体知识服务的框架，旨在通过跨媒体智能分析与关联挖掘，实现对档案数据的高效管理和应用，从而满足档案部门智能管理的需求。论文分别从单种媒体类型的档案数据表示和跨媒体档案数据的表示两个方面进行了深入探讨，并结合部分实际应用案例构想，点出了档案资源跨媒体知识服务的关键所在，强调了建立跨媒体数据之间关联的重要性。跨媒体档案数据的关联和整合不仅可以帮助我们构建一个结构清晰、内容丰富的知识图谱，更为档案检索带来了更高的查全率和更精准的查准率，这也是档案数据管理的未来趋势。文章所提供的这一研究框架，为跨媒体档案数据知识挖掘及其应用方面的相关研究提供了基础支撑，对后续更深层次结合具体实践操作方面的研究提供了理论方向的指引。现代科技为档案学带来了前所未有的机遇，但如何有效地利用这些先进技术进行档案管理和服务，将会是档案学领域在未来很长一段时间内的一个重要研究课题。我们需要不断探索和实践，将传统的档案学与现代计算机技术相结合，为新时代档案管理和服务开创新的篇章。

李泊泳：文章形成了以档案资源为基础资源的跨媒体知识服务研究思路与模块图，介绍了对单种媒体类型的档案数据、跨媒体档案数据的表示，对跨媒体知识关联进行建立、挖掘、分析，是档案知识服务研究的一次新探索、新尝试、新发现，是计算科学与档案学的一次有益摩擦，为计算档案学研究、应用提供深耕方向。文章对文本数据、图像数据、视频数据、语音数据等不同媒体数据进行向量化表示，借助人工智能方法，辅以计算机视觉、自然语言处理等技术手段，思考对跨媒体内容的智能分析，进行跨媒体数据的统一表征，由此搭建起一套跨媒体表征模型。对跨媒体数据进行关联理解与挖掘，并通过接入档案管理系统、各类系统接口等，提供档案知识服务。将文本、图像、视频、语音等不同类型数据的特征、标识、表征进一步映射到一个公共空间是跨媒体档案数据表示的一个重要计算方法。通过建立从视听觉内容到自然语言表达的一套映射模型，构建跨媒体智能描述生成，能够方便用户检索、利用档案数据内容，并从整体上提高数据关联全流程的自动化水平。

贺谭涛：文章以促进档案数据资源的知识发现和服务为研究基础，提出一套档案跨媒体知识服务框架，用以在逻辑和概念层面描述不同载体的档案资源如何实现统一的数据表征，实现数据的关联理解与挖掘，进而通过多重渠道和方式提供档案数据资源的有效利用。通过阅读，可发现文章中所提及的档案跨媒体知识服务框架其关键便在于档案资源的数据化。一是档案资源的结构化数据提取，通过OCR、人工智能用于音视频的数据挖掘等方式，使传统的档案资源具备可计算的特征。二是结构化数据提取后的数据组织与关联工作。作者提出一种典型的方式是将不同类型数据的特征表示都映射到公共空间，进而类似的语言标签能有效接近，进而实现互通。三是数据的关联与应用。通过数据组织、提取可以有效地实现数据资源的互通，可以建立实体间的关系，实现不同类型的档案数据的关联。在此基础上，可通过自然语言处理去形成从视听觉内容到自然语言表达的映射模型，直接输出知识内容。

总体而言，文章给出了用于指导实践的档案跨媒体知识服务框架，从而为档案数据化的过程提供了更具落地性的模型，对数据化、数据组织关联与应用的技术逻辑与方法都做了相对细致的阐释。

文案：贺谭涛李桂英张直前李泊泳宋宇新卿非

校对：张茜雅许晓彤

排版：姚立颖

审核：钱毅

本期学生研究员风采

贺谭涛

李桂英

张直前

李泊泳

宋宇新

卿非