在与供应商合作时，政府各部门应对市场上可用的软件及专业知识有现实的预期，同时也不应低估部门所需的资源和专业知识。各部门需要与供应商定期沟通，并提供文件知识和领域专长，以达到最佳效果。在决定采取何种方法时，应考虑以下几个方面：

2.1.1 选择训练数据

训练一个用于挑选文件的有监督学习算法，本质上意味着通过训练数据再现鉴定政策。其过程是向算法展示预先分类的数据，它可以“通过实例进行学习”，为自己制定规则，再“纠正”它的答案，以便完善这些规则。训练数据的质量是取得良好结果的关键。如果一个部门有一套现成的经过标记的文件（包括“选中的”和“未选中的”），可将其作为训练数据的基础。为减少偏差，训练数据应该是有代表性的、多样化的文件集。如果没有用于训练模型的有代表性的经过标记的文件，就需要创建训练数据。这是一项资源密集型工作，并且需要文件管理者（或熟悉文件的团队）参与。如果要让人相信训练数据可以代表部门的鉴定政策，记录创建训练数据所采用的方法很重要。

在选择训练数据时，文件管理者应意识到重复文件的普遍性，确保训练数据具备充分的多样性。重复的训练数据会使分类器的结果出现偏差。例如，如果训练数据中有100份文件被标记为“选中的”，其中10份是同一份文件的副本，则模型可能偏向于挑选与副本相似的文件。在这种情况下，往往需要去掉重复的训练数据。然而，存档文件中存在的重复文件可以为未来用户提供有价值的背景信息，因此，在文件挑选过程中，不应定期删除重复文件。TNA接受重复文件的移交。

另一个需要重点考虑的因素是训练所用数据的数量。在“利用AI挑选文件”项目中，供应商使用高达80%的经过标记的训练数据来训练模型，并使用达20%的数据进行测试。该模型使用80%的数据（包括元数据和文件内容）进行训练；对于20%的测试数据，模型没有被赋予标签，（得出测试结果后）再使用标签判定该模型的准确性。关于所用数据的更多信息，参见附录B。其目的在于使用能代表更多未标记数据集的训练数据，这样模型就可以在更广的范围内用于数据集的挑选决策。“利用AI挑选文件”项目使用的是EDRMS中经过标记的数据，由于这些数据在某些文件类别中的代表性不足，所以不适合用TNA的大型数据语料库进行测试。

所需训练数据的多少取决于应用的解决方案类型。有些工具需要在软件中手动标记训练数据，通常可以使用较少的标记数据，而其他工具需要使用较多的标记数据。

2.1.2 什么样的准确度才够好？

在缺乏干预（通常是数据清洗）的情况下，现实生活中的数据往往无法满足ML的要求。数据通常是有偏重的，因此某些类型的重要文件（即应被选中的文件）可能没有被充分代表，并在工作流程中的训练阶段被遗漏。在评估产品准确性时，需重点考虑：第一，是否可接受为避免选中大量不重要的文件，而遗漏少数具有历史意义的文件，致使其未被选中；第二，模型是否必须选出每一份重要文件（这种类型的文件可能很少），即使这可能导致许多不重要的文件也被选出。

通常情况下，需要在上述两种考量之间进行权衡。如果需要确保具有历史意义的文件100%被选中，那么也将选出大量“不重要”的文件。如果担心选出大量“不重要”的文件，那么也将增加丢失一些重要文件的风险。TNA倾向于能选出更多永久价值的文件的方法，即使这意味着挑选“更混乱”或移交更多的“不重要”文件。

无论采用何种方法，如果没有人工参与，ML模型都不可能达到最佳的准确性。为提高准确性，文件管理团队可以纠正错误的分类，并重新训练模型。这个步骤应重复多次，直至取得令人满意的分类结果，即使在操作层面利用算法辅助挑选，政府部门也应持续坚持这一步骤。

对于TNA在“利用AI挑选文件”项目中评估的部分产品，工程团队只是在初始设置阶段进行这种重新训练（通常需要与文件管理者或文件专家进行广泛的讨论）；有些产品则为文件管理者提供了选择，使其能够持续在软件中纠正分类结果，并对模型进行重新训练。

有必要监测模型的准确性，并定期审查其性能。重新训练的频率取决于部门对需“选定”何种文件的看法（如出台新的鉴定政策）的变化。这也可能受到重大事件的影响，这些重大事件改变了某些主题的重要性，例如，在过去几年，“冠状病毒”相关文件变得越来越重要。如果用于文件挑选的标准发生变化，模型将无法按照最初的设想运作。此时可能需要用新的训练数据进行重新训练，甚至需要创建新的模型，以避免嵌入其中的、已经过时的挑选决策带来的偏差。同理，如果需要进行分类的文件的性质发生变化，也可能需要新的模型。

2.1.3 需要训练和测试几个模型？

模型的数量取决于馆藏文件的种类和类型。为文档管理系统中经过组织的结构化数据而开发的模型，无法为共享磁盘中的非结构化数据提供相同的准确性。同理，不同的文件类型（如文本、媒体和图像）可能需要不同的模型。

2.1.4 理解和解释模型的结果

如何以最佳方式解释和说明模型得到的结果，仍是ML领域面临的一个挑战。数据科学家可以通过解释系统提供的指标来评估产品的有效性，但大众往往不易理解这些指标。文件管理者和部门应能在一定程度上控制产品如何做出挑选决策，他们需要利用技术来辅助完成工作，而不是依赖技术为其执行挑选任务。

透明度至关重要，产品供应商需要开展更多的工作以解释算法决策。政府部门需要能够说明他们使用这些工具是如何符合文件挑选政策的。当政府部门使用ML方法时，可以将所遵循的流程、选择训练数据的理由与鉴定政策一起公布，旨在帮助未来的文件用户理解（ML方法的）潜在偏差。此外，还可以采用其他方法提高透明度，例如，可以将训练数据集本身作为选中的“文件”（长期保存），以展示训练ML模型的方法。

2.1.5 处理敏感数据

根据政府部门文件的敏感程度，产品可能需要适当的认证和安全级别。例如，如果供应商要求将文件上传至其系统中，这可能会限制产品的选择。在使用TNA组织机构数据的“利用AI挑选文件”项目中，TNA与外部供应商签订了数据共享协议，以确保他们采取了适当的数据处理和安全措施。不应低估适当完成这些步骤所需的时间。

2.1.6 准备好实施自动化了吗？

最后，部门应该考虑是否已经为投资ML解决方案做好准备。可以在投资之前采取初步措施，如确定潜在的训练数据集、标记需进行挑选的文件，这将有利于ML方法后续的应用。

2.2 方法选择

“利用AI挑选文件”项目确定了供应商提供的两种主要方法：一是具有AI功能的现成的文件管理解决方案，或由咨询公司完成建模后用于查看与处理结果的产品；二是由外部专家或内部数据科学家与开发人员团队打造的定制化解决方案。

政府部门可能会根据相关政策和过往经验优先考虑某种方法。如果不是这种情况，选择方法时应考虑：一是掌控与自主的程度。定制化解决方案比现成的产品拥有更大的控制权，而现成的产品比咨询公司为部门提供的产品拥有更大的控制权。安全限制也应是需要考虑的因素之一。二是部门技术团队的能力和技能。定制化解决方案在调试和使用时比现成的系统需要更多的技术技能，而现成的系统比外部咨询公司提供的产品需要更多的技术技能。三是附加效益。现成的产品中包含的文件管理功能可用于满足其他业务需求。

2.3 成本

了解不同类型产品所带来的成本是很重要的。现成的解决方案需要许可费和续期费，而定制化解决方案将产生较高的成本，且需要高级技术人员建立ML工作流，并为解决方案的实施提供持续支持。

在“利用AI挑选文件”项目审查的（五个）解决方案中，有三个是具有“ML技术辅助挑选”功能的文件管理产品。一种具有成本效益的使用方法是部门同时将该产品作为其文件管理系统，但最终选择某种文件管理系统也要考虑除文件挑选功能外的其他功能。

其中一个供应商提供了现成的产品，以查看该供应商所做的建模结果。如果建模工作由咨询公司负责，那么在初始成本的基础上，还应考虑重新训练模型或创建新模型的预期频率（因为这种方法可能难以扩展），尽管这仍比雇用一个全职数据科学家更具成本效益。各部门通常已经拥有具备这项工作所需技能的团队，但并不清楚文件管理者的需求，支持利用AI挑选文件可能不是数据分析团队的优先事项。提早参与并提高挑选工作的地位可以帮助文件管理者获得数据分析团队的支持。

TNA与云平台供应商合作的经验表明，使用工作流的商业云ML组件的成本可能会很高。虽然随着产品的逐渐成熟，成本可能会逐渐降低，但对于拥有海量（数百万）文件的政府各部门而言，目前的成本可能过高。另一种选择是建立内部解决方案，利用云的可扩展性，但这需要使用开源库而不是商业库。

2.4 实施（或重用）定制化解决方案需考虑的因素

如果部门有能力开发定制化流程，那么应考虑一些技术问题。

2.4.1 处理的数据量

在“利用AI挑选文件”项目中使用的数据集相对较小（约10万份文件）。TNA可以在具有基本配置（16GB内存、Core i5处理器、无独立显卡、SSD驱动器）的笔记本电脑上处理、分析这些数据，并将其用于训练ML模型。为完成同样的任务，一些产品使用容器化技术构建定制化应用程序，可以轻松地扩展至非常大的数据集。“利用AI挑选文件”项目并没有对扩展基于云的解决方案进行测试。当选择方法时，重点是明确对该任务而言，什么是“足够好”，以避免过度设计。在评估方法时，最初的概念验证可在小规模的集合上进行，然后再扩大规模。

2.4.2 对哪些平台感到满意？

主要的云供应商（Azure、AWS、Google、IBM等）都提供多种方式来构建各种复杂度的ML应用程序。在为“利用AI挑选文件”项目选择平台时，需要首先了解部门已经使用的平台，以及可能已经具备一些专业知识的平台。

2.5 开发市场

“利用AI挑选文件”项目表明，ML可以成为海量数字文件挑选解决方案的重要组成部分。各部门应了解实施上述方法所需的工作量和专业知识。项目还表明，可以在某些领域探讨改进方案，如分类结果的可理解性和可解释性。ML方法和工具仍处于发展过程中，在提高结果的可理解性及其他方面（如减少所需的训练数据量）正在进行大量研究。所有产品都处于开发的早期阶段，意味着这是与供应商接洽并引导其未来发展的大好时机，以便这些供应商能为文件管理者和档案工作者提供服务。