Search
Close this search box.

数据与模型管理对部署人工智能的重要意义

构建可扩展的人工智能解决方案。
The significance of data and model management for deploying AI

随着人工智能 (AI) 需求的持续增长,各组织正在寻求有效扩展其 AI 项目的方法。其中,数据与模型管理的部署对 AI 解决方案的可扩展性具有决定性影响。本文重点阐述了构建一套高效的框架来管理与部署 AI 模型的重要意义,同时指出了实现该目标所需的核心要素。

了解强大框架如何协同管理端到端 AI 生命周期中最具挑战性的环节,包括代码标准化、追踪和维护 AI 模型。

数据采集与准备

构建 AI 模型最具挑战性的环节之一,将所需数据转换为可用的格式。要使 AI 模型成功做出有助于优化决策(或自主决策)的预测,训练模型的数据必须包含能体现半导体制造工厂复杂性的动态场景。这些场景包括由设备停机事件引起的在制品 (WIP) 波动、认证变更、生产瓶颈等。

在某些情况下可能会出现数据缺失,例如引入新型号部件或设备处于闲置状态时,都会导致数据断层。此时数据科学家可能需要采用其偏好的模拟方法来生成缺失数据,并进行临时性的特征计算。虽然这些定制化的 AI 部署任务能实现特定目标,但缺乏在整个工厂或组织范围内的可扩展性。

为实现更高效的扩展性,需要采用标准化的预配置特征管理系统来加速数据准备工作。这一核心概念将使晶圆厂或组织内任何尝试开发其他 AI 模型的用户都能访问特征库。先进的数据管理方法不仅应实现特征管理流程的自动化,允许用户整合自有知识产权 (IP),更应提供多种预置数据验证检查、可直接使用的特征以及模拟功能——这些能力可在数据缺失时辅助特征生成。此外,在部署模型时还应提供非编码选项,用于标准化、执行和自动化这些任务。通过基于 Web 界面等非编码替代方案,更多不同背景的用户能够积极参与并贡献他们的专业知识到集中式的特征管理库,最终推动构建更高效的 AI 模型。

生产工作流程

没有人愿意在无保障的环境下工作。必须避免这样的情况:个人在自己的计算机上编写自定义代码,并将其独特模型直接部署到生产服务器,这种做法缺乏透明度和问责机制,可能导致预测结果不准确甚至完全失效,或对生产模型进行未授权修改——这些潜在后果凸显了在整个 AI 部署过程中实施强有力保障措施和维护问责制的重要性。将 AI 集成到生产环境绝非儿戏。因此,建立支持离线或初步场景测试、模型训练和模型分析的模型管理流程至关重要。通过这种方式,可以在不影响生产环境的前提下完成必要的模型验证方法审核。

在 AI 开发的初步阶段,选择本地部署 (on-prem) 或云端的灵活性至关重要。尤其是在处理大型数据集进行模型训练时,往往需要额外的计算能力支持。若采用本地部署方案,任务必须具备并行执行的能力,以充分利用并行计算的优势。此外,公共云、私有云或混合云选项的多样性也带来显著优势。在协调 AI 组件时提供这种模式选择,可确保终端用户能够有效满足其特定性能需求与数据要求。

当模型部署到生产环境时,系统不仅需要自动将历史版本存档,还应提供生产模型的完整信息档案。这些信息应当便于获取,并包含训练数据、模型参数、预测准确性等详细记录,以及明确的模型部署历史轨迹——包括负责推送到生产环境的个人或团队。实施用户权限限制同样至关重要。通过限制特定操作(如仅允许用户查看模型而无权部署至生产环境),可有效维持控制力与问责机制。这种认证、授权与模型生产工作流程的能力(涵盖初步测试、生产部署到归档的全周期)建立了信任,更重要的是,通过确保每个模型的完全透明度,提升了 AI 部署效率。

监控与维护

尽管人工智能引起了很多关注且拥有众多成功案例,人们对其仍存有疑虑。这很大程度上是因为人工智能有时看起来像一个“黑盒”。围绕人工智能的变革管理需要用户信任其输出,而获得这种信任的关键在于可解释性。一个稳健的模型管理实施方案应允许用户(领域专家)查看分析报告,这些报告需能深入解读模型性能及其背后的决策逻辑。例如,当机器学习模型持续显示批次周期时间预测值偏高时,用户应获得必要的工具和分析能力来调查根本原因。借助这些工具,他们可能会发现预测值偏高是由于特定工艺步骤存在在制品 (WIP) 积压,而调整特定的排程规则将有助于解决这一问题。

部署 AI 的另一项挑战在于维持其 7×24 小时持续运行环境。随着时间的推移,数据分布难免发生变化——可能由于新型号部件的引入,或设备随使用年限偏离原有性能特征。通过实施自动再训练方法,可确保模型在任何数据变化下都能保持最佳性能水平。理想的模型管理界面应允许用户无需编码即可设置自动训练触发器。这些触发器可基于时间间隔,例如每周更新,也可基于条件触发,例如当特征发生漂移或模型准确率下降时,启动再训练。

另一层面的维护涉及模型部署后的功能增强。例如当工业工程师认为某个质量特征可提升模型准确性时,采用用户友好的基于 Web 界面的生产模型管理工作流,将赋能非数据科学家背景的人员有效参与 AI 模型优化。这种界面通过让数据科学家能够专注于解决下一个具有商业价值的 AI 应用场景,而不被模型维护或优化工作所困扰,从而提升了可扩展性。

最后一个维护痛点在于必须管理与操作多个不同的系统。通过将 AI 数据和模型管理工作流集成至工厂已验证且熟悉的现有产品体系,可显著提升 AI 扩展效率。这种做法无需额外采用、集成和学习新软件,通过与现有基础设施的无缝集成,不仅能简化流程,更能加速 AI 实施效率。

结论

实施完善的数据与模型管理方法对有效扩展 AI 计划至关重要。强大的解决方案能够协调 AI 模型的高效管理与部署,赋能工程师流畅地与 AI 系统交互,并克服特定的数据与建模挑战。这种端到端 AI 运营流程的简化与自动化,将使组织获得显著的竞争优势。

探索我们如何通过协调数据与模型管理,为可扩展的 AI 生产效率解决方案带来制造革命!

关于作者

Picture of Samantha Duchscherer,全球产品经理
Samantha Duchscherer,全球产品经理
Samantha 是 SmartFactory AI™ Productivity、Simulation AutoSched™ 和 Simulation AutoMod™ 的全球产品经理。在加入应用材料公司自动化产品事业部之前,她曾担任博世工业4.0项目经理,并曾任数据科学家一职。早期她还曾作为研究助理任职于橡树岭国家实验室地理信息科学与技术组。Samantha 持有田纳西大学诺克斯维尔分校数学硕士学位,以及北乔治亚大学达洛尼加分校数学学士学位。