【周末杂谈】AI 让知识工程师重新崛起

以色列数据工程公司创始人Ido Bronstein谈知识工程师的角色

今年6月8日，以色列小公司 Upriver 获得了首轮融资1400万美元。创始人、总裁 Ido Bronstein 曾为以色列军方情报部门提供数据工程服务。有意思的是，虽然 AI 是这家公司的核心技术之一，但其并未标榜自己是 AI 公司。不仅如此，他今年4月8日在公司官网上发题为“知识工程师的崛起”的博客文，称要真正发挥 AI 对企业的作用，关键在知识工程（knowledge engineering），而不是数据工程，尽管他本人和其公司均以数据工程见长。文章讲述为何 95% 的 AI 投资会因缺少知识工程而失败，并探讨新一代知识工程师的形象。

虽然本专栏曾多次提及知识工程（可点击【1】【2】），但Bronstein的论述更为深刻和动人。鉴于以色列军方情报部门历来的出色表现，他们在专业领域的最新观点也许值得注意。现将博客文摘要编译如下。

AI 本应改变一切。但对大多数公司，它并未做到。这并非因为模型不够完善，而是因为对业务的理解，即对业务实际运作方式的了解支离破碎、模糊零散，且最需要这些信息的系统难以获取。这不是数据问题，而是知识问题。而解决这个问题需要一个被业界彻底遗忘的角色：知识工程师。

什么是知识工程师？

知识工程师负责捕捉、构建和定义企业的实际运作方式，以便机器能够理解、推理并采取行动。这包括：

• 定义核心业务概念：“客户”、“收入”和“产品”在企业中的实际含义，

• 实现跨系统含义的标准化：协调不同工具对同一事物的表示方式，

• 对关系、规则和逻辑进行编码： 数据如何流动、转换和连接，

• 创建机器可读的企业结构表示：一种结构化的理解，而不仅仅是原始数据。

知识工程师将零散的数据转化为结构化的理解。如果没有这种理解，即使是最强大的 AI 也只能靠猜测。要想让机器有智能，就需要赋予它结构化的知识。AI的先驱之一爱德华·费根鲍姆几十年前就对此进行了定义：“知识工程是通过从人类专家那里提取知识并将其编码到知识库中来构建专家系统的过程”。

知识工程与数据工程

这两个角色密切相关，但解决的问题却截然不同。数据工程关注的是：数据管道（data pipeline）是否运行正常？数据是否及时更新？数据的关联是否正确？知识工程关注的是：系统是否理解数据的含义？它能否推理？在从未遇到过的情况下，能否正确处理数据？数据工程关注的是数据如何从 A 点流向 B 点。知识工程关注的是数据到达 B 点后的意义和重要性。两者都重要。但在过去的二十年里，我们只投入了其中一项。而这正是AI在大多数企业中无法发挥作用的原因。

为什么知识工程消失了？

它并没有完全消失，只是被数据工程吸收了，但在此过程中，它失去了最重要的部分。技术层面保留了下来，而知识层面却消失了。抓取企业知识极其困难。业务所需的知识并非集中于一处。它隐藏在成千上万个系统中，分散在不同人的脑海中，埋藏在未记录的流程和不成文的惯例之中。抓取知识意味着要从各处提取数据，统一各个部门的定义，在企业内部奔走采访利益相关者。而一旦情况发生变化，所有这些工作就得重新来过。这项工作变成了一个技术性极强、极其繁琐的过程：连接源系统、处理数据、协调相互冲突的定义，以及不断更新那些一旦有人更改了流程就会过时的表示形式。这实在太难了。构建和维护知识库的成本远远超出了大多数企业的承受能力。即使设法收集了一些知识，现有的系统也无法对其进行任何有意义的利用。这些知识无处可去。

取而代之的是从知识到数据的转变

随着数据系统日益复杂，工作需要深厚的IT技能：从多个来源摄取数据、高效处理海量数据、设计架构以及驾驭不断增长的工具栈。这一角色吸引了众多技术娴熟的IT人才，工作重心也转向解决这些挑战。渐渐地，工作框架发生了变化。工作不再着眼于展现业务运作方式，而是围绕着数据表、管道和基础设施展开。目标不再是捕捉企业对自身的理解，而是“让数据可用”，这本身就已十分困难。更广泛的使命，即构建业务运作方式的连贯表征，变得隐晦、分散且无人负责。随着时间的推移，角色内部的平衡发生了变化。技术层面不断壮大，更多的工具、更大的规模、更高的复杂性。而对业务的理解则逐渐淡化。最初旨在展现业务运作方式的工作，最终演变为管理数据基础设施的工作。

这造成了日益增长的挫败感，任何从事数据工作的人都能感同身受：尽管在管道、模型和系统方面投入巨资，团队仍然无法全面掌握业务的实际运作方式。最初的承诺，即构建一个结构化、逻辑连贯的企业运行表征，从未兑现。只是换了个名字，其内涵也被逐渐淡化。

为什么知识工程比以往任何时候都更加重要？

因为这一缺口所造成的代价从未如此高昂。

如今，我们拥有功能强大的系统，它们能够理解、推理和行动。大语言模型和 AI 智能体可以处理信息、推理，并在各种工具和环境中执行复杂的任务。但是，如果没有正确的企业知识，这种能力就无法转化为实际成果。这就像把一辆校车交给一位一级方程式赛车手，让他驾驶，却不告诉他要接哪些孩子、接到哪里，或者当孩子们在车厢后部打架时该怎么应对。赛车手能力很强，但却注定会失败。

每个企业都依赖于人们凭直觉就能理解的概念：“收入”意味着什么、谁算“客户”、流程如何运行， 即使每个系统对这些概念的定义可能有所不同。构建这些知识的能力才是释放 AI 在企业中真正价值的关键。如果没有这种能力，即使是最先进的系统也会产生不一致、不可靠的结果。而这正是企业目前面临的困境。

美国麻省理工学院最近的一份报告称 95% 的企业在 AI 方面的投资没有获得任何回报，他们将这种差距称为“AI 鸿沟”。这不是模型的问题，而是知识的问题。瓶颈不再是智能，而是理解。少数在 AI 领域取得成功的企业，是那些已经找到方法，将企业内部的知识，包括实体、关系、规则和文化背景打包成 AI 可以实际处理的信息的企业。而其它企业则只是将原始数据输入到强大的模型中，然后疑惑为什么输出结果不一致。

知识工程为何重获新生？

因为AI 现在可做知识推理。过去那种“没有系统具备足够智能来使用结构化知识”的限制已不复存在。AI 智能体已经足够强大，可以跨工具、环境和工作流程运行。它们不仅生成输出，还能推理、跨系统追踪问题，并在管道、模式和业务逻辑之间建立因果关系。知识工程终于找到了值得投资的对象。

那些曾经阻碍知识获取的技术障碍呢？AI 也在消除这些障碍。连接系统、提取模式、追踪血缘关系、映射依赖关系，许多繁重的工作现在都可以被抽象化。知识工程的重心回归到它原本应该在的地方：业务本身。塑造这些知识的人不需要是数据系统专家。他们需要了解企业的运作方式，定义其核心概念，并决定应该获取哪些信息以及如何构建这些信息。随着技术壁垒的降低，工作重心从数据管理转向知识塑造。在此过程中，数据工程开始重新演变回知识工程。

知识工程师回归了。但这一角色正在成为每个AI驱动型企业的核心职能。

识林^®版权所有，未经许可不得转载

点击绑定/注册识林，获取最新全球监管动态

识林网址:www.shilinx.com