人工智能并不总能把事情做好，这并不奇怪。有时候，甚至会产生幻觉。然而，苹果研究人员最近的一项研究表明，人工智能用于形式推理的数学模型存在更严重的缺陷。

作为研究的一部分，苹果科学家询问了人工智能大型语言模型（法学硕士）一个问题，以略有不同的方式多次提出，当他们发现法学硕士提供了意想不到的答案变化时，他们感到惊讶。当涉及到数字时，这些差异最为突出。

苹果的研究表明人工智能的可靠性存在大问题

这项由 arxiv.org 发表的研究得出的结论是，“不同设备之间存在显着的性能差异”。同一问题的不同实例，挑战了当前依赖单点精度指标的 GSM8K 结果的可靠性。” GSM8K 是一个数据集，其中包含 8000 多个不同的小学数学问题和答案。

Apple 研究人员发现此性能的差异可能高达 10%。即使提示中的微小变化也可能会导致 LLM 答案的可靠性出现巨大问题。

换句话说，您可能希望在使用 ChatGPT 等工具时随时对您的答案进行事实核查。这是因为，虽然有时人工智能看起来像是在使用逻辑来为您的查询提供答案，但实际使用的并不是逻辑。

相反，人工智能依靠模式识别来提供对提示的响应。然而，苹果公司的研究表明，即使改变几个不重要的单词也会改变这种模式识别。

所提出的关键差异的一个例子来自于在几天内收集猕猴桃的问题。苹果研究人员进行了一项对照实验，然后添加了一些有关猕猴桃大小的无关紧要的信息。

Meta 和 OpenAI 模型均显示问题

Meta 的 Llama 和 OpenAI 的 o1，然后，尽管猕猴桃大小数据对问题的结果没有实际影响，但他们还是从对照中改变了他们对问题的答案。 OpenAI 的 GPT-4o 在向 LLM 提供的数据中引入微小变化时也存在性能问题。

由于 LLM 在我们的文化中变得越来越重要，这一消息引起了我们是否可以信任 AI 的巨大担忧为我们的询问提供准确的答案。特别是对于财务建议等问题。它还强调了在使用大型语言模型时准确验证收到的信息的必要性。

这意味着您需要进行一些批判性思维和尽职调查，而不是盲目依赖人工智能。话又说回来，如果您是经常使用人工智能的人，您可能已经知道这一点。