Bruce Schneier

Schneier指出自己早就提出AI可以发现并利用法律体系的漏洞，并引用了德国的新案例作为佐证。

在2021年的一篇文章和我2022年的书《A Hacker’s Mind》中，我都谈到了AI发现法律体系中的漏洞和利用方式，也就是对法律体系的“黑客攻击”。

原文 (en)

In both a 2021 essay and my 2022 book, A Hacker’s Mind, I talk about AIs finding vulnerabilities and exploits—hacking—the legal system.

Schneier警告称，AI式的法律漏洞利用必将到来，立法者需要强化立法流程，甚至自己也要借助先进AI。

在这样的世界里，立法者需要大幅强化立法流程，例如自己也利用先进的AI。目前仍处于早期阶段，但这肯定是即将到来的趋势。

原文 (en)

In such a world, lawmakers would need to significantly harden the process of legislation, for example by leveraging advanced AI themselves. Still in its early stages, but definitely something that’s coming.

Schneier指出AI驱动的漏洞发现正以惊人的速度找出关键软件漏洞，今年有望使历史漏洞总量增加约26%，并称这一情况令人震惊。

有史以来记录在案的“关键”软件安全漏洞中，有3%是在上个月被发现的。照这个速度，仅今年就将再发现约10万个漏洞，使历史漏洞总数增加约26%。你意识到这有多疯狂吗？

原文 (en)

3% of ‘critical’ software security bugs, in all of recorded history, have been found in the last month. This is on pace to find another ~100,000 bugs this year alone, adding ~26% more vulnerabilities to the all time total Do you realize how fucking insane that is?

施奈尔认为 AI 只是竞选活动可用的一种工具，既可用于善意也可用于恶意，并质疑为何只禁止 AI 而不禁止其他工具。

如果你想做好事，AI 会帮上忙；如果你想做坏事，AI 同样会帮上忙。

原文 (en)

If you want to do good things, AI will help. If you want to do evil things, AI will help as well,

Schneier 认为这起售后车机事件的真正意义在于普通人借助 AI 就能逆向分析不安全的物联网软件，并预计今后会出现更多类似案例。

这很有意思，因为它暴露了这款物联网软件中的各种不安全之处。但我认为真正的重点在于，一个普通人借助 AI 就能完成这样的逆向工程。预计未来会有更多类似的报道。

原文 (en)

It’s interesting because it exposes all the insecurities in this piece of IoT software. But I think the real story is that a random person was able to do this reverse-engineering with the help of AI. Expect a lot more stories like this in the future.

Bruce Schneier 认为 AI 兼具攻击与防御双重用途，短期内防御方在某些方面可能更受益，但这是一场持续的军备竞赛。

Bruce Schneier 强调 AI 的双用途：它既能高效自动化钓鱼，也能用于高准确率识别钓鱼意图。他认为短期内防御者在某些方面可能受益更多，但这是一场持续的军备竞赛。

施奈尔指出，有研究显示嵌入西方产品的中国 AI 编程模型带有地缘政治触发机制，会根据代码使用者的不同改变所生成代码的安全性。

有意思的研究：简而言之，中国的 AI 模型如今已嵌入西方产品，其中一些带有地缘政治触发机制：告诉模型代码是为谁写的，它所写代码的安全性就会改变。

原文 (en)

Interesting research: TL;DR: Chinese AI models now sit inside Western products, and some carry geopolitical triggers: tell the model who the code is for, and the security of what it writes changes.

施奈尔警告称，eMudhra 弱密钥 TLS 证书事件的善后会很麻烦，并与近期 PHP 漏洞叠加。

这件事的善后又会是一团糟——而且正好叠加在 PHP 漏洞事件之上。

原文 (en)

Cleanup of this is going to be another mess—and it’s right on top of the PHP vulnerabilities.

Schneier 认为真正的网络安全风险在于实现层面的漏洞和系统入侵，而非数学突破破解加密。

“计算机安全状况太糟糕了，这才是真正的担忧。在代码中发现漏洞、入侵系统，这些才是令人担心的，而不是数学……在所有安全问题中，数学是我们手中最强的一环。”

原文 (en)

“Computer security is so bad. That's the worry. Finding vulnerabilities in code, hacking into systems. Those are the worries, not the math ... Of all the security things going on, math is the strongest we have,”

Schneier 认为 AI 可能首次使网络攻防军备竞赛向防御方倾斜，让防御也能以机器速度进行。

“这是一场军备竞赛。我认为 AI 是第一种有可能把这场军备竞赛扭转为防御方优势的技术……微软上个月在补丁星期二用 AI 修补了九百多个漏洞，这些漏洞再也不会成为问题。你已经在遭受计算机速度的攻击，现在你也可以以计算机速度进行防御。”

原文 (en)

“It's an arms race. I think AI is the first technology that's potentially flipping that arms race to a defender advantage … Microsoft used AI to patch 900-something vulnerabilities for a Patch Tuesday last month. But they will never again be problems. You're already being attacked at computer speeds. Now you can be defending at computer speeds.”

Schneier 指出密码学家在加密设计中留有巨大安全余量，因此对 AI 会动摇加密持怀疑态度。

“密码学家极其保守……我们在安全加密中留出了大量缓冲，数量巨大。”

原文 (en)

“Cryptographers are incredibly conservative... we put a lot of buffer into [secure encryption], an enormous amount,”

Schneier 敦促各机构立即为后量子过渡建立加密敏捷性。

“你应该为后量子时代建立加密敏捷性。你本该已经在做了，如果还没有，现在就应该做。”

原文 (en)

“You should be getting crypto agility for post-quantum. So you should be doing it already. And if you're not, you should,”

施奈尔认为，AI政治广告的真正问题在于欺骗而非技术本身，强制标注只是解决方案的一部分。

“问题不在于AI，”他说。“问题在于欺骗。而事实证明，欺骗是一种相当有效的策略。”

原文 (en)

“The problem isn’t AI,” he said. “The problem is deception. And it turns out that deception is, you know, a pretty good strategy.”

施奈尔警告称，可信赖的 AI 难以实现，因为 AI 系统同样面临普通软件的全部供应链攻击风险。

可信赖的 AI 很难实现。普通软件面临的所有供应链攻击，AI 系统同样难以幸免。

原文 (en)

Trustworthy AI is hard. AI systems are vulnerable to all the supply-chain attacks that regular software is vulnerable to.

文章警告，经过修改的开放权重模型（如去拒绝化版本）可被植入后门，能通过评测且几乎躲过现有所有检测，直到隐藏触发条件激活。

被植入后门的模型能通过评测，随你的智能体一起部署，正常回答每一个请求，然后静静等待。触发条件由修改者任意设定：一个罕见短语、一个客户名字、一个尚未到来的日期。如果你技术栈中的某个模型被这样植入后门，你现在运行的几乎任何工具都不会察觉。

原文 (en)

A backdoored model passes the evals, ships inside your agent and answers every normal request, then waits. The trigger is whatever the person who edited it chose, a rare phrase, a customer’s name, a date that hasn’t come yet. If a model in your stack were backdoored this way, almost nothing you run today would notice.

Schneier认为Matthew Green借助AI估算公钥算法密码分析投入的研究是一次不错的初步尝试，但提醒其忽略了未发表的学术工作和情报机构的秘密分析。

这项分析有很多需要注意的地方。它依赖已发表的成果，所以任何未发表的工作都不计入。这既包括没有形成论文的学术密码分析，也包括情报机构秘密进行的密码分析。但作为这类指标的首次尝试，它是不错的。

原文 (en)

There are a lot of caveats to this analysis. It relies on published work, so anything unpublished does not count. This includes both academic cryptanalysis that didn’t result in a paper, and intelligence agency cryptanalysis done in secret. But it’s a good first stab at a metric of this sort.

Bruce Schneier警告称，科技与AI公司普遍监视用户并利用这些信息对用户不利，加剧了科研人员对向AI模型上传研究成果的担忧。

这些公司监视你，并利用这些信息来对付你。

原文 (en)

the companies spy on you and use that information against you