Dylan Patel

Dylan Patel 建议英伟达向 AWS Trainium 学习细粒度分析的硬件特性，用于未来 Feynman GPU。

由于 AWS 是英伟达的合作伙伴，黄仁勋应让工程师与 AWS Trainium 团队约会，了解精确细粒度性能分析所需的硬件特性，以便英伟达学会在 Feynman 或 Feynman-Next GPU 中加入该能力。

原文 (en)

Since AWS is a partner of Nvidia, Jensen should tell his engineers to book a meeting with the AWS Trainium team on the hardware features needed to do accurate fine-grained profiling such that Nvidia can learn how to add this capability to Feynman or Feynman-Next GPUs.

Dylan Patel 指出 Neuron 编译器编译时间过长是研究人员的摩擦点，但 AWS 正努力将其缩短数个数量级。

略显失望的是 Neuron 编译器编译耗时很长，导致第一步等待时间很久。

原文 (en)

The part where it was slightly disappointing was the Neuron compiler took a long time to compile, leading to a long wait in the first step.

Patel 认为基于现金流和可高价出售的囤积算力，Meta 的价值逻辑上远超约 1.5 万亿美元市值。

某种意义上，Meta 的估值……我想它大概是一家 1.5 万亿美元的公司。这太荒谬了。至少从逻辑上说，它的价值远不止于此。

原文 (en)

In a sense, Meta trading at… I think they’re like a $1.5 trillion company. It’s like, what? Silly. They’re worth way more than that, at least in a logical sense.

Patel 警告 AI 领域所有力量都指向算力和权力的集中，令人深感恐惧。

Dwarkesh，你能看到一个一切都不集中化的世界吗？因为在我看来，所有力量都在疾速奔向集中化。这太可怕了。

原文 (en)

What world do you see, Dwarkesh, where everything is not centralized? Because it seems to me that every force is screeching towards centralization. And that’s scary as hell.

Patel 认为 AGI 的瓶颈在于社会容忍度（监管、利率、数据中心禁令），而非研究速度。

所以 AGI 的限制因素不在于像我们室友 Sholto 这样的研究工程师能多快推动进展，而在于世界其他部分允许它发生到什么程度。

原文 (en)

So the limiter on AGI is not how fast the research engineers, like our roommate Sholto, can crank the gears. It’s actually just how much does the rest of the world let that happen?

Patel 认为鉴于算力回报巨大，Meta 等巨头乐于以 8% 利率借债，从而推高全经济借贷成本。

这完全是拍脑袋，但 Meta 最近以 5% 到 6% 的利率融资。我看不出它们为什么不愿付 8%。它们会乐意支付 8%，因为它们将建设的算力回报巨大。

原文 (en)

This is going to be extremely vibed out, but recently Meta’s raised at 5 to 6%. I don’t see why they wouldn’t pay 8%. They would happily pay 8% because the return from the compute that they’re going to build is humongous.

Patel 预测到 2029 年 AI 资本开支约 11 万亿美元，其中 5 万亿靠举债，将推高利率。

不，我只是说到 2029 年大约有 11 万亿美元的资本开支，其中 6 万亿用现金支付，5 万亿靠债务融资。如果是这样，整个生态系统筹集 5 万亿美元债务确实会推高利率。

原文 (en)

No, I’m just saying till 2029 there’s something on the order of $11 trillion of CapEx. $6 trillion of that is funded with cash, and $5 trillion of that is funded with debt. If that’s the case, $5 trillion of debt being raised across the whole ecosystem does make interest rates go up.

Patel 称 Anthropic 训练 Mythos 预训练仅用不到 200 兆瓦约两个月，尽管其拥有数吉瓦算力。

但当它们真正进行训练时，Anthropic 训练 Mythos 用的不到 200 兆瓦。

原文 (en)

But ultimately when they do the training run, when Anthropic trains Mythos, it’s sub-200 megawatts.

Patel 拆解实验室算力：约 50% 研究、10% 开发（正式训练）、40% 推理。

实际上 50% 的算力用于研究，10% 用于开发，40% 用于推理。我所说的研究和开发是指：研究人员产生想法、测试新架构、新数据配比、新超参数、新注意力技术等等。

原文 (en)

Actually 50% of the compute is research, 10% of the compute is development, and then 40% is inference. What I mean by research and development is: researchers are generating ideas, testing new architectures, testing new data mixes, testing new hyperparameters, new attention techniques, blah, blah, blah.

Patel 警告中国半导体补贴超过全球其他地区之和，若 AI 起飞放缓，中国将大幅追赶。

所以中国半导体产业获得的补贴远超世界其他地区半导体产业的总和。如果起飞没有你说的那么快，而是需要更长时间，那么中国最终会在半导体方面大幅追赶上来。

原文 (en)

So the Chinese semiconductor industry has significantly more subsidies than the rest of the world’s semiconductor industries combined. If takeoff is not as fast as you’re implying but actually takes longer, then ultimately China will catch up drastically on the semiconductor side

Patel 预计随着中芯国际和长鑫产能爬坡，中国国产算力将从 2028 年起陡增，2029 年或新增 50 吉瓦。

但最终，中国肯定会出现曲棍球棒式增长。如果说中国有什么特别擅长的，那就是极快地扩大制造规模。

原文 (en)

But ultimately, China is definitely going to hockey stick. If there’s anything China’s really good at, it’s scaling manufacturing really, really quickly.

Patel 称当前 70% 新增 AI 数据中心瓦数部署在美国，中国不到 10%，较 2022 年的 30%-35% 大幅下降。

所以如今 70% 的电力瓦数部署在美国。中国的数字非常小，用于数据中心 AI 算力部署的瓦数中不到 10% 在中国。

原文 (en)

So today, 70% of watts are being deployed in America. China is really a very small number. Sub-10% of watts being deployed for data center AI compute is in China.

Patel 警告纽约、德州、俄亥俄等州对数据中心的限制将减少供给并推高成本。

但越来越多的监管方式是：纽约禁止数据中心，德州暂停审批，俄亥俄州规定或试图规定你必须支付一定半径内所有人的房产税。这类做法会减少供给并推高成本。

原文 (en)

But more and more, the method of regulation is New York’s banning data centers. Texas is holding moratoriums. Ohio’s saying, or at least trying to say, you have to pay everyone’s property tax in a certain radius. These sorts of things are going to decrease supply and increase cost.

Patel 持非共识观点：实验室分配给推理的算力比例将下降，更多用于训练和研究。

实验室会随着时间推移把越来越少的算力分配给推理。我认为这非常非共识。大多数人的标准看法是“大部分算力会用于推理”。

原文 (en)

The labs are going to allocate less and less compute to inference over time. I think that’s very non-consensus. The standard belief of most people is, "Oh, most compute will go to inference."

Patel 预计到 2027 年底实验室每兆瓦收入将超 5000 万美元，前提是被允许发布最佳模型。

我认为这高度取决于谁拥有最好的模型，以及它们是否被允许继续发布最好的模型。但我看不出为什么不会达到每兆瓦 5000 万美元以上。

原文 (en)

I think it’s highly dependent on who has the best model, if they’re allowed to keep releasing their best models. But I don’t see why it wouldn’t be $50-plus million a megawatt.

Patel 预计供应链价格持续上涨，存储和基板厂商涨价快，台积电涨价慢。

但随着时间推移，供应链会重新平衡，东西会越来越贵。要获得增量产能，你基本上必须这样。台积电涨价很慢，但存储公司涨价很快，基板公司涨价也很快。

原文 (en)

But over time, the supply chain will rebalance and things will cost more and more. To get that incremental capacity, you sort of have to. So TSMC raising prices very slowly, but memory companies raising prices very quickly. Substrate companies raising prices very quickly.

Patel 认为 Meta 和 SpaceX 凭资产负债表先建算力再找客户，是唯一可能的第三极，可高价租给实验室。

所以出现了一个完全不同的权力结构：Meta 实际上在囤积算力。它们和 SpaceX 是唯一可能的第三名，因为它们在囤积所有这些算力。

原文 (en)

So there’s this completely different power structure where Meta is effectively hoarding compute. Them and SpaceX are the only plausible #3, because they’re hoarding all this compute.

Patel 指出 AI 模型创造的价值大多被 Jane Street、Meta 等用户获取，而非实验室。

这些模型创造的大部分价值并没有流向 OpenAI 和 Anthropic。幸运的是，到目前为止大部分价值都流向了用户。

原文 (en)

Most of the value that these models generate does not get given to OpenAI and Anthropic. Thankfully, so far it is mostly just being given to the users.

Patel 预计算力价格将大幅上涨，实验室需支付每兆瓦 2500-5000 万美元才能在 2028 年获得全球 70% 算力。

它们会继续吞下更多算力。但它们无法以当前价格或接近的价格做到这一点。要想在 2028 年真正吞下全球 70% 的算力，它们必须开始支付每兆瓦 2500 万、3000 万甚至 5000 万美元。

原文 (en)

They will continue to gobble up more of the compute. But ultimately they can’t do it at current pricing or anywhere close to it. They do have to start paying $25, $30, $50 million a megawatt to really gobble up 70% of the world’s compute in 2028

Patel 认为实验室倡导的安全监管对美国实验室的拖累远大于对中国开源模型。

他们所倡导的监管实际上对这些实验室的拖累远大于对中国开源大模型的拖累。OpenAI 不发布 Astra，OpenAI 停止训练两周。

原文 (en)

This regulation that they advocate for is actually slowing down the labs a lot more than it slows down the open-source Chinese language models. OpenAI not releasing Astra. OpenAI stopping training for two weeks.

Patel 估计按当前扩产节奏，2030 年 ASML 年产约 100 台 EUV，除非向蔡司等供应商注入巨额资金。

按照供应链目前的扩张速度，100 台大致仍是正确的数字。2030 年？2030 年 100 台 ASML 设备。但如果你对蔡司说“给你 100 亿美元，拜托赶紧扩产”，情况就会改变。

原文 (en)

The way the supply chain is expanding currently, 100 is roughly still the right number. For 2030? 100 ASML tools for 2030. But if you said, "Carl Zeiss, here’s $10 billion. Please fucking just expand production," that would change things.

Patel 认为 EUV 设备极度紧缺，转手可卖超 10 亿美元，供应链扩产因长鞭效应滞后于需求。

我认为如果有人有 4 亿美元并能说服 ASML 卖给他一台 EUV 光刻机，他就该直接买下，等一等，然后以超过 10 亿美元卖掉。当然，资本主义最终会让这些产能扩张，但这是一个长鞭效应。

原文 (en)

I think if anyone had $400 million and the ability to convince ASML to sell them an EUV tool, they should totally just go buy one, wait, and then sell it for north of a billion dollars. But ultimately, yes, capitalism will cause these things to expand. But it’s a whip.

Patel 预计到 2028 年底 OpenAI 和 Anthropic 将控制全球大部分可用算力。

到 2028 年底——如果这一趋势持续，而我看不到任何阻止它的因素——它们将独自控制全球大部分可用算力。

原文 (en)

By the time you’re towards the end of 2028 — if this trend continues, and I see nothing that’s stopping it — you’ve got them just controlling most of the usable flops in the world on their own.

Patel 预测明年 Anthropic 和 OpenAI 将占据 40%-50% 新增算力，算力集中化正在加速。

明年 Anthropic 和 OpenAI 将拿走多达 40% 到 50% 的新增算力。这种集中化看起来没有放缓或停止的迹象，事实上只是在加速。

原文 (en)

Anthropic and OpenAI are taking as much as 40% to 50% of compute next year. This centralization doesn’t look like it’s slowing down or stopping. In fact, it looks like it’s only accelerating.

Patel 指出前沿实验室每兆瓦收入已远超算力成本，Anthropic 达每兆瓦约 5000 万美元，而成本仅 1000-1500 万美元。

但现在，当 OpenAI 提供 GPT-5.6 或 Anthropic 提供 Opus 5 或 Fable 5 时，其创收已远超每兆瓦 1000 万至 1500 万美元的增量成本。以 Anthropic 为例，收入已高达每兆瓦 5000 万美元。

原文 (en)

But now, when OpenAI serves GPT-5.6 or Anthropic serves Opus 5 or Fable 5, their revenue generation has passed well beyond the incremental $10-15 million per megawatt. In the case of Anthropic, the revenue has gone as high as $50 million per megawatt.

Patel 称 Anthropic 已于二季度开始盈利，OpenAI 可能在三季度借 Codex 和 GPT-5.6 实现盈利。

Anthropic 在第二季度开始盈利。据信在第三季度的某个时候，随着 Codex 和 5.6 等产品的崛起，OpenAI 也可能开始盈利。

原文 (en)

Anthropic started turning a profit in Q2. It’s believed at some point in Q3, OpenAI could start turning a profit even, with the bigger rise of Codex and 5.6 and all this.

Patel 表示今年 AI 资本开支略超一万亿美元，2028 年将超两万亿美元，且实验室占比不断提高。

今年的资本开支略高于一万亿美元。到 2028 年，将超过两万亿美元。而且 AI 实验室在其中所占的比例也越来越高。

原文 (en)

We’re at a little bit over a trillion dollars of CapEx this year. As we go out into ’28, it’s going to be more than $2 trillion. The labs are also taking an increasing percentage of this.

Patel反驳Brad Gerstner等对数据中心建设的质疑，认为尽管存在劳动力、供应链和资金等约束，巨型AI数据中心仍在建设且很多按时完工。

但事实很简单：巨型园区确实正在建成，而且很多是按时完成的。

原文 (en)

But the fact is simple: gigantic sites are simply getting built, and many are on time.

Patel预测2027年将新增约50GW数据中心容量，相当于截至2024年全球累计规模，且已考虑各种约束。

公平地说，+50GW 基本相当于截至2024年全球累计的数据中心市场规模在一年内建成！但我们的数据中心行业模型已对这些因素做了调整，仍然指向2027年数据中心容量的显著加速。

原文 (en)

To be fair, +50GW is essentially the global cumulative datacenter market up through 2024 being built in one year! But our Datacenter Industry Model adjusts for all of that and still points to a material acceleration in datacenter capacity in 2027.

Patel认为算力扩张将带来更便宜更聪明的AI、更快的模型进步和AI实验室收入加速，同时资本开支巨大将推高利率。

这种加速的自然结果是算力供应大幅增加。这意味着更便宜、更聪明的AI，更快的AI模型进步速度，以及领先AI实验室和其他token供应商收入可能显著加速。这也意味着难以想象的资本开支数字。从资本需求角度看，利率将不得不随之飙升以支撑这些建设。

原文 (en)

The natural implication of the acceleration will be significantly more compute supply. That means cheaper and smarter AI, faster pace of AI model progress, and likely material revenue acceleration for leading AI labs and other token vendors. That also means unthinkable capex numbers. Reflexively rates will have to shoot up to enable the buildouts from a capital demand perspective.

Patel警告存储和逻辑芯片可能在2027-28年取代数据中心与电力，成为AI扩张的首要瓶颈。

正如我们在《硅大短缺》中所解释的，数据中心和电力可能只是冰山一角，存储和逻辑芯片可能在2027-28年成为新的头号约束。

原文 (en)

As we explained in The Great Silicon Shortage, datacenters & power may be the tip of the iceberg, with memory and logic possibly becoming the new #1 constraint in 2027-28.

Patel称2026年已签署超一万亿美元数据中心租约，这一领先指标支撑2027-28年的大规模建设。

仅2026年年初至今，我们就识别出超过一万亿美元的已签署并完成的租约价值。这一万亿美元正支撑着2027-28年的巨型数据中心建设。

原文 (en)

Just in 2026 year-to-date, we’ve identified over a trillion USD of lease value that was signed and closed. That trillion is supporting a gigantic datacenter buildout in 2027-28.

Patel指出甲骨文在2025年下半年开启GW级租约时代，如今买方涵盖超大规模云厂商、芯片公司和AI实验室。

自2025年下半年以来，情况发生了巨大变化。甲骨文在2025年8月至10月间于三个园区签下约4.5GW数据中心IT容量，开启了巨型租约时代。其他所有人纷纷跟进，买方群体从未如此广泛

原文 (en)

Since H2 2025, things have dramatically changed. Oracle kicked off the era of gigantic leases, after closing on ~4.5GW of datacenter IT capacity across three sites between August and October 2025. Everyone else followed, and the pool of buyers has never been broader

Patel认为表后自建发电和新兴设备商已基本解决AI数据中心的电力瓶颈。

从燃料电池到卡车发动机再到翻新燃气轮机，发电问题已基本得到解决。

原文 (en)

From fuel cells to truck engines to refurbished turbines, the power generation problem has broadly been solved.

Patel预计受美国劳动力、电力和审批约束影响，美国以外数据中心建设将在2027年急剧加速并在2028年大幅提升份额。

如下所示，美国以外的建设将在2027年急剧加速，我们预计其在2028年将获得大量市场份额，这主要是由美国面临的挑战推动的。

原文 (en)

And as shown below, the ex-US buildout is sharply accelerating in 2027, and we expect it to gain a lot of market share in 2028, largely driven by US challenges.

Patel强调模块化预制数据中心设计将建设周期压缩到10个月以内，机电人工最多减少63%。

建设周期现已缩短至10个月以内。这就是我们把模块化趋势称为“乐高数据中心”的原因，你只需插入即可运行，这能让机电管道（MEP）人工（7-11个月的工作量）减少多达63%！

原文 (en)

Construction timelines are now under 10 months. Hence our “LEGO Datacenters” title for the modular movement, you literally slot them in and go, and doing so allows for MEP labor (7-11 months of work) to drop up to 63%!

Patel 认为 ASML 正在开发 D2W 混合键合设备，这是其垂直整合的自然延伸，将加强客户关系。

我们认为它将从芯片对晶圆（D2W）混合键合工具起步。这比晶圆对晶圆更难制造，但正是 ASML 可能获得优势的地方。我们将此举视为 ASML 垂直整合的自然延伸，并且应能加强其客户关系。

原文 (en)

We believe it will start with a die-to-wafer (D2W) hybrid bonding (HB) tool. This is harder to build than wafer-to-wafer but is where ASML could gain an edge. We see the move as a natural extension of ASML’s vertical integration, and one that should strengthen its customer ties.

Patel 预计先进逻辑将率先采用 ASML 键合设备，威胁 Besi 集中于台积电和英特尔的混合键合业务。

我们预计 D2W 已经量产的先进逻辑领域将率先采用 ASML 的 D2W 混合键合工具。这对 Besi 来说是坏消息。逻辑目前占 Besi 混合键合业务的大部分，集中在台积电和英特尔。

原文 (en)

We expect advanced logic, where D2W already runs in volume, to adopt ASML’s D2W HB tool first. This is bad news for Besi. Logic accounts for most of Besi’s HB business today concentrated at TSMC and Intel.

Patel 与市场看法相反，认为 HBM 在 2029 年前不会采用 D2W 混合键合，甚至可能永远不会。

市场预期 HBM 将从 2028 年起成为 D2W 的主要量产驱动力。然而我们的看法不同：我们认为 HBM 在 2029 年之前不会采用 D2W 混合键合，甚至可能根本不会采用。

原文 (en)

The market expected HBM to become the big D2W volume driver from 2028. However, our view is different: we believe HBM will not adopt D2W HB before 2029, if at all.

Patel 认为混合键合是自 EUV 以来半导体制造最具变革性的创新。

我们在 2024 年深入研究过混合键合，至今仍认为它是自 EUV 以来半导体制造领域最具变革性的创新。

原文 (en)

We did a deep dive on hybrid bonding in 2024, and we still see it as the most transformative innovation in semiconductor manufacturing since EUV.

Patel 指出 D2W 混合键合因现有设备精度和吞吐量不足而进展缓慢，单颗成本高。

芯片对晶圆混合键合进展较慢，因为行业仍缺乏兼具满意对准精度和吞吐量的成熟设备（我们的调研显示当前应用上限仅为每小时一片晶圆），导致每颗芯片成本居高不下。

原文 (en)

Die-to-wafer (D2W) HB is moving slower, because the industry still lacks mature tools that combine satisfying alignment accuracy and throughput (our check indicates upper bound in current applications is only one wafer per hour), which keeps cost per die high.

Patel 认为 ASML 在光刻中积累的对准和颗粒控制经验可使其在键合良率上占优。

我们认为 ASML 可能在混合键合的对准精度和颗粒控制方面获得优势。这两个因素决定了键合良率。而 ASML 在光刻领域拥有解决相同问题的专长。

原文 (en)

We believe ASML could gain an edge in alignment accuracy and particle control for Hybrid Bonding. These are the two factors that set bonding yield. And ASML has expertise in solving the same problems in lithography.

Patel 提醒 ASML 的轨道式键合设备仍需解决量测、接触、设备改造与洁净度等难题。

尽管有这些优势，ASML 仍需解决前馈量测、芯片与晶圆接触、改造非键合设备以便在轨道上处理芯片，以及保持整个回路洁净等挑战。

原文 (en)

Despite the advantages, ASML still needs to solve challenges around feed-forward metrology, the die-to-wafer contact, the modification of the non-bonding tools so they can process dies on the track, and keeping the whole loop clean.

Patel 表示由于韩国竞争对手追赶和采用推迟，Besi 的 HBM 前景正在减弱。

Besi 的 HBM 前景也在减弱。韩国挑战者正在追赶，此外我们预计 HBM 采用时间将推迟到 2029 年或更晚。

原文 (en)

Besi’s HBM prospects are also weakening. Korean challengers are catching up, in addition to an HBM adoption that we expect to slip to 2029 or beyond.

Patel 预计 ASML 键合设备将溢价定价，逻辑客户有能力承担。

先进逻辑芯片也是最昂贵的芯片之一，因此逻辑客户能负担得起高端设备。我们预计 ASML 的设备定价将高于同行。

原文 (en)

Advanced logic dies are also among the most expensive chips, so logic customers can afford a premium tool. We expect ASML to price its tools at a premium to peers.

Dylan Patel 认为 AI 基础设施投资规模被低估，明年美国资本开支将达约 2 万亿美元，占 GDP 的 5%-6%。

AI 基础设施投资比报道的规模更大

原文 (en)

AI Infrastructure Investment Is Larger Than Reported

Dylan Patel 表示，SemiAnalysis 的 ClusterMAX 模型显示 Clockwork 的 TorchPass 可将金级新兴云厂商的训练有效产出损失从 14% 降至 3% 以下。

在我们的 ClusterMAX 中，对于金级评级的新兴云厂商，TorchPass 将训练有效产出损失从 14% 降至 3% 以下。

原文 (en)

In our ClusterMAX, TorchPass cuts training goodput loss from 14% to under 3% for a gold-rated neocloud,