Dylan Patel

Dylan Patel 称中国已有与阿比林相当规模的AI数据中心园区，其速度、规模、低成本和垂直整合令人惊叹。

中国也有规模相近的园区，但国外很少有人进去看过。我们9月参观了其中一个，对其建设速度、规模、极低成本和深度垂直整合感到惊讶。

原文 (en)

China has campuses on a similar scale, though few people outside the country have had a look inside. In September, we visited one, and we found the speed, scale, ultra low cost, and deep vertical integration astonishing.

Dylan Patel 认为垂直整合目前尚不能带来超大规模客户订单，但随着电力紧缺和供电架构变革，其作用可能上升。

现在判断垂直整合能否成为中国数据中心市场的显著优势还为时过早。目前它让整合型厂商对成本和工期有更强的掌控，但超大规模云厂商选择供应商仍主要看资源和过往业绩。随着电力获取变难、数据中心内部供电系统被重新设计，这一点可能改变。

原文 (en)

It is too early to say whether vertical integration will become a meaningful advantage in China’s datacenter market. For now, it gives integrated players more control over cost and schedule, but hyperscalers still choose vendors mainly on resources and track record. That could change as power becomes harder to secure and the power system inside the datacenter is redesigned.

Dylan Patel 指出能源获取正成为数据中心开发商的卖点，供电架构正转向高压直流，电池取代UPS。

在不同市场，获取能源正成为数据中心开发商所售产品的一部分。其次，从电网接入到机架的供电架构正在被重新设计。在美国，行业正转向更高电压的直流供电，而电池备份单元和储能系统开始取代UPS的作用。

原文 (en)

Across different markets, access to energy is becoming part of what a datacenter developer sells. Second, the power architecture from the grid connection to the rack is being redesigned. In the US, the industry is moving toward higher-voltage DC power, while battery backup units (BBUs) and BESS are starting to take over the role of UPS.

Dylan Patel 指出中国数据中心市场竞争激烈，租金减半、资本开支下降25%，内蒙古电价全球最低之一。

中国数据中心市场竞争激烈。过去五年租金大约减半，至不含电费约每千瓦每月40美元。同期资本开支下降约25%，低于每兆瓦300万美元。内蒙古的综合电价约每千瓦时0.055美元，属全球最低之列。

原文 (en)

China’s datacenter market is highly competitive. Rents have roughly halved over the past five years, to about $40/kW/month excluding power. Capex has fallen about 25% over the same period, to less than $3mm per MW. Power in Inner Mongolia costs about $0.055/kWh all-in, among the lowest in the world.

Dylan Patel 认为谷歌 TPUv7 在智能体推理的每美元性能上已追平或超越 NVIDIA，迫使 NVIDIA 紧急调集工程力量应对。

TPU 在每美元性能上更优或具备竞争力，对 NVIDIA 高层来说是一种不愿接受的新体验。TPU 在 Qwen3.5 397B FP8 上发布首个 AgentX 结果、显示 TPUv7 FP8 甚至能击败 GB300 NVL72 FP4 后，NVIDIA 立即派出由工程师和智能体集群组成的突击队，在中美两地加班到深夜和周末。

原文 (en)

TPUs delivering better performance per dollar or competitive performance per dollar is a new experience that NVIDIA senior leadership is unwilling to accept. As soon as TPU posted its first AgentX result on Qwen3.5 397B FP8 showing that even TPUv7 FP8 could beat GB300 NVL72 FP4, NVIDIA tasked a strike force of human engineers and agent swarms to work 997, late into the night until 2am local time and on weekends, across USA and mainland China.

Dylan Patel 警告称 NVIDIA 内部官僚主义拖慢了对开源社区的响应，是其软件护城河的最大风险之一。

NVIDIA 需要一场大幅削减官僚主义的文化转变。这是 Jensen 必须应对的、对 NVIDIA 护城河最大的风险之一。根据我们和许多客户的经验，NVIDIA 现在对外部建议、git 提交和反馈的响应速度比 AMD、谷歌和亚马逊更慢。

原文 (en)

There needs to be an cultural shift in massively reducing bureaucracy at NVIDIA. This is one of the biggest risks to NVIDIA Moat that Jensen has to tackle. In our experience and many customers experience, Nvidia is now slower moving than AMD, Google, and Amazon to external suggestion, git commits, and feedback.

Dylan Patel 指出 TPUv7 缺乏原生 FP4，在 2027 年一季度 TPUv8 到来前每美元 token 数仍落后于 FP4 GPU。

由于 TPUv7 没有原生 FP4 支持，FP4 GPU 在大多数速度下仍能提供更高的每美元 token 数，要等到 2027 年第一季度带 FP4 支持的 TPUv8。在每用户 100 tok/s 时，GB300 和 GB200 FP4 的每美元 token 数分别是 TPUv7 的 3.6 倍和 3.5 倍。

原文 (en)

FP4 GPUs still deliver more tokens per dollar at most speeds, as TPUv7 has no native FP4 support, and we will need to wait until Q1 2027 for TPUv8 with FP4 support, as tracked in our Accelerator & HBM Model. At 100 tok/s/user, GB300 and GB200 FP4 deliver 3.6x and 3.5x the tokens per dollar of TPUv7.

Dylan Patel 称拥有大量 TPU 的实验室会为 TPU 协同设计模型注意力形状，因此 GPU 优化的 Muse Spark Open 低估了 TPU 的潜力。

注意，拥有大量 TPU 算力的 AI 实验室，如 Anthropic、Google DeepMind 以及即将加入的 OpenAI，通常会协同设计模型，使注意力形状适配 TPU 以避免这一问题。

原文 (en)

Note that AI labs with lots of TPU capacity, such as Anthropic and Google Deepmind and soon OpenAI, typically co-design their models such that the attention shapes would fit nicely on TPUs to avoid this issue.

Dylan Patel 预测 NVIDIA 或能在 FP4 上夺回小幅领先，但在 FP8 上对部分模型无法重回最优。

我们认为只要有足够的智能体集群，NVIDIA 可以在 GB300 NVL72 FP4 对 TPUv7 FP8 上夺回轻微领先，但在 NVIDIA FP8 对 TPUv7 FP8 上，对某些模型而言 NVIDIA 不可能重回最优。

原文 (en)

We do think that with enough agent swarms, NVIDIA could regain a slight performance lead on GB300 NVL72 FP4 vs TPUv7 FP8, but on NVIDIA FP8 versus TPUv7 FP8, we believe that it is not possible for NVIDIA to regain SOTA for certain models.

Dylan Patel 称 SemiAnalysis 预计到2029年底全球AI资本支出将达11万亿美元，其中约7万亿为债务，并提出了谁来买单的问题。

另一个问题是谁来为此买单。我们一直在说的一点是，到2029年底，我们预计全球AI资本支出将达到11万亿美元。

原文 (en)

The other question is sort of who pays for it. So one of the things that we’ve said is by end of 2029 we expect $11 trillion of capex globally on AI.

Dylan Patel 认为 SpaceX 可能已是全球最快的数据中心建设者，甚至超过中国同行，并以 Colossus 2 不到一年新增近 2GW 为例。

我们现在认为，SpaceX 可能是全球建设数据中心最快的公司，甚至快过中国同行。看看 Colossus 2 如何在不到一年内新增近两个 Stargate Abilene（2GW）！

原文 (en)

We now believe that SpaceX may be the fastest datacenter builder in the world, even more so than Chinese peers. Watch how Colossus 2 adds nearly two Stargate Abilenes (2GW) in just under one year!

Patel 称 SpaceX 2027 年约 13GW 的目标规模空前但可行，已识别出超过 9GW 的容量。

SpaceX 甚至将 2027 年的预期上调至约 13GW。这将是任何一家公司在该时间段内建成的最大数据中心容量，大致相当于谷歌 1999 至 2026 年全部数据中心容量，仅用 1.5 年建成。我们认为这是可能的，并且已经识别出超过 9GW 的容量。

原文 (en)

SpaceX has even revised its estimate up to ~13GW in 2027. This would be the largest amount of datacenter capacity ever built by any one company in that timeframe, roughly equivalent to all of Google’s datacenter capacity from 1999-2026 in just 1.5 years. We think it’s possible and have already identified >9GW of capacity.

Patel 指出 SpaceX 将常规新建数据中心的建设周期缩短一半至约 4 到 5 个月，创下规模化纪录。

据我们所知，这将是有史以来规模化建成的最快的全新数据中心。多数公司还在争取 8 到 12 个月的建设周期，SpaceX 已将其缩短一半。

原文 (en)

To our knowledge, this would be the fastest greenfield datacenter ever built at scale. While most are fighting for 8-12-month build times, SpaceX has cut them in half.

Patel 将 SpaceX 的速度归因于顶尖硬件工程能力、每 GW 约 3000 名工人的精简用工，以及特斯拉制造的模块化 MEP 设备。

一个常被忽视的点是，马斯克旗下公司是全球最好的硬件公司之一。我们在上一期通讯中提到，凭借顶尖工程师，他们每 GW 只需约 3000 名工人。不过我们也认为，特斯拉正在生产模块化 MEP 设备，使 SpaceX 能够如此快速地部署。

原文 (en)

One thing often overlooked is that the Elon companies are some of the best hardware companies in the world. We mentioned in our previous newsletter that their labor can run at 3k workers per GW thanks to their top-tier engineers. However, we also believe that Tesla is manufacturing modular MEP equipment, allowing SpaceX to deploy so rapidly.

Patel 认为 Colossus 2 将用约 6GWh 储能配合燃气轮机，弥补涡轮机限制后约 300MW 的电力缺口。

随着储能接近 6GWh，我们认为该站点将协调燃气与储能来提高基础负荷，同时让涡轮机轮流为储能充电。如果数据中心设计得当（且我们的 IT 兆瓦假设正确），这是可行的。

原文 (en)

With the BESS nearing 6GWh, we think the site will orchestrate gas and BESS to increase baseload, while the turbines cycle through charging them. If the datacenters are designed right (and our IT MW assumptions are correct), this could work.

Patel 有中高信心认为 SpaceX 的 TeraFab 芯片厂项目也将配建数据中心，可能对外出租。

最后，我们有中高程度的信心认为 TeraFab 也会配建数据中心。没错，SpaceX 这个 10GW、1 亿平方英尺的芯片晶圆厂项目很可能会有数据中心。

原文 (en)

Lastly, we have medium-high confidence that TeraFab will have a datacenter too. That’s right, the 10GW, 100M sq.ft chip fab venture from SpaceX will likely have a datacenter.

Dylan Patel 认为 2027 年数据中心建设大部分已经动工，中期选举无法阻止，因此维持全球新增 50 GW 的预测。

2027 年的数据中心热潮已经在建设中，下周的中期选举现在也无法阻止它。我们前 20 个州预计交付的 33.8 GW 中，约四分之三已在建设，因此我们仍对 10 月 16 日文章中提出的全球新增 50 GW 的判断有信心。

原文 (en)

The 2027 datacenter boom is already being built and next week’s midterms won’t stop it now. Roughly three-quarters of the 33.8 GW due across our top 20 states is already under construction, which is why we remain comfortable with the global +50 GW year we laid out in our Oct. 16 article.

Patel 警告称，德州 TCEQ 许可冻结拖长是建设预测的最大风险，因德州占 2028 年美国新增容量近 30%。

目前我们建设预测的最大风险是 TCEQ 许可冻结时间延长。仅德州就贡献 2028 年美国约 30% 的 GW 新增。该市场损失几个月时间就可能改变全国数字。

原文 (en)

The biggest risk to our buildout forecast right now is a prolonged permitting freeze at the TCEQ. Texas alone adds close to 30% of US GW in 2028. A few months of lost time in that market can move the national number.

Patel 对只要求附加条件的候选人不太担心，因为开发商可满足条件继续建设，不像暂停令那样阻断项目。

我们对仅支持附加条件的候选人不那么担心。他们的大部分要求只是改变开发的价格和条款。开发商可以出资升级电网、改变冷却设计或协商社区协议，然后继续推进。

原文 (en)

We are less concerned with the candidates who support conditions only. Most of their demands change the price and terms of development. A developer can fund the grid upgrade, change the cooling design or negotiate the community agreement and then move forward.

Patel 指出暂停令可阻断任何仍需审批的项目，且因电力、许可和工期限制，转移到其他州并不容易。

暂停令可以阻止任何仍需审批的项目，而且很难把开发转移到其他州：其他地方同样需要电力、许可和能满足相同交付时间的施工计划。

原文 (en)

A moratorium can block any project that still needs approval, and it won’t be easy to shift development to another state: anywhere else would still require power, permits and construction schedules that can meet the same delivery timeline.

Dylan Patel指出芯片基板是AI基础设施建设的最大瓶颈。

SemiAnalysis CEO Dylan Patel指出，芯片基板是人工智能（AI）基建最大瓶颈

Dylan Patel认为在半导体领域，除内存外，基板和PCB是最大的供应瓶颈，甚至在他看来是所有瓶颈中最大的，超过内存、光学、电力、土地和设备。

是的，我认为在半导体方面，除了内存之外，最大的瓶颈当然是基板、PCB……

原文 (en)

Yes, I think on the semiconductor side, the biggest constraint, of course, besides memory, is substrates, PCB…

Dylan Patel认为基板可能是半导体产业链最大的瓶颈，超过电力、土地、厂房和设备，内存次之。

基板可能是当前半导体产业链所有瓶颈中最大的一个，甚至超过电力、土地、厂房、半导体制造设备等因素。 在他看来，内存紧随其后，而CPO（共封装光学）和NPO（近封装光学）等新型互连技术的大规模部署，同样面临严峻的供应链挑战。

Patel指出基板和PCB材料此前投资不足、扩产滞后，未来两年将制约AI加速器和服务器CPU出货。

除了内存之外，半导体产业链面临的最大约束之一，就是基板、PCB材料以及封装基板材料。这些环节此前投资不足，产能扩张相对滞后，难以迅速匹配当前的需求增长。

Dylan Patel认为基板是当前半导体产业链最大的瓶颈，超过电力、土地、厂房和设备，内存位居第二。

SemiAnalysis创始人Dylan Patel近日谈及AI基础设施供应链时，提出了一个颇为鲜明的判断：基板可能是当前半导体产业链所有瓶颈中最大的一个，甚至超过电力、土地、厂房、半导体制造设备等因素。 在他看来，内存紧随其后

Patel认为CPO和NPO面临巨大的产能爬坡挑战，即便2028年只有一家大企业大规模部署，供应链也未必能满足。

Patel认为，CPO和NPO面临着巨大的产能爬坡挑战。即便所有企业都希望在2028年采用CPO，或者只有一家大型企业决定在当年大规模部署，也无法保证供应链能够满足其需求。

Patel指出基板和PCB材料此前投资不足、扩产滞后，日本供应商保守，未来两年将制约AI加速器和服务器CPU。

Dylan Patel指出，除了内存之外，半导体产业链面临的最大约束之一，就是基板、PCB材料以及封装基板材料。这些环节此前投资不足，产能扩张相对滞后，难以迅速匹配当前的需求增长。

Dylan Patel 指出，AI 基础设施的硬性瓶颈已从电力转向芯片封装基板，未来两年基板产能将决定 AI 加速器的出货上限。

SemiAnalysis创始人Dylan Patel在10月23日的CASPA年度大会上指出，当前AI基础设施建设的硬性瓶颈已从电力资源转移至芯片封装基板。

Dylan Patel 认为芯片基板是AI基础设施供应链中最严重的瓶颈，影响超过电力、土地和设备。

Patel 指出， 芯片基板是目前AI基础设施供应链中最严重的瓶颈，影响程度甚至超过土地、电力及半导体制造设备等环节 。

Patel认为芯片基板是AI基础设施最严重的瓶颈，影响超过土地、电力和设备，原因是长期投资不足且日本供应商扩产谨慎。

Patel 指出，芯片基板是目前AI基础设施供应链中最严重的瓶颈，影响程度甚至超过土地、电力及半导体制造设备等环节。 由于芯片基板及相关材料过去长期投资不足，加上日本供应商扩产态度谨慎，AI加速器与CPU的产能扩张受到限制。

Patel所在机构预计2027年全球在建数据中心接近50吉瓦，电力缺口可用现场燃气轮机和燃料电池缓解，而半导体供应难以快速扩张。

相较之下，电力短缺仍有其他解决途径。SemiAnalysis预估，2027年全球在建数据中心规模将接近50吉瓦（GW），其中美国约占35吉瓦。业者可通过部署现场燃气涡轮机、燃料电池等设备，部分缓解电力供应限制；但半导体供应链扩产需要更长时间，难以迅速增加供给。

Patel估算每吉瓦算力基础设施成本从2024年约400亿美元升至如今超600亿美元。

Patel估算，2024年建设1吉瓦算力基础设施的总成本约为400亿美元，如今已超过600亿美元，两年内涨幅逾50%。

Patel认为芯片基板是AI基础设施供应链中最严重的瓶颈，影响超过土地、电力和半导体设备。

Patel 指出，晶片基板是目前 AI 基礎設施供應鏈中最嚴重的瓶頸，影響程度甚至超過土地、電力及半導體製造設備等環節。

Patel指出英伟达在全球HBM和CoWoS资源中的占比已开始下降，2027年将进一步下滑，谷歌、亚马逊和AMD占比上升。

Patel 指出，2023至2024年間，輝達占據全球相當高比例的 HBM 及台積電(2330-TW) CoWoS 先進封裝資源，但這一情況已開始改變。

Patel估算若扣除英伟达、博通等芯片设计商利润，1吉瓦算力成本理论上可降约200亿美元，凸显自研芯片动机。

Patel 估算，若完全扣除輝達、博通(AVGO-US) 等晶片設計商的利潤，建置1吉瓦算力基礎設施的成本理論上可降至約200億美元

Patel认为封装基板是AI供应链最大瓶颈，未来两年将限制AI加速器和CPU产能，比土地、电力和设备更严重。

他表示，未來兩年，AI 加速器、CPU 及各類電子元件都可能受到基板供應不足影響，這項瓶頸甚至比土地、電力、資料中心機房與半導體設備更為嚴重。

Patel将光学互连列为仅次于记忆体的瓶颈，称即便到2028年CPO的激光与光纤耦合元件供应仍可能不足。

即使到了 2028 年，若大型業者都希望導入 CPO，雷射與光纖耦合等關鍵元件的供應，仍可能無法滿足任何一家大型業者的需求，成為 AI 基礎建設持續擴張的另一項限制。

Patel认为市场过度关注电力瓶颈，现场燃气轮机、引擎和燃料电池提供替代方案，电力扩张比半导体更快。

他指出，電力供應能力可以在相對較短的時間內提升，整體建置複雜度也遠低於半導體供應鏈，因此電力問題雖然受到市場高度關注，卻未必是目前最難突破的限制。

Patel 认为 AI 基建最大瓶颈是芯片基板而非电力，日本供应商扩产谨慎导致材料难以增产。

Patel 指出，當前 AI 基礎設施建設面臨的最大供應鏈瓶頸並非電力，而是晶片基板。由於日本相關供應商擴產態度謹慎，關鍵材料供應難以迅速增加。

Patel 估算每吉瓦算力基础设施成本两年内从约400亿美元涨至600亿美元以上。

Patel 估算，2024年建置1吉瓦算力基礎設施的總成本約為400億美元，如今已超過600億美元，兩年內漲幅逾50%。

Patel 指出英伟达在 CoWoS 与 HBM 资源中的占比下滑，Google、亚马逊和 AMD 占比上升。

Patel 指出，2023至2024年間，輝達占據全球相當高比例的 HBM 及台積電(2330-TW) CoWoS 先進封裝資源，但這一情況已開始改變。 2026年，輝達使用的全球 CoWoS 晶圓與 HBM 資源占比已經下降，預計2027年還會進一步下滑，與此同時，Google、亞馬遜及超微半導體(AMD-US) 等競爭對手的占比則逐步提高。

Patel 估算扣除芯片设计商利润后每吉瓦成本可降至约200亿美元，推动大厂自研芯片。

Patel 估算，若完全扣除輝達、博通(AVGO-US) 等晶片設計商的利潤，建置1吉瓦算力基礎設施的成本理論上可降至約200億美元，凸顯大型科技企業透過自研晶片降低外部採購成本、減少對供應商依賴的動機。

Patel认为AI基础设施最大的瓶颈是芯片基板而非电力，日本供应商扩产谨慎。

Patel指出，当前AI基础设施建设最大的供应链瓶颈并非电力，而是芯片基板。日本相关供应商扩产谨慎，导致关键材料供应难以迅速增加。

Patel预计英伟达在CoWoS和HBM资源中的占比2027年将继续下降，谷歌、亚马逊、AMD占比上升。

2026年，英伟达消耗的全球CoWoS晶圆和HBM资源占比已经下降，Patel预计2027年还将进一步下降。

Patel估算每吉瓦算力基础设施成本两年内从约400亿美元升至600亿美元以上。

Patel估算，2024年建设1吉瓦算力基础设施的总成本约为400亿美元，如今已超过600亿美元，两年涨幅超过50%。

Patel指出剔除芯片设计商利润后每吉瓦成本约200亿美元，说明云厂商自研芯片动力增强。

Patel估算，如果完全剔除英伟达、博通等芯片设计商的利润，建设1吉瓦算力基础设施的成本在理论上可降至约200亿美元。

Dylan Patel 认为 Trainium 已在推理上得到验证，Anthropic 在其上跑生产推理和 RL rollout，但历史上不适合研究型训练。

Trainium 已在推理领域证明了自己。Anthropic 正在 Trainium2 和 Trainium3 上运行生产推理和 RL rollout。一直以来，Trainium 很适合推理，但不太适合研究型训练。

原文 (en)

Trainium has already proven itself in the realm of inference. Anthropic is running production inference and RL rollouts on Trainium2 and Trainium3. Historically, Trainium has been great for inference but not the best fit for research training.

Dylan Patel 称 Trainium3 远不及 CUDA 成熟，但方向正确，借助智能体编程进展迅速。

它离 CUDA 生态的成熟度还差得很远，但方向是对的。他们团队借助智能体编程正在快速进步。

原文 (en)

It’s nowhere close to the maturity of the CUDA ecosystem, but the direction is right. Their team is making rapid progress with the help of agentic coding.

Dylan Patel 认为亚马逊通过 TorchNeuron 转向原生 PyTorch 将显著扩大 Trainium3 的采用。

亚马逊对其软件策略做了重大纠偏，我们相信这将显著扩大 Trainium3 的采用。TorchNeuron 提供原生 PyTorch 体验，而不是通过 PyTorch/XLA 项目把 Trainium 勉强拼接到 PyTorch 上。

原文 (en)

Amazon has made a major course correction to its software strategy, and we believe it will meaningfully broaden Trainium3 adoption. TorchNeuron represents a native PyTorch experience instead of duct-taping Trainium onto PyTorch through the PyTorch/XLA project.

Dylan Patel 称 Trainium 的 Neuron Explorer 性能分析器是业界最佳，优于英伟达和 AMD。

Trainium 的性能分析器遥遥领先业界，处于 SOTA 水平。

原文 (en)

Trainium’s profiler is by far leading the industry and is SOTA status.