由行业偶像Jim Keller掌舵的初创公司Tenstorrent组建了一支一流的AI和CPU工程师团队，制订了涉及通用处置器和人工智能加速器的雄伟设计。

现在，该公司正在研发业界*能够同时处置客户端和HPC事情负载的8宽心码RISC-V内核，该内核将首先用于面向数据中央的128核高性能CPU。该公司另有多代处置器的蹊径图，我们将在下面先容。

01 为什么是 RISC-V？

我们最近与Tenstorrent的首席CPU架构师Wei-Han Lien就公司的愿景和蹊径图举行了攀谈。Lien 拥有令人印象深刻的靠山，曾在 NexGen、AMD、PA-Semi、Apple 事情过，最著名的可能是他在Apple的A6、A7（天下上*款64位Arm SoC）和M1 CPU微架构和实行方面的事情。 

公司有许多在 x86 和 Arm 设计方面拥有厚实履历的天下级工程师，有人可能会问为什么 Tenstorrent 决议开发 RISC-V CPU，由于这种指令集架构 (ISA) 的数据中央软件客栈不如 x86和Arm 的周全。Tenstorrent 给我们的谜底很简朴：x86 由 AMD 和 Intel 控制，而 Arm 由 Arm Holding 控制，这限制了创新的措施。 

“天下上主要只有两家公司可以生产 x86 CPU，”Wei-Han Lien 说。“由于 x86 允许限制，创新基本上由一两家公司控制。当公司变得异常大时，它们就会变得权要化，创新的措施 [ 放缓 ]。[...] Arm 有点类似。他们声称他们就像一家 RISC-V 公司，但若是你看一下他们的规范，[它] 变得云云庞大。它现实上也有点由一位架构师主导。[…] Arm 有点划定所有可能的场景，甚至是架构[允许]互助同伴。” 

相比之下，RISC-V生长迅速。据Tenstorrent称，由于它是一个开源ISA，因此使用它举行创新更容易、更快速，尤其是在涉及新兴和快速开发的 AI 解决方案时。 

“我一直在为 [Tenstorrent 的] AI 解决方案寻找配套的处置器解决方案，然后我们想要 BF16 数据类型，然后我们去找Arm说，'嘿，你能支持我们吗？' 他们说‘不’，这可能需要两年的内部讨论以及与互助同伴的讨论等等，”Lien 注释道。“但我们和 SiFive 谈过；他们只是把它放在那里。以是，没有限制，他们为我们制作了它，这是自由的。” 

一方面，Arm Holding 的方式确保了高质量的尺度和周全的软件客栈，但这也意味着 ISA 创新的措施变慢，这对于AI处置器等新兴应用来说可能是一个问题，这些应用旨在获得快速生长。 

02 一个微架构，一年五个 CPU IP

由于Tenstorrent着眼于并解决整个AI应用，它不仅需要差其余片上系统或系统级封装，还需要种种CPU微架构实现和系统级架构来实现差其余功率和性能目的。这正是Wei-Han Lien 的部门所致力于解决的问题。 

不起眼的消费电子SoC和壮大的服务器处置器险些没有配合之处，但可以共享相同的ISA和微系统结构（管实现方式差异）。这就是Lien的团队施展作用的地方。Tenstorrent 示意，公司CPU团队开发了一种无序 RISC-V 微架构，并以五种差其余方式实现它，以解决种种应用程序的问题。

Tenstorrent现在有五种差其余RISC-V CPU焦点IP——具有两宽、三宽、四宽、六宽和八宽心码——用于其自己的处置器或允许给感兴趣的各方。对于那些需要异常基本的CPU的潜在客户，该公司可以提供具有两个宽度执行的小内核，但对于那些需要更高性能的边缘、客户端PC和高性能盘算的客户，它有六个宽度的Alastor和八个宽Ascalo 内核。  

每个带八位解码的乱序Ascalon ( RV64ACDHFMV) 内核都有六个ALU、两个FPU和两个256位向量单元，使其异常壮大。思量到现代x86设计使用四宽 (Zen 4) 或六宽 (Golden Cove) 解码器，我们正在寻找一个异常壮大的内核。 

Wei-Han Lien 是认真苹果“宽”CPU 微架构的设计师之一，该架构每个时钟最多可执行8条指令。例如，Apple的A14和M1 SoC具有八个宽的高性能 Firestorm CPU内核，在推出两年后，它们仍然是业内最节能的设计之一。Lien 可能是业界“宽”CPU微架构方面*的专家之一，据我们所知，他是*一位向导工程师团队开发八宽RISC-V高性能CPU内核的处置器设计师。 

除了种种RISC-V通用内核外，Tenstorrent还拥有为神经网络推理和训练量身定制的专有 Tensix 内核。每个 Tensix 内核包罗五个RISC内核、一个用于张量运算的数组数学单元、一个用于矢量运算的SIMD单元、1MB或 2MB的 SRAM，以及用于加速网络数据包运算和压缩/解压缩的牢靠功效硬件。Tensix内核支持多种数据花样，包罗BF4、BF8、INT8、FP16、BF16，甚至 FP64。

03 令人印象深刻的蹊径图

现在，Tenstorrent 有两种产物：一种称为Grayskull的机械学习处置器，可提供约315 INT8 TOPS的性能，可插入PCIe Gen4插槽，以及网络Wormhole  ML处置器，具有约 350 INT8 TOPS 的性能并使用GDDR6 内存子系统，一个PCIe Gen4 x16接口，并具有与其他机械的400GbE毗邻。 

理想「闹鬼」，被逼无奈

这两种装备都需要一个主机CPU，可以作为附加板使用，也可以在预构建的 Tenstorrent 服务器中使用。一台包罗32个 Wormhole ML卡的4U Nebula服务器在6kW时提供约莫12 INT8 POPS的性能。

今年晚些时刻，该公司设计推出其*个自力的CPU ML解决方案——Black Hole——连系了24个SiFive X280 RISC-V内核和多个第三代Tensix内核，这些内核使用两个在机械的相反偏向运行的2D环面网络互连学习事情量。该装备将提供1 INT8 POPS的盘算吞吐量（与其前身相比性能提升约三倍）、八个GDDR6内存通道、1200 Gb/s以太网毗邻和PCIe Gen5通道。 

此外，该公司期待为双芯片解决方案以及未来使用添加2TB/s 的die to die接口。该芯片将接纳6nm级制造工艺（我们预计它是台积电N6，但 Tenstorrent 尚未证实这一点），但在600mm²时，它将比台积电12nm级节点生产的前代产物更小. 需要记着的一件事是，Tenstorrent 尚未开发出其 Blackhole，其最终功效集可能与公司今天披露的差异。 

明年，该公司将宣布其*产物：名为Grendel的多小芯片解决方案，该解决方案具有自己的Ascalon通用内核，具有自己的RISC-V微架构，具有八位解码器以及用于ML事情负载的基于 Tensix 的小芯片。  

Grendel 是 Tenstorrent 将于明年宣布的*产物集：多chiplet 解决方案包罗一个具有高性能 Ascalon 通用内核的 Aegis chiplet 和一个或多个具有用于 ML 事情负载的 Tensix 内核的 chiplet。凭证营业需求（以及公司的财政能力），Tenstorrent 可以使用 3nm 级工艺手艺实现AI chiplet，从而行使更高的晶体管密度和Tensix焦点数，或者它可以继续使用 Black Hole chiplet举行AI事情负载（甚至将一些事情分配给24个 SiFive X280内核，该公司示意）。小芯片将使用上述 2TB/s 互连相互通讯。 

Aegis小芯片具有128个通用 RISC-V八宽Ascalon内核，组织在四个32核集群中，具有集群间一致性，将使用3nm级工艺手艺制造。事实上，Aegis CPU小芯片将率先使用3纳米级制造工艺，这可能会使该公司在高性能CPU设计方面压倒一切。 

同时，Grendel 将使用LPDDR5内存子系统、PCIe和以太网毗邻，因此它将提供比公司现有解决方案显著更高的推理和训练性能。说到Tensix内核，需要注重的是，虽然Tenstorrent的所有AI内核都被称为Tensix，但这些内核现实上是在进化的。

“[Tensix]的转变是渐进的，但它们确实存在，”该公司首创人Ljubisa Bajic 注释道。“[他们添加了]新的数据花样、FLOPS/SRAM 容量的转变比率、SRAM 带宽、片上网络带宽、新的希罕特征以及一样平常特征。”

有趣的是，差其余Tenstorrent幻灯片提到了Black Hole和Grendel产物的差异内存子系统。这是由于该公司一直在寻找最高效的内存手艺，而且由于它获得了DRAM控制器和物理接口 (PHY) 的允许。因此，它在选择确切的内存类型时具有一定的天真性。事实上，Lien 示意，Tenstorrent也在为未来的产物开发自己的内存控制器，但对于2023~2024年的解决方案，它设计使用第三方的MC和PHY。同时，出于本思量，现在Tenstorrent不设计使用任何奇异的内存，例如HBM。 

04 商业模式：销售解决方案和允许 IP

虽然 Tenstorrent 有五个差其余CPU IP（只管基于相同的微架构），但它只有 AI/ML 产物在流水线中（若是不思量完全设置的服务器）使用SiFive的 X280 或 Tenstorrent 的八宽 Ascalon CPU 内核. 因此，有理由问为什么它需要这么多的CPU内核实现。 

对这个问题的简短回覆是，Tenstorrent 有一个怪异的商业模式，包罗 IP 允许（以 RTL、硬宏，甚至 GDS 形式）、销售小芯片、销售附加 ML 加速卡或具有 CPU 和 ML 小芯片的 ML 解决方案，并销售包罗这些卡的完全设置的服务器。  

构建自己的 SoC 的公司可以授权 Tenstorrent 开发的 RISC-V 焦点，普遍的 CPU IP 组合使公司能够竞争需要差异级别性能和功率的解决方案。  

服务器供应商可以使用 Tenstorrent 的 Grayskull 和 Wormhole 加速器卡或 Blackhole 和 Grendel ML 处置器来构建他们的机械。同时，那些不想构建硬件的实体可以购置预构建的 Tenstorrent 服务器并举行部署。 

这种商业模式看起来有些争议，由于在许多情形下，Tenstorrent 与自己的客户竞争并将竞争。然而，归根结底，如Nvidia 等厂商提供了基于这些主板的附加卡和预制服务器，而且戴尔或 HPE 等公司似乎并不太忧郁这一点，由于它们为特定客户提供解决方案，而不仅仅是积木。

05 总结 

约莫两年前，随着 Jim Keller 的聘用，Tenstorrent 一跃成为人们关注的焦点。在两年内，该公司招募了一批*工程师，他们正在为数据中央级 AI/ML 解决方案和系统开发高性能 RISC-V 内核。开发团队的成就包罗全球*八位 RISC-V 通用 CPU 内核，以及可用于 AI 和 HPC 应用的适当系统硬件架构。 

该公司有一个周全的蹊径图，包罗基于 RISC-V 的高性能 CPU 小芯片和先进的 AI 加速器小芯片，它们有望为机械学习提供功效壮大的解决方案。请记着，AI 和 HPC 是有望实现爆炸式增进的主要大趋势，提供 AI 加速器和高性能 CPU 内核似乎是一种异常天真的商业模式。 

AI 和 HPC 市场竞争猛烈，因此当您想与老牌竞争对手（AMD、英特尔、Nvidia）和新兴玩家（Cerebras、Graphcore）竞争时，必须约请一些天下上*秀的工程师。与大型芯片开发商一样，Tenstorrent 拥有自己的通用 CPU 和 AI/ML 加速器硬件，这是得天独厚的优势。同时，由于该公司使用 RISC-V ISA，因此现在无法解决一些市场和事情负载，至少就 CPU 而言是这样。