Mae cwmni sglodion dan arweiniad Jim Keller, Tensorrent, wedi rhyddhau ei brosesydd twll cenhedlaeth nesaf ar gyfer llwythi gwaith AI, y mae'n disgwyl cynnig perfformiad da am bris fforddiadwy.Ar hyn o bryd mae'r cwmni'n cynnig dau gerdyn PCIe ychwanegol a all ddarparu ar gyfer un neu ddau o broseswyr twll llyngyr, yn ogystal â gweithfannau TT-Loudbox a TT-Qietbox ar gyfer datblygwyr meddalwedd. Mae pob un o gyhoeddiadau heddiw wedi'u hanelu at ddatblygwyr, nid y rhai sy'n defnyddio byrddau twll llyngyr ar gyfer llwythi gwaith masnachol.
“Mae bob amser yn braf cael mwy o'n cynnyrch i ddwylo datblygwyr. Gall rhyddhau systemau datblygu gan ddefnyddio ein cardiau Wormhole ™ helpu datblygwyr i raddfa a datblygu meddalwedd AI aml-sglodion,” meddai Jim Keller, Prif Swyddog Gweithredol Tenstorrent.Yn ogystal â'r lansiad hwn, rydym yn gyffrous i weld y cynnydd yr ydym yn ei wneud gyda thâp allan a phweru ein cynnyrch ail genhedlaeth, Blackhole. ”
Mae pob prosesydd twll llyngyr yn cynnwys 72 creiddiau tensix (y mae pump ohonynt yn cefnogi creiddiau RISC-V mewn amrywiol fformatau data) a 108 MB o SRAM, gan ddarparu 262 FP8 TFLOPS ar 1 GHz gyda phŵer dylunio thermol o 160W. Mae gan y cerdyn Wormhole N150 un-sglodyn gyda chof fideo 12 GB GDDR6 ac mae ganddo led band o 288 GB/s.
Mae proseswyr twll llyngyr yn darparu scalability hyblyg i ddiwallu anghenion amrywiol llwythi gwaith. Mewn setup gweithfan safonol gyda phedwar cerdyn Wormhole N300, gellir cyfuno'r proseswyr yn un uned sy'n ymddangos yn y feddalwedd fel rhwydwaith craidd tensix unedig, eang. Mae'r cyfluniad hwn yn caniatáu i'r cyflymydd drin yr un llwyth gwaith, ei rannu rhwng pedwar datblygwr neu redeg hyd at wyth model AI gwahanol ar yr un pryd. Nodwedd allweddol o'r scalability hwn yw y gall redeg yn lleol heb fod angen rhithwiroli. Mewn amgylchedd canolfan ddata, bydd proseswyr twll llyngyr yn defnyddio PCIe ar gyfer ehangu y tu mewn i'r peiriant, neu Ethernet ar gyfer ehangu allanol.
O ran perfformiad, cyflawnodd cerdyn Wormhole N150 Sengl Tenstorrent (72 creiddiau tensix, amledd 1 GHz, 108 MB SRAM, 12 GB GDDR6, 288 GB/S lled band) 262 FP8 Tflops Ghzix ar 160W, tra bod y coreS, traed, Cores, Cores, Worm CoreS, CoreS, TRESS, TRESS, TRESS, TRYSTE, TREMS, TRYD 1 GUal, 192 MB SRAM, Agregwyd 24 GB GDDR6, 576 GB/S Mae lled band) yn darparu hyd at 466 FP8 TFLOPS yn 300W.
I roi 300W o 466 FP8 TFLOPS yn ei gyd -destun, rydym yn ei gymharu â'r hyn y mae arweinydd marchnad AI Nvidia yn ei gynnig yn y pŵer dylunio thermol hwn. Nid yw A100 NVIDIA yn cefnogi FP8, ond mae'n cefnogi Int8, gyda pherfformiad brig o 624 top (1,248 o gopaon pan fyddant yn denau). Mewn cymhariaeth, mae H100 NVIDIA yn cefnogi FP8 ac yn cyrraedd perfformiad brig o 1,670 TFLOPS yn 300W (3,341 TFLOPS yn denau), sy'n sylweddol wahanol i wermhole N300 Tendorrent.
Fodd bynnag, mae un broblem fawr. Mae Wormhole N150 Tenstorrent yn adwerthu am $ 999, tra bod yr N300 yn gwerthu am $ 1,399. Mewn cymhariaeth, mae un cerdyn graffeg NVIDIA H100 yn adwerthu am $ 30,000, yn dibynnu ar faint. Wrth gwrs, nid ydym yn gwybod a all pedwar neu wyth o broseswyr twll cyllidol gyflawni perfformiad un H300 mewn gwirionedd, ond mae eu TDPau yn 600W a 1200W yn y drefn honno.
Yn ogystal â'r cardiau, mae Tenstorrent yn cynnig gweithfannau wedi'u hadeiladu ymlaen llaw i ddatblygwyr, gan gynnwys 4 cerdyn N300 yn y blwch TT-Loudbox mwy fforddiadwy wedi'i seilio ar Xeon gydag oeri gweithredol, a'r blwch TT-quiet blwch datblygedig gyda swyddogaeth oeri hylif Xiaolong) wedi'i seilio ar EpYC).
Amser Post: Gorff-29-2024