原标题：老黄的强敌来了，Intel发布最新Gaudi 3 AI加快芯片
AI的纷争越来越浓烈，老黄跟苏妈王人接踵推出了自家的AI加快器。不外群众似乎健忘了还有一个芯片巨头——Intel，就在今天凌晨，在好意思国亚利桑那州Intel Vision 2024会议上，Intel发布性能最强的新一代Gaudi3 AI 加快芯片。天然，也包括全新的下一代英特尔至强6处理器等产物。
不外，咱们今天的要点如故望望这个堪称“卓绝H100”的Gaudi3 AI 加快芯片。Intel的Gaudi AI加快芯片还是推出了三代了，现存的Gaudi2芯片还是是两年前的产物，在2023年7月才认真引入国内，可以的性能与性价比一度成为不少大厂的优选。
从下图可以看到，Gaudi2 AI芯片为台积电7nm工艺制造，集成24个可编程的Tenor张量中枢(TPC)、48MB SRAM缓存、21个10万兆里面互连以太网接口(ROCEv2 RDMA)、96GB HBM2E高带宽内存(总带宽2.4TB/s)、多媒体引擎等，赞成PCIe 4.0 x16，最高功耗800W。
而全新一代的Gaudi3 AI芯片彰着更胜一筹，专为高性能、高后果的生成式 AI 推敲而生。其接受台积电5nm工艺打造，每个加快器王人具有私有的异构推敲引擎，由64个AI定制和可编程TPC和8个MME构成，赞成128GB HBMe2内存以及配备96MB SRAM缓存。比较上代产物，Intel的 Gaudi 3带来了4倍的BF16 AI推敲才调普及，1.5 倍的内存带宽以及 2 倍的收集带宽普及。
同期，每个Gaudi 3当中王人集成24个200 Gb以太网端口，提供纯真且绽开圭臬的收集。而Gaudi 3 的PCIe 功率为600w，带宽为每秒 3.7TB。
天然，AI芯片最进军的如故性能进展，在AI模子算力中，比较NVIDIA的H100 GPU，Gaudi3 AI芯片的模子查考速率、推理速率王人更出色，折柳普及了40%和50%，平均性能普及达到了50%，能效更是提高了40%，更进军的是，Gaudi3 AI芯片的老本比H100更低，妥妥的性能更强，价钱更低。
即使是濒临NVIDIA的H200 GPU，Gaudi 3也绝不忘形。在LLAMA-7B以及LLAMA-70B的部分场景与H200基本是昆仲之间，差距基本在10%以内。如若是在Faicon 180B的大模子里，配资指数Gaudi 3的推理浑沌量和能效则十分出色，最高甚而可以率先H200 30%以上。
性能进展念念必还是富饶惊艳你了，Intel还为Gaudi 3提供多种纯真实方法，包括OAM兼容夹层卡、通用基板、PCIe推广卡。其中OAM的型号是HL-325L，其实即是单颗Gaudi 3的性能进展，TDP设定为900W，一般用于风冷型办事器。
更高端的HLB-325则包含八颗 Gaudi 3芯片，提供 14.6 PFLOPS FP8 性能，1TB带宽速率达 29.6TB/s的HBM2e 内存，64个线性推敲引擎，192条200GbE 收集总线，9.6TB/s浑沌才调。
天然，还有愈加风雅工整的版块，合适平凡用户选定。PCIe 版块型号为 HL-338，提供单卡 1835 TFLOPS FP8 峰值性能，128GB HBM2e 内存，8个线性推敲引擎，24条200GbE收集总线，600W TDP，整张卡仅有两槽宽。
硬件够硬，软件也要够软。软件生态方面，Intel也在发力，Gaudi 3将针对生成式AI提供端到端全栈AI软件措置有讨论，包括镶嵌式软件、软件套件、AI软件、AI应用等。
Gaudi 3 AI加快芯片兼具高性能、经济实用、节能、可快速部署等优点，梗概充分欣喜复杂性、老本效益、碎屑化、数据可靠性、合规性等AI应用需求。
Intel在Vision 2024上也同步先容了这款芯片的出产节点，操办在本年第三季度向客户发货Gaudi 3 AI芯片，包括联念念、惠普、Dell和Supermicro等OEM厂商王人会使用这款新品构建系统。
跟着Gaudi 3的认真发布，现时AI芯片市集呈现出NVIDIA B200、AMD MI300系列和Intel Gaudi 3三足鼎峙的样式。Intel但愿梗概期骗长久的 AI 技艺积聚，通过绽开生态系统的力量以及出色的Gaudi 3硬件基础，乘上AI的上升。这次的Gaudi 3 AI加快芯片诚然有着出色的性能与极具竞争力的订价，不外AI范围绕不开的还有生态，这方面NVIDIA依旧是遥遥率先与红蓝两家炒黄金，咫尺AMD与Intel在硬件层面还是追上来了，在软件层面咱们也期待它们梗概抓续高出，让AI新技艺普及、普惠到五行八作。