了解一下清华系企业“无问苍穹”很了不起的国产LPU芯片!

【本文由“星辰大海路上的腹黑兔”推荐,来自《英伟达公布财报 黄仁勋:DeepSeek的突然出现点燃了全球的热情》评论区,标题为小编添加】

  • 学习鸭
  • 其实黄没说错,DEEPSEEK的很多精力也花在完美压榨硬件的每一滴潜力,只能说国产硬件厂商要加油了,要把英伟达打趴下,还得硬件有突破

了解一下清华系企业“无问苍穹”很了不起的国产LPU芯片!这种芯片,单块即可支持Llama2-70B模型的推理任务,每秒处理速度高达300 token,已优于英伟达同类产品。H800或H100的推理速度在相同模型下远低于国产LPU。国产LPU在Llama2-70B推理中比英伟达H100快接近10倍,但成本仅为英伟达同类产品的10%。LPU是专为语言处理任务设计的,在自然语言理解、文本生成等场景中表现很是卓越,尤其适合大模型推理。但是也有其局限性,那就是专用性高,难以处理图像、视频等多模态任务,通用性目前不及GPU,生态系统也不成熟。要把英伟达干下去,还有不少路要走,道路曲折,但前途光明,东大必胜!

站务

全部专栏