CUDA真是NVIDIA绝对牢不可破的生态吗?
有人说,我做一款AI芯片,只要原生支持PyTorch就好了呀,用户直接用PyTorch跑模型,根本接触不到CUDA呀。
没错,一般的用户只要在PyTorch层面做应用,但是总是有新的模型架构出来,这些架构都需要做特定的性能优化才能在一个芯片上得到较高的性能,这时候就涉及到算子开发了。
比如说一开始LLM在GPU上的性能不好,后来社区针对Nvidia GPU做了flash attention等的优化才把LLM的性能提升到了比较可观的程度。
CUDA已经被各种开源AI框…。
相关推荐
最新更新
推荐阅读
女生真正的完美身材是什么样子?
为什么用 electron 开发的桌面应用那么多?
在哪一瞬间,你意识到那个人不能深交?
react和vue该选哪一个?
小米首款 SUV YU7 发布,有九种配色,25.35 万元起售,该车市场竞争力如何?你会买吗?
如果将几百核心的服务器 CPU 当作 GPU 使用,会发生什么?
未来,苹果公司(Apple)没落的最可能原因是什么?
特斯拉宣布将于 6 月 22 日开始 Robotaxi 公开试运营,这将对自动驾驶行业带来哪些影响?
消息称苹果 macOS 26 将不再支持部分旧款英特尔 CPU 机型,这背后原因有哪些?
为什么大家不再提星链了(包括外网)?
猜你喜欢
关注我们

包装项目合作
网站首页
