首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

内存PNM和PIM技术助力人工智能计算

在不断发展的技术领域,公司正在不懈地追求突破可能的界限。三星开始了深入研究了近距离内存处理( Processing-near-Memory PNM)和内存内处理( Processing-in-Memory PIM)技术的领域。这些努力旨在重新定义人工智能计算的范式,提供不仅更高效而且具有环保意识的解决方案。

了解PNM和PIM

在深入研究三星的创新之前,了解PNM和PIM的本质至关重要。两项技术的核心都是为了减少数 据在存储 和处理单元之间必须传输的距离,从而提高速度并降低能耗。虽然PIM专注于直接在内存模块中集成处理能力,但PNM强调使计算更接近内存,尽管不是直接在内存内部。

三星的PNM创新

三星对PNM的进军被概括在其CXL-PNM技术中。在Hot Chips 2023活动中亮相,CXL-PNM是一张512GB内存卡,带宽高达1.1TB/s。但真正使其与众不同的是它解决人工智能计算最重要的一个挑战的潜力:计算引擎上存储(storage)和内存(memory)之间的数据移动。

CXL-PNM中的CXL代表Compute Express Link,这是高速处理器到设备(processor-to-device)和处理器到内存(processor-to-memory)的接口开放标准。这项技术为处理器更高效使用内存和加速器铺平了道路。通过利用CXL,三星认为工作负载可以卸载到PIM或PNM模块上,通过防止内存过度配置带宽,从而节省成本,降低功耗,并延长设备的电池寿命。

PIM革命

三星的PIM之旅同样具有开创性。与DRAM内处理相比,该公司的LPDDR-PIM技术提供了4.5倍的性能提升。这是通过在内存模块上进行计算来实现的,无需将数据传输回CPU。尽管内部带宽仅为102.4GB/s,但该技术的效率是不可否认的。

此外,与AMD合作开发的三星HBM-PIM(高带宽内存,内存处理)芯片已应用于大型人工智能应用。与现有的GPU加速器相比,这些芯片将性能提高了2.6%,能效提高了2.7%。

环境和能源影响

除了性能增强外,三星的PNM和PIM技术对能源消耗和环境影响有着深远的影响。例如,三星的测试显示,他们的技术比单个A-GPU节能2.9倍。向上扩展时,一个由八个CXL-PNM组成的集群的能效是八个A-GPU的4.4倍。这种效率转化为有形的环境效益,装有这种内存卡的电器排放的二氧化碳量减少了2.8倍。这些进步凸显了三星对环保技术发展的承诺。

将广泛应用于人工智能和移动设备

三星在PNM和PIM方面的进步不仅仅是技术壮举;它们代表了未来人工智能工作负载处理方式的 转变。随着人工智能模型变得越来越复杂,对高效数据处理和内存解决方案的需求变得至关重要。三星的创新正面满足了这一需求,提供了不仅更快而且更节能的解决方案。

此外,这些技术对设备设计和功能具有更广泛的影响。例如,将工作负载卸载到PIM或PNM模块的能力可能会导致电池寿命延长,这是当今移动设备大行其道的世界中备受追捧的功能。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OF6bDJKqZ_1cTbNDmBhFzifg0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券
http://www.vxiaotou.com