导读：存储器方案 芝能智芯出品 SK海力士预测在人工智能（AI）领域，存储器解决方案的比重将进一步增加，可以通过类似AiMX的解决方案部分替代图形处理单元（GPU）。在首尔江南区科技会议中心举行的“ETRI Conference 2023”上，SK海力士副社长表示，对于像BERT这样...
存储器方案
芝能智芯出品
SK海力士预测在人工智能（AI）领域，存储器解决方案的比重将进一步增加，可以通过类似AiMX的解决方案部分替代图形处理单元（GPU）。在首尔江南区科技会议中心举行的“ETRI Conference 2023”上，SK海力士副社长表示，对于像BERT这样的模型，内存密集型功能仅占约5%，而在GPT2中，内存功能约占45%。在175B GPT3中，内存密集型功能已经达到92%。
内存密集型函数是GEMV，即矩阵和向量相乘的运算，是大型语言模型（LLM）的核心。“现在LLM的GEMV内存密集比例已达到92%”，并解释说，“92%是通过Accelerator in Memory（AiM）处理的，其余8%是通过AiM Control处理的Hub。SK海力士计划将AiM控制器改为AiMX专用SoC，而不是FPGA。
AiMX是SK海力士去年发布的基于内存的加速器，专为内存密集型函数计算进行优化，配备有16个1GB GDDR6-AiM和2个可编程半导体（FPGA）。“设计AiM控制中枢的成本太高，首先使用FPGA创建了一个加速器。当创建自己的片上系统时，将添加更多的GDDR6-AiM，以制造64GB或更大的产品。”
在LLM中，AiMX的延迟比GPU快13倍，功耗降低17%，与GPU相比，LLM具有更优越的性能。“主要供应AiM芯片并提供参考设计来帮助超大规模客户，”并表示SK海力士将支持创建加速器系统。由于公司最大的客户之一是GPU公司，因此在推广AiMX时需要谨慎，以确保其利益与客户的利益部分重叠。
