【编者按：2025年3月27日，“2025人工智能根本设备峰会”正在上海龙之梦万丽酒店昌大召开。本次峰会以“智能基石 立异赋能”为从题，由上海市计较机学会指点，DOIT传媒从办，算力豹、百易存储研究院、CXL手艺使用俱乐部、上海市计较机学会存储手艺专委会、上海交通大学计较机系支撑，汇聚财产链上下逛企业、机构及专家学者，配合切磋AI根本设备的前沿趋向、手艺立异取使用，鞭策中国AI财产迈向新高度，会议同期还发布了算力全景图（2025版）阐发演讲。会场吸引近千名不雅众加入。鄙人午召开的数据智能手艺使用论坛上，华东师范大学传授、博士生导师，上海市青年科技启明星石亮以“大规模固态存储盘毛病预测及摆设”为题，引见了一种智能化的毛病预测方式和摆设过程中的优化手艺实现预测精确率的大幅提拔的同时，实现机能影响最小化。卑崇的列位宾客，大师好！我是华东师范大学大数据智能系统尝试室的石亮。很是侥幸能正在此次人工智能根本设备峰会上，取大师分享我们正在大规模固态存储盘毛病预测及摆设优化手艺方面的研究。正在当今数字化时代，闪存存储设备曾经普遍使用于数据核心、消费电子等各类场景，成为现代存储系统的焦点构成部门。从2008年我起头研究闪存存储系统至今，了闪存手艺的飞速成长，其成长趋向次要表现正在三个维度：一是从2D到3D再到4D的架构演进；二是堆叠层数的显著添加，从24层提拔至300层；三是每单位多比特手艺的不竭成熟。这些前进使得闪存具备了简便、高机能、低功耗等显著劣势，鞭策了全闪存化正在数据核心等场景的大规模摆设。跟着闪存手艺的持续演进，SSD介质正朝着存储高密度的标的目的成长，加快替代保守的HDD介质。正在人工智能、大数据等全场景中，闪存可以或许供给更高效、更平安的存储能力，而且利用成本也不竭降低。估计到2026年，国内企业级固态硬盘市场规模将增至669亿元，2022-2026年期间复合增速约为23。7%，而PCIe固态硬盘市场份额比例将正在2026年进一步增至89。3%。然而，正在大规模摆设闪存存储设备的过程中，硬件毛病问题日益凸显。而QLC等新型闪存设备的毛病率可能更高。设备一旦呈现毛病，可能导致数据丢失等严沉后果，保守的多备份方案虽然能够处理数据丢失问题，因而，学术界和企业界遍及采用毛病预测和恢复机制相连系的方案来应对这一挑和。为了提前预知SSD毛病，我们开展了一系列基于机械进修的研究工做。整个研究过程包罗数据收集、数据预处置、特征选择和模子搭建等环节步调。我们从华为数据核心收集了跨越20万个SSD设备的持久运转数据，时间跨度从2017年10月至2021年9月。这些数据按照NAND类型、容量分为六类，SMART消息则从固有属性、错误相关、工做负载、持续时间及磨损等分歧角度进行分类。正在数据预处置阶段，我们对收集到的数据集进行了清洗、归一化等操做，以确保数据的质量和分歧性，为后续的模子锻炼奠基根本。通过度析分歧类型的SSD设备，我们发觉MLC和TLC等分歧固态存储设备的失效特征存正在显著差别。例如，MLC的出厂坏块数量凡是比TLC少，但其摆设的使用类型可能导致其更容易呈现毛病。基于这些察看成果，我们提出了差同化的机械进修处理方案。该方案将SSD设备按照负载类型、利用时间、容量、类型等要素进行分类，建立分歧的模子进行毛病预测。同时，我们引入了回溯周期和恢复周期的概念，以便更全面地捕获设备的毛病特征。尝试成果表白，我们的差同化机械进修方案正在毛病预测方面取得了显著的机能提拔。以随机丛林算法为例，当召回率达到0。91时，切确度能够连结正在0。81，比拟较保守方式，查准率提拔了约0。4，查全率提拔了约0。35。这一成果远超现无数据，达到了能够商用的方针。正在毛病恢复方面，保守的RAID恢复机制存正在占用计较资本、影响办事且速度较慢等问题。我们提出了一种基于预测备份的RAID快速恢复手艺。该手艺的焦点思惟是提前预测毛病设备，并正在毛病发生前生成镜像设备。具体实现过程如下：起首，预测算法识别出可能毛病的正样本设备；然后，预恢复机制利用备用设备取正样本设备构成RAID1阵列，正在不影响正样本设备一般运转的环境下进行数据备份；正在察看期间，RAID1正在上层RAID5中做为单个设备运转，照顾正样本设备上的数据，期待设备毛病；最初，正在正样本设备发生毛病后，移除毛病设备，保留镜像设备，从而实现快速恢复。尝试成果表白，基于预测备份的RAID快速恢复手艺正在机能方面表示超卓。正在预恢复过程中，前台工做负载的吞吐量下降不跨越一般吞吐量的93%，而镜像生成过程对前台工做负载的影响也较小。比拟之下，保守毛病后恢复机制会导致机能大幅下降，随机读吞吐量和挨次读取吞吐量别离下降到一般吞吐量的23。4%和23。9%。此外，通过调整模子参数，我们能够正在分歧的精确率和召回率之间进行衡量，以满脚现实使用场景的需求。总结而言，我们的研究工做通过差同化的多模子锻炼和基于预测备份的RAID快速恢复手艺，无效处理了大规模闪存存储系统中的毛病预测和恢复问题。正在70万块SSD设备的规模下，年毛病率为2。23%的环境下，我们的方案可以或许显著提拔毛病预测的精确性和召回率，并正在毛病恢复过程中保障系统的机能和办事能力。瞻望将来，我们将继续深化正在大规模存储系统毛病预测取恢复范畴的研究。一方面，我们将努力于精细化数据汇聚，从多个数据核心和供应商收集更普遍的数据，丰硕数据集的多样性和时间跨度；另一方面，我们将研发更先辈的模子，提拔预测精度、扩展预测时间范畴，并加强模子的通用性，使其合用于分歧品牌和型号的SSD。此外，我们还将鞭策智能化方案的实施取，实现毛病预测模子的及时监测取预警，并通过持续收集运转数据，不竭优化和改良模子，为大规模固态存储系统的靠得住性和不变性供给更无力的保障。