2026年10月24日，开源本地推理引擎Strata推出了v0.2.4版本，终端版正式支持DeepSeek V4.1-Flash-1017模型。一张配备12GB显存的RTX 3060显卡加上46GB内存即可在本地运行这一参数总量达552B的MoE模型，但需占用至少239GB的高速SSD存储空间，同时对本地千亿模型的运行速度要有合理预期。
此次更新的重点是修复了终端包中缺失DeepSeek准备脚本以及安装过程中卡在“准备模型”问题。Strata 0.2.4新增了“热门专家缓存”功能，该功能将高频使用的专家模型常驻内存（根据显存条件可以进一步驻留GPU），其他专家权重则存储在SSD上，按需读取。这一机制改变了本地推理速度的决定因素，从“显存容量”转变为“内存容量、SSD的随机读性能和CPU调度效率”。
此外，Strata 0.2.4也提供了来自ISTA-DASLab的三个GSQ-RCO量化版本供选择，不同版本在磁盘占用与模型质量上都存在差异。具体而言，IQ1_M版本的磁盘占用为239GB，每生成的困惑度提升21%；IQ2_XXS版本占用257GB，困惑度提升15.5%；而IQ2_XS版本则占用274GB，困惑度提升7.3%。
发表评论