📺
dev.to
的视频解读了一篇发表于 ICML 2026 的重磅论文（由 Meta、DeepMind、康奈尔大学与 NVIDIA 联合完成）[[]]；若使用 FP32 单精度，该数值提升至 3.83 比特 [[]]。在此场景下模型无法学习规律，性能提升完全来自于对样本的“死记硬背” [[]]。
相变过程：
数据集 < 模型容量：数据量很小、模型塞得下时，模型倾向于直接死记硬背，损失函数下降最快 [[]]。死记硬背的记忆量开始下降，而泛化能力开始快速上升 [[]]。当跨过这个容量临界点后，随着数据继续增加，泛化能力增强，测试损失重新开始下降 [[]]。在数万亿 Token 的大模型中，普通/平均样本的成员推断准确率接近随机猜想（F1 接近 0.5） [[]]。
总结与延伸思考
视频指出，模型参数并不是简单的“硬盘”，而是一个混合体 [[]]，也为未来大模型的机器无痕擦除（Machine Unlearning）与隐私保护指明了方向 [[13:13]]。
Vollständiger Original-Bericht
Ausführliche Details, Code-Beispiele & Hersteller-Stellungnahme auf dev.to.
SOCIAL SHARE CARD GENERATOR