· liyu · ai
从预训练到指令微调：中文 LLaMA2 (204M) 原生 LoRA SFT 实战与 Kaggle GPU 避坑指南
完整记录中文 LLaMA2（204M 参数）从预训练向 SFT 指令微调演进的全流程。深入剖析 Loss Masking 数据管道、原生手写 LoRA/QLoRA 模块实现，并深度复盘 Kaggle 云端 GPU 迁移中的只读文件系统、Git LFS 假死、GPU 架构兼容与跨设备张量对齐四大经典工程踩坑。文末联动 AstrBot Agent 微信机器人实现 GPU 训练定时看护。