The Blog

回望初入职场时的第一次实习，自己像一块干瘪的海绵在代码与业务的海洋里疯狂汲取养分。从被带教老师一句"你这个东西是在内存中吧"问住，到基因报告入库方案中见识到共享磁盘挂载的妙用，这两次技术评审如何打破了我的学生思维，开启了真正的工程架构认知。

在上一篇完成 Kaggle GPU 上的 LoRA SFT 微调后，满心欢喜地启动推理测试，结果却令人哭笑不得：基座模型还能头头是道地接龙，微调后却退化成了无限复读机与胡言乱语的"人工智障"。本文结合欠拟合、重复惩罚缺失与 LoRA 容量等硬核成因进行深度诊断，给出针对性重构方案。

完整记录中文 LLaMA2（204M 参数）从预训练向 SFT 指令微调演进的全流程。深入剖析 Loss Masking 数据管道、原生手写 LoRA/QLoRA 模块实现，并深度复盘 Kaggle 云端 GPU 迁移中的只读文件系统、Git LFS 假死、GPU 架构兼容与跨设备张量对齐四大经典工程踩坑。文末联动 AstrBot Agent 微信机器人实现 GPU 训练定时看护。

详细记录在一台 4C4G3M 国内云服务器上，如何使用 AstrBot 作为 Agent 核心框架，通过 Mihomo 容器实现 Google Gemini API 的精准海外出口分流，并打通宝塔面板官方 MCP 服务的全过程。深度复盘自签名证书注入、PEM 解析损坏、协议选型（405）、IP 白名单鉴权（403/406）与安全加固等踩坑实战。

一文讲清大模型分词器的本质：从“为什么需要子词分词”，到结合具体数据的 BPE 训练推导，再到现代大模型标配 BBPE 的核心机制。

一文搞懂 Transformer 位置编码的本质：为什么需要位置编码？从 APE 的加法注入到 RoPE 的复数旋转几何证明，再到长上下文扩展（PI、NTK、YaRN、Base 缩放）演进全貌。