LLM Algorithm Engineer2023 - 2024
密码大模型微调
PyTorchLoRADeepspeedTransformers
概述
构建密码学领域专用语料与指令集，完成高质量微调与评测基线。
问题
通用大模型在密码学场景理解薄弱，专业术语与推理错误率高。
方案
建立领域语料与指令集，采用 LoRA 进行高效微调，并搭建评测基线。
影响
- 显著提升密码学任务的准确性与一致性。
- 形成可复用的领域微调流程与评测标准。
流程
语料构建 -> 指令设计 -> LoRA 微调 -> 评测回归。
关键技术
关键技术
领域语料清洗、指令模板、对齐评测与误差分析。