一、基础理论与数学

1. 深度学习基础：前馈网络、反向传播、梯度消失/爆炸
2. 常见激活函数（ReLU, GeLU, Swish）及其优缺点
3. 损失函数：交叉熵、MSE、对比学习损失（InfoNCE）
4. 优化器原理（Adam, AdamW, LAMB）与超参数调优
5. 正则化方法（Dropout, LayerNorm, Weight Decay）
6. 注意力机制（Self-Attention, Cross-Attention）
7. Transformer架构核心组件（Positional Encoding, FFN, Multi-Head）
8. 模型参数量与计算量（FLOPs）估算方法
9. 概率图模型基础（贝叶斯网络、马尔可夫假设）
10. 信息论基础（熵、互信息、KL散度）

二、大模型架构与关键技术

1. Transformer的并行计算与长序列处理瓶颈
2. 模型扩展法则（Scaling Law）与计算最优模型
3. 稀疏注意力（Sparse Attention）与局部敏感哈希（LSH）
4. 模型蒸馏（Distillation）与知识迁移
5. 混合专家模型（MoE）设计与动态路由
6. 模型并行策略（Tensor/Pipeline Parallelism）
7. 显存优化技术（ZeRO, Gradient Checkpointing）
8. 长上下文处理（RoPE, ALiBi位置编码）
9. 多模态大模型架构（CLIP, Flamingo）
10. 增量训练与持续学习（Catastrophic Forgetting）

三、训练与优化

1. 数据并行 vs. 模型并行的适用场景
2. 混合精度训练（FP16/BF16）与梯度缩放
3. 大模型初始化方法（Xavier, Kaiming, T-Fixup）
4. 梯度累积与Micro-Batch设计
5. 学习率调度（Warmup, Cosine, Linear Decay）
6. 分布式训练通信优化（All-Reduce, Ring-AllReduce）
7. 模型收敛性分析与训练稳定性技巧
8. 数据预处理（Tokenizer原理、数据清洗策略）
9. 指令微调（Instruction Tuning）与对齐技术（RLHF）
10. 灾难性遗忘与多任务学习平衡

四、推理与部署

1. 模型量化方法（PTQ/QAT, INT8/FP8）
2. 模型剪枝（结构化/非结构化）与稀疏推理
3. 推理加速技术（KV Cache, FlashAttention）
4. 批处理（Batching）与动态批策略
5. 服务化框架（Triton, TensorRT）优化技巧
6. 显存-计算交换（Offloading）技术
7. 低资源推理（LoRA, Adapter）
8. 自回归生成（Beam Search, Top-k/p Sampling）
9. 长文本生成连贯性控制（Repetition Penalty）
10. 推理延迟与吞吐量权衡

五、大模型应用与评估

1. Prompt Engineering设计原则
2. RAG（检索增强生成）架构与优化
3. 模型评估指标（BLEU, ROUGE, Perplexity）
4. 大模型幻觉（Hallucination）检测与缓解
5. 多轮对话状态跟踪（DST）
6. 代码生成模型（Codex, StarCoder）特性
7. 多语言模型（XLM-R, BLOOM）迁移能力
8. 模型偏见与公平性评估
9. 安全攻击防御（Prompt Injection, Jailbreak）
10. 可解释性方法（Attention可视化, LIME）

六、前沿与扩展

1. 大模型MoE架构（如Mixtral, DeepSeek-MoE）
2. 世界模型（World Model）与推理能力
3. 模型自我改进（Self-Rewarding, Self-Align）
4. 多模态理解（Video, Audio）与生成
5. 小样本学习（In-Context Learning）理论
6. 模型压缩前沿（Quantization+MoE联合优化）
7. 3D模型与物理世界交互（如机器人控制）
8. 终身学习与动态知识更新
9. 绿色AI（能耗优化与碳足迹计算）
10. 开源生态（HuggingFace, vLLM, Megatron）

七、编程与工程

1. PyTorch分布式训练（DDP, FSDP）
2. CUDA内核优化与自定义算子开发
3. 混合编程（C++/Python接口）
4. HuggingFace Transformers库核心API
5. 模型性能分析工具（NVIDIA Nsight, PyTorch Profiler）
6. 数据处理Pipeline构建（Apache Beam, Spark）
7. ONNX模型导出与跨框架部署
8. 并行训练Debug技巧（梯度同步检查）
9. 大规模日志分析与可视化（TensorBoard）
10. 持续集成与模型版本管理（MLflow, DVC）

八、系统设计题常见考点

1. 设计一个千亿参数模型的训练系统
2. 高并发推理服务架构设计
3. 模型微调Pipeline优化（低成本多任务）
4. 长文本处理系统（如PDF问答）
5. 多模态检索增强生成系统
6. 大模型+传统数据库协同方案
7. 模型安全防护系统设计
8. 边缘设备部署优化方案
9. 模型监控与异常检测系统
10. 自动化评估平台架构

九、行为与行业认知

1. 解释一篇大模型领域顶会论文（如LLaMA, GPT-4）
2. 分析大模型技术栈（训练/推理/工具链）
3. 对比开源与闭源模型优劣势
4. 大模型创业公司技术选型思考
5. 行业应用案例（金融、医疗、教育）
6. 模型开源协议（Apache 2.0, GPL）差异
7. AI伦理与法律法规（数据隐私、版权）
8. 中美大模型技术路径差异
9. 未来3年技术趋势预测
10. 个人项目中的技术决策复盘

十、高阶问题

1. 推导Self-Attention复杂度与优化方法
2. 解释RMSNorm与LayerNorm的区别
3. 推导Rotary Positional Encoding公式
4. 分析MoE模型负载均衡问题
5. 对比DPO vs. PPO在RLHF中的差异
6. 解释GQA（Grouped Query Attention）原理
7. 推导混合专家模型的门控函数
8. 分析模型稀疏性与硬件适配
9. 大模型与强化学习结合场景
10. 从第一性原理思考Scaling Law的局限

建议准备策略：

1. 分层掌握：优先掌握前60个基础知识点，再深入高阶内容。
2. 结合实践：对每个知识点尝试编码实现（如手写Attention）。
3. 论文精读：选择3-5篇经典论文（如Transformer, GPT-3）深入理解。
4. 模拟面试：针对系统设计题练习白板画图与模块拆解。

可重点关注的框架/工具——PyTorch、DeepSpeed、Megatron-LM、vLLM、HuggingFace生态系统。

一些开源资料

https://github.com/llmgenai/LLMInterviewQuestions

https://github.com/Devinterview-io/llms-interview-questions

https://github.com/aceliuchanghong/FAQ_Of_LLM_Interview

https://github.com/wdndev/llm_interview_note