12 posts tagged with "LLM"

AI 思维链 CoT，本质是 用 token 数换推理深度 的工程技巧。

1. 为什么需要：单次前向传播算力固定，把思考过程外化成 token，变相扩容。
2. 起步阶段：Google 用程序生成"题目+步骤"数据，监督微调小模型学会推理。
3. 自举阶段：STaR 让模型自己生成答案，只留结果正确的样本继续微调。
4. 采样增强：Self-Consistency 多链采样，多数投票决定最终答案。
5. PRM 路线：OpenAI 训练 verifier 给每一步推理打分，过程可监督。
6. GRPO 路线：DeepSeekMath 用组内相对分数，只奖励结果对，把 CoT 推向 RL。
7. 未来趋势：CoT 和工具调用、代码执行、搜索结合，持续催生新能力。

Prompt 注入是 LLM 时代的新型安全威胁。

• 本质：把恶意指令塞进用户输入，劫持 AI 的决策逻辑
• 核心原理：指令优先级劫持 — 模型分不清系统规则和攻击代码
• 三步攻击：识别 prompt 结构 → 构造 payload → 触发执行
• 与 SQL 注入对比：同样利用边界混淆，攻击目标是 AI 语义，防御成熟度差 20 年
• 防御要纵深：输入过滤 + prompt 分层 + 最小权限 + 上下文沙箱 + 输出检测 + 日志监控
• 反直觉：AI 越智能，被攻破后破坏力越大

对齐是把"会说话的模型"变成"能帮忙的助手"的关键一步。

• 问题：基座模型只会续写 token，不会服从指令。
• 定义：对齐 = 让输出符合有用、诚实、无害 三 个标准。
• SFT：用"指令→回答"样例做监督微调，教会模型执行任务。
• RLHF：人类打分排序 → 训练奖励模型 → PPO 强化学习优化。
• DPO：直接从偏好数据学习，省掉奖励模型，训练更稳定。
• 代价：过度对齐有"对齐税"——创造力下降，安全与能力需要取舍。
• 现实：对齐不是一锤子买卖，用户反馈是最好的持续对齐信号。

英伟达目前的企业级显卡主要分为两条产品线（注：两者本质上都是 GPU，只是市场定位不同）：

训练卡：

• Ampere 架构：A100
• Hopper 架构：H100 / H200 / H800（中国特供） / H20（中国特供）
• Blackwell 架构：B100 / GB200 / B200

推理卡：

• Ada Lovelace 架构：L4 / L40 / L40S

此外，华为也有昇腾系列 NPU（如 2026 年发布的 950PR）作为替代方案。

选购建议：训练选 H100/H200，推理选 L40S，尝鲜等 B100。