CCF于2025年7月宣布推出CCF大模型能力认证（Large Model Competence Certification，简称LMCC），旨在推动人工智能全学段教育的发展。这一举措被视为对现有少儿编程教育体系的有力补充，旨在发现和培养人工智能发展所需要的不同层次、不同类型的人才，为我国人工智能的发展贡献力量。

CCF LMCC认证设青少年组LMCC-T（Teenager）和成人组LMCC-A（Adult）。值得关注的是，青少年组LMCC-T主要考核大模型基本素养和概念类知识。这为许多正在少儿编程教学平台上启蒙和学习的孩子们提供了清晰的进阶目标。通过在少儿编程OJ平台上打下坚实的逻辑和算法基础后，他们可以无缝衔接到LMCC-T所要求的AI素养学习中。成人组LMCC-A则着重考核大模型应用、训练和微调等实践技能。

经过LMCC技术委员会和命题委员会多位大模型领域专家的反复打磨，LMCC大纲已制定完成。可以点击这个CCF大模型能力认证考试大纲从CCF网站下载完整的大纲。

CCF大模型能力认证大纲

一、人工智能基础概念

• [1] 人工智能相关概念定义

  • 知识点：智能、人工智能、机器学习、模型、训练等重要概念的定义
  • 扩展知识点：有监督（如分类、回归）、无监督（如聚类）等概念
  • 考核方式：概念

• [1] 机器学习流程及经典模型

  • 知识点：数据预处理、模型训练、验证、测试、神经网络
  • 扩展知识点：数据清洗、数据变换、数据工程等重要环节的概念
  • 考核方式：概念

• [1] 验证及评测

  • 知识点：交叉验证、精确率（Precision）、召回率（Recall）、受试者工作特征曲线（ROC）等重要评测指标
  • 扩展知识点：过拟合等概念
  • 考核方式：概念

• [1] 人工智能常见应用领域

  • 知识点：自然语言理解、计算机视觉等
  • 扩展知识点：智能检索、推荐系统等
  • 考核方式：概念

二、大模型基础概念

• [1] 自然语言的基础概念

  • 知识点：语言的定义、语言的特点、语言的应用
  • 扩展知识点：与其他信息（如图像、声音、代码等的区别）
  • 考核方式：概念、简答题

• [1] 基本定义

  • 知识点：大语言模型的定义、核心范式（生成、理解）
  • 扩展知识点：与传统NLP模型的区别、大模型的优势和局限性
  • 考核方式：概念、简答题

• [1] 发展历程与现状

  • 知识点：四代语言模型的发展历程（统计语言模型、神经网络语言模型、预测语言模型、大语言模型）
  • 扩展知识点：关键里程碑（如GPT系列、DeepSeek系列等）
  • 考核方式：概念、简答题

• [2] 扩展法则

  • 知识点：KM扩展法则、Chinchillar扩展法则
  • 扩展知识点：计算最优模型规模、数据规模与计算资源的权衡
  • 考核方式：概念、计算题

• [2] 大模型代表能力

  • 知识点：上下文学习、指令微调、逐步推理等代表性涌现能力
  • 扩展知识点：涌现能力的合理解释
  • 考核方式：概念、案例分析、API调用

三、模型架构

[1] 注意力机制

• 知识点：查询（query）-键（key）-值（value），softmax函数
• 扩展知识点：自注意力机制、交叉注意力机制
• 考核方式：概念、计算

[2] Transformer模型的详细配置

• 知识点：归一化方法（LayerNorm、RMSNorm）、归一化模块位置、激活函数（GELU、Swish）、注意力机制
• 扩展知识点：不同配置对模型性能的影响、大模型可解释性分析方法（探针技术、注意力可视化、特征重要性分析）
• 考核方式：概念、公式、实现与分析

[3] 混合专家模型（MoE）

• 知识点：稀疏激活、路由机制、负载均衡
• 扩展知识点：MoE的显存优化与通信开销
• 考核方式：概念、公式、实现

[4] 主流架构

• 知识点：编码器-解码器架构、因果解码器架构、前缀解码器架构
• 扩展知识点：架构选择与任务类型的关系（如生成任务 vs. 理解任务）
• 考核方式：概念、架构对比分析

[5] Transformer模型的基本结构组成

• 知识点：输入编码、位置编码、多头自注意力机制、前馈网络层、编码器、解码器
• 扩展知识点：位置编码的变体（如相对位置编码、旋转位置编码）
• 考核方式：概念、公式、代码实现

[6] 长上下文模型

• 知识点：位置编码拓展（如ALiBi）、长上下文窗口拓展、长上下文数据构建
• 扩展知识点：长上下文模型的显存与计算效率优化、长上下文模型的训练方法
• 考核方式：概念、方法、实现

[3] 高效注意力架构

• 知识点：稀疏注意力、线性注意力、键值缓存优化、多查询注意力（MQA）、分组查询注意力（GQA）、多头潜在注意力（MLA）
• 扩展知识点：高效注意力机制的理论基础（如低秩近似）
• 考核方式：概念、公式、实现

四、预测练技术

• [1] 回归分析

  • 知识点：极大似然学习
  • 扩展知识点：多目标分类学习任务
  • 考核方式：概念、公式

• [1] 自监督学习

  • 知识点：对比学习、掩码预测、自回归
  • 扩展知识点：自然语言与图像模型自监督学习的区别
  • 考核方式：概念、公式、简答

• [1] 监督学习

  • 知识点：监督学习、无监督学习
  • 扩展知识点：监督学习与自监督学习的区别与联系
  • 考核方式：概念

• [1] 预测练任务

  • 知识点：下一个词元预测（语言建模）、去噪自编码（如BERT的MLM）
  • 扩展知识点：下N个词元预测、预测练与多任务学习的关系
  • 考核方式：概念、公式、实现

• [1] 优化设置：基于批次数据的训练方法

  • 知识点：Batch及Batch Size概念、Batch Size设置对模型训练的影响
  • 扩展知识点：动态批次大小调整策略
  • 考核方式：概念、实现

• [2] 优化设置：学习率

  • 知识点：学习率概念、学习率衰减（退火）、学习率预热（Warm-up）
  • 扩展知识点：自适应学习率方法（如Cosine表减）
  • 考核方式：概念、实现

• [2] 优化设置：优化器

  • 知识点：Adam、SGD等
  • 扩展知识点：优化器的改进版本（如AdamW、LAMB）
  • 考核方式：概念、代码实现

• [2] 参数计算

  • 知识点：计算模型参数量的方法
  • 扩展知识点：MoE模型的参数量计算
  • 考核方式：计算题

• [3] 训练运算及时间计算

  • 知识点：训练运算及时间复杂度的计算方法
  • 扩展知识点：FLOPs与训练时间的实际估算
  • 考核方式：计算题

• [3] 训练显存计算

  • 知识点：预训练显存计算方法
  • 扩展知识点：显存优化技术（如梯度检查点）
  • 考核方式：计算题

• [3] 稳定优化技术

  • 知识点：梯度裁剪、训练恢复、权重表减等
  • 扩展知识点：混合精度训练中的稳定性问题
  • 考核方式：概念

• [3] 并行训练

  • 知识点：3D并行（数据并行、流水线并行、张量并行）
  • 扩展知识点：ZERO优化器与混合并行策略
  • 考核方式：概念

• [3] 训练精度

  • 知识点：单精度、半精度、混合精度概念，及其对模型训练的影响
  • 扩展知识点：BF16与FP16的对比
  • 考核方式：概念

• [3] 高效训练技术

  • 知识点：完全分片数据并行、完全和选择性激活重计算、混合精度训练的流程、融合算子的原理
  • 扩展知识点：分布式训练中的通信优化
  • 考核方式：概念、计算

五、指令微调

• [1] 模型解码

  • 知识点：概率分布、采样
  • 扩展知识点：给定分布下的概率采样
  • 考核方式：概念

• [1] 指令微调

  • 知识点：指令数据、指令遵循、指令微调的概念
  • 扩展知识点：指令微调与多任务学习的关系
  • 考核方式：概念

• [1] 指令数据集的构建

  • 知识点：指令数据合成方法
  • 扩展知识点：高质量指令数据的筛选与清洗
  • 考核方式：概念、实现

• [2] 指令数据构建提升方法

  • 知识点：指令进化算法、自引导指令增强(Bootstrapping)、长上下文指令构建
  • 扩展知识点：指令数据质量与泛化能力的关系
  • 考核方式：概念、实现

• [2] 微调优化设置

  • 知识点：目标函数、批次大小、多指令合并高效训练、多阶段混合训练（长短指令、数据课程）
  • 扩展知识点：指令微调中的资源消耗估算方法
  • 考核方式：概念、实现

• [2] 数据组织策略

  • 知识点：领域专家模型的指令过滤、代理模型引导的指令配比、基于导数的指令数据选择
  • 扩展知识点：垂直领域的指令数据构造与使用
  • 考核方式：概念、实现

• [3] 参数高效微调方法

  • 知识点：低秩适配(LoRA)、适配器微调、前缀微调、提示微调
  • 扩展知识点：参数高效微调的理论基础
  • 考核方式：概念、公式、实现

六、人类对齐

[1] 人类对齐的背景与标准

• 知识点：人类对齐背景、人类对齐标准（如无害性、有用性、诚实性）
• 扩展知识点：其他对齐标准（语言表达、道德标准等）
• 考核方式：概念

[2] 人类偏好与反馈数据收集

• 知识点：人类反馈收集方法、基于评分的人类反馈、基于排序的人类反馈
• 扩展知识点：反馈数据的偏差与修正
• 考核方式：概念

[2] 非强化学习训练的对齐方法

• 知识点：DPO的公式及原理
• 扩展知识点：DPO的算法推导、DPO与RLHF的对比、DPO模型的变种 (token-level DPO和reference-free DPO算法)
• 考核方式：概念、公式、实现

[2] 奖励模型训练

• 知识点：打分式、对比式、排序式奖励模型训练损失
• 扩展知识点：奖励模型的泛化能力
• 考核方式：概念、公式、实现

[3] 幻象

• 知识点：幻象问题的概念与分类、幻象的起因
• 扩展知识点：幻象的常见缓解方法
• 考核方式：概念、实现

七、解码与部署

[1] 解码方法

• 知识点：贪心搜索、求搜索解码的概念
• 扩展知识点：求搜索的超参数优化
• 考核方式：概念、公式

[2] 随机采样及改进策略

• 知识点：温度采样、top-k采样、top-p采样
• 扩展知识点：采样策略对生成多样性的影响
• 考核方式：概念、公式、实现

[3] 解码加速算法与实践

• 知识点：全量解码与增量解码、解码效率定量评估指标、常见推理工具使用（vLLM）
• 扩展知识点：解码加速优化算法（推测解码、非自回归解码、早退机制、级联解码）、解码加速的系统级优化（FlashAttention、PagedAttention、批次管理优化）
• 考核方式：概念

[3] 低资源部署策略

• 知识点：量化基本概念、对称量化、非对称量化、量化粒度、常见量化方法、量化对模型性能的影响
• 扩展知识点：量化工具的使用
• 考核方式：概念、实现

[3] 模型压缩方法：蒸馏、剪枝、量化

• 知识点：模型蒸馏的基本概念与基础方法、剪枝基本概念与基础方法、模型量的基本概念与基础方法
• 扩展知识点：蒸馏、剪枝和量化方法的使用
• 考核方式：概念、实现

[3] 资源管理与性能优化

• 知识点：计算资源分配与调度、模型性能的瓶颈分析与优化
• 扩展知识点：分布式资源管理、硬件与软件的协同优化
• 考核方式：概念

八、提示学习

[1] 提示工程

• 知识点：提示学习的目的、提示学习的范围与局限
• 扩展知识点：提示方法的应用场景
• 考核方式：概念、简答

[1] 人工提示设计

• 知识点：常见提示设计方法与技巧、常见模型API的使用
• 扩展知识点：提示设计的自动化方法
• 考核方式：概念、实现

[2] 上下文学习

• 知识点：上下文提示定义、模板、底层机制
• 扩展知识点：上下文学习的增强策略
• 考核方式：概念、实现

[3] 思维链提示

• 知识点：思维链的基本形式、思维链的优化策略
• 扩展知识点：思维链的基础原理
• 考核方式：概念、实现

[2] 检索增强

• 知识点：基本概念、常见使用方法
• 扩展知识点：检索增强的增强策略（自主检索调用、效率提升等）
• 考核方式：概念、实现

九、复杂推理

[1] 认知推理

• 知识点：推理的基本方法与范畴
• 扩展知识点：感知、认知与推理的区别
• 考核方式：概念

[1] 长思维链模型

• 知识点：长思维链推理模式的理解、测试时间扩展
• 扩展知识点：使用推理模型解决常见逻辑、因果、数学、代码、科学任务
• 考核方式：概念、实现

[2] 基于监督微调的推理模型训练

• 知识点：长思维链数据的搜集与构建、长思维链指令蒸馏方法
• 扩展知识点：以有监督微调方式进行推理模型训练
• 考核方式：概念、实现

[3] 基于强化学习的推理模型训练

• 知识点：以RL的方式进行推理能力的训练，包括结果奖励建模和过程奖励建模
• 扩展知识点：推理过程中的探索策略
• 考核方式：概念、公式、实现

[3] 基于搜索的大模型推理

• 知识点：基于搜索的测试时间扩展，在测试过程中通过多路径搜索（Self-consistency）、树搜索（Tree-of-thoughts）等提升模型推理能力
• 扩展知识点：搜索效率与准确性的权衡
• 考核方式：概念、实现

[2] 智能体工具使用

• 知识点：工具检索、工具调用优化方法
• 扩展知识点：工具库的构建
• 考核方式：概念、实现

[3] 多智能体通信结构

• 知识点：典型结构、结构自主学习、通信数据优化
• 扩展知识点：通信中的信息压缩与加密
• 考核方式：概念、实现

[1] 智能体身份与角色（profile）设置

• 知识点：profile的设置方法、角色扮演、角色扮演能力优化
• 扩展知识点：角色扮演中的一致性保持
• 考核方式：概念、实现

[2] 智能体记忆机制

• 知识点：智能体记忆种类、显式记忆和隐式记忆、记忆的存储和读取
• 扩展知识点：记忆的长期保持与遗忘问题
• 考核方式：概念、实现

[3] 多智能体组件优化

• 知识点：提示调优、参数调优、结构调优
• 扩展知识点：多智能体的协同学习
• 考核方式：概念、实现

[3] 智能体-人协作

• 知识点：协作种类、协作效率、协作优化
• 扩展知识点：协作中的效率优化
• 考核方式：概念、实现

[3] 智能体交互环境

• 知识点：世界模型概念、智能体-环境交互、环境反馈
• 扩展知识点：环境的基本构建与仿真方法
• 考核方式：概念、实现

[2] 智能体典型应用

• 知识点：了解WebGPT、社会模拟（斯坦福小镇等）
• 扩展知识点：使用智能体框架搭建简单的应用
• 考核方式：概念、实现

十、模型评测

[1] 评测流程

• 知识点：数据集划分、模型的泛化能力
• 扩展知识点：泛化的理论保证
• 考核方式：概念、简答

[2] 评测指标

• 知识点：熟悉使用常见评测指标，如精确率、召回率、F1分数、困惑度、BLEU、ROUGE、准确率、成功率、NDCG等
• 扩展知识点：评测指标的局限性
• 考核方式：概念、公式、实现

[2] 评测范式与方法

• 知识点：基于评测基准、基于人类评估、基于模型评估
• 扩展知识点：评测中的公平性问题
• 考核方式：概念

[2] 公开综合评测集

• 知识点：MMLU、BIG-Bench、HELM、C-Eval等数据集的使用
• 扩展知识点：评测集的构建方法、了解数据污染现象
• 考核方式：概念

[2] 语言能力评测

• 知识点：语言能力评测基本任务及对应评测指标
• 扩展知识点：领域特定任务的语言能力评测
• 考核方式：概念

[2] 知识利用能力评测

• 知识点：知识利用能力评测基本任务（如闭卷问答、开卷问答、知识补全等）及对应评测指标
• 扩展知识点：知识更新的时效性
• 考核方式：概念

[2] 复杂推理评测

• 知识点：复杂推理能力评测基本任务及对应评测指标
• 扩展知识点：推理评测的可靠性
• 考核方式：概念

[3] 其他评测

• 知识点：人类对齐评测、环境交互评测、工具使用评测、鲁棒性评测（对抗样本）
• 扩展知识点：理解高级评测任务与模型基础能力之间的关系
• 考核方式：概念

十一、模型伦理与安全

[1] 模型偏见

• 知识点：偏见的来源、检测与缓解方法
• 扩展知识点：偏见对实际应用的影响
• 考核方式：概念、案例分析

[2] 隐私保护

• 知识点：数据隐私保护技术（如差分隐私）
• 扩展知识点：隐私与模型性能的权衡
• 考核方式：概念

[3] 数据安全

• 知识点：数据泄露风险、数据加密与访问控制
• 扩展知识点：数据安全的法律与合规问题
• 考核方式：概念