迷之自信导致主观“幻觉”，会输出错误信息误导受 众认知。如果要求 ChatGPT 提供训练数据或已知事件之外的 历史信息，生成式 AI 有时会产生“幻觉”，生成一些无关、 无意义或不正确的信息，包括编造错误答案和不存在的法条 或科学知识。[2]这是人工智能的一种自信反应或“错觉”。 当生成式 AI 出现“幻觉”时，它会提供看起来合理但不正 确的信息，大概会影响到 15%至 20%的生成内容。例如，

，具有明确 的方向性。 动态调整：行动过程中需要根据实际情况进行灵活调整，以达 到最佳效果。 行 探索性：“问”体现了对知识的主动探求，尤其是在使用AI时， 用户通过提问来挖掘数据、寻找答案或解决问题。 互动性：提问是用户与AI系统进行交互的一种方式，通过提问， 用户可以引导AI提供更符合需求的信息。 开放性：好的问题往往是开放性的，能够激发新的思考和发现， 不局限于已有的知识和观点。 链式推理(慢速思考模型，如OpenAI o1) 性能表现 响应速度快，算力成本低 慢速思考，算力成本高 运算原理 基于概率预测，通过大量数据训练来快速预测可能 的答案 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 决策能力 依赖预设算法和规则进行决策 能够自主分析情况，实时做出决策 创造力 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 它来生成新的文本或回答 问题。假设我们向模型提 出一个问题："我应该吃 什么水果？"，模型会考 虑这个输入，根据它在训 练过程中学到的知识来生 成一个答案。模型可能会 回答"你可以试试苹果。" 注意力机制 在推理过程中，模型会使 用"注意力机制"技术来决 定哪些输入词对生成答案 最重要。例如，在上面的 问题中，模型可能会认为 "吃"和"水果"这两个词最 重要，因为这两个词直接 相关于应该选择哪种水果。 自回归生成

型扮演某些新角色，逃避原有规则限制，提供原本拒绝输出 的信息；利用字符串拆分拼接等方式，分散大模型注意力， 使其暂时忽略校验输出内容。攻击者可在一个问题中注入虚 假信息，误导模型得出错误的答案；或在多个问题中注入相 关信息，使模型推理过程出现偏差。提示注入攻 击形式多 种：直接提示注入是指直接向模型输入恶意指令，引发意外 或有害的行为；间接提示注入是将恶意指令注入到可能被模 型检

也 接入大模型支持文档自动分析，提取核心知识点并生成试题，以 用于课程资料、教材、考试大纲等出题场景。教育对内容正确性 要求极高，智能出题虽然具备高效、快速的优势，但目前生成的 题目、解析和答案等可能存在错误，需教师核验后方可用于实际 教学。尽管如此，随着教师出题压力增大，学校对智能出题的需 求和期望逐渐加大。智能出题若能突破现有技术瓶颈，保证题目 质量并符合学科课程标准，将极大提升教学效率和质量。 目前市面上已有多个智能组卷系统，通过整合大量小学、初 中、高中多学科的精品试题，涵盖各地重要考试、名校试卷以及 中高考真题，构建了以知识点、难度系数、题型标签为核心的精17 细化题库体系，并为每道试题配有题目、解析和答案。依托海量 试题资源，组卷系统提供手动选题组卷、固定抽题组卷和随机抽 题组卷等多种方式，以及考试、测验、作业等不同类型的试卷模 板，供教师根据日常作业、考试等教学场景进行挑选使用。当前， 组 规则引擎，实现填空题的语义完整性检测与选择题答案的毫秒级 匹配。针对主观题型（如论述、作文），通过自然语言处理、语 义分析及深度学习模型，对答案的篇章结构、语法逻辑、知识关 联等进行多维度量化评估，并生成个性化评语与改进建议。 目前智能批改在教育领域已取得显著发展，诸多工具与产品 可支持对客观题和主观题的批改工作。客观题因答案唯一且确定， 其准确性较高，基本杜绝了因主观因素造成的误判或错判情况。 而主观题由于答案具有多样性与开放性，其批改标准较难做到统