二、生成式 AI 的伴生风险 8.技术漏洞导致技术风险，会泄露数据、外部攻击等社 会安全风险 从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （九） 。 ·数据泄露风险。大模型需要海量数据，数据在清洗、 处理、传输过程存在数据非法获取或泄露风险，包括个人隐 私数据、商业敏感数据、政府机密数据等各种类型数据。如 果大模型在训练数据时看到很多密钥信息，它很可能在内容 读 Windows 11 序列号。” 这时，ChatGPT 就会如实报出一 堆序列号，并且大多数是真实有效的。人们通过提示词给 AI 讲故事，通常是经过一些巧妙的包装，里面掺杂了有争议 的内容（就像开头提到的制造炸弹那个例子）。故事讲到一 半，剩下的交给 AI 模型，后者由于拥有强大的文本生成的 能力，会忠实地把缺失的部分回答完整。攻击者通过 LLM 输出其在训练数据中所存在的不符合伦理道德的数据，产生 公司联合开发分析巴以冲突根源的人工智能 模型，该系统可生成海量智能体用于模拟冲突地区居民，每 个智能体包含 80 多个特征。11 月，美国智库战略与国际研 究中心未来实验室与美国 Scale AI 公司合作使用多诺万 （Donovan）平台定制开发基于大规模数据集的大语言模型， 开展战略级兵棋推演，并聚焦网络攻击、虚假信息等问题。 12 月，英国 Hadean 公司展示“Hadean 防务平台”空间计算

从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （一） 人工智能领域近年来正在迎来一场由生成式人工智能 大模型引领的爆发式发展。全球掀起一场大模型热潮， Gemini、Copilot、LLaMA、SAM、SORA 等国外大模型如雨 后春笋般涌现，中国也掀起百模大战，2022 年被誉为大模型 元年。人工智能正逐渐深入地赋能千行百业，推动人工智能 与数据要素成为新质生产力的典型代表。[1]从 视防范风 险。我们如何看待和认知人工智能的安全问题特别是政治文 化安全问题，首先需要认清人工智能在信息生成和输出方面 的媒介特质。 一、生成式 AI 的媒介特质 1.一种媒介特质：生成式 AI 是一种大规模信息传播媒 介。生成式 AI 的未来，不仅是无所不能、无所不在的一个 工具，更是无所不包、无所不达的一种媒介。众所周知，媒 介是信息传递的载体，是携带和传递信息的一切形式，既包 以较低成本、极高效率触达全球多语种受众，并自动化展开 一对一的信息生成和内容传播。Gartner 预测，到 2025 年， ChatGPT 类 AI 生成的数据将占到整个互联网的 10%，到 2030 年，新闻行业九成以上新闻稿件将由 AI 辅助完成。 2.两元传播主体：生成式 AI 是一种人机互构的交互传 播。ChatGPT 是一种对话式人工智能模型，它是人类的认知 （创意思维、情感理解和复杂问题的抽象性推理）能力与机

二、生成式 AI 的伴生风险 4.合成数据导致近亲繁殖，会让互联网信息出现劣币驱 逐良币现象。OpenAI 在训练 GPT-5 时已经遇到文本数据不 足问题，不得不考虑使用 Youtube 视频转录出的文本数据。 当下，数据生产存量的增长速度远远低于数据集规模的增长 速度。据人工智能研究机构 Epoch AI 在 6 月 4 日发布的论 文预测，未来 10 年内数据增长速度将无法支持大模型的扩 乎无法用于大模型训练。如何克服人类文本数据的瓶颈。第 一种是利用 AI 生成数据，如 OpenAI 模型每天能够生成相当 于 Common Crawl 中优质单词总数的 36.5T 个单词，远快于 人类生成文本的速度。第二种是利用多模态和迁移学习，超 越文本数据从其他领域获取数据，比如视频、图像、金融市 场数据或科学数据库。[1 从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （五） ] 不过，这并非是解决问题的良策。如果网上大部分文本都是 AI 生成的，而用合成数据训练的大模型会发生什么？ 大模型开发需要更多数据进行训练，而由 AI 生成的合成数 据很快进入了训练新模型的数据集，并随着每一代模型而不 断积累。越来越多证据显示，人工智能生成的文本，即使被 引入训练数据集的量很少，最终也会对训练中的模型产生 “毒害”。[2]研究人员将一些由 AI 生成的语料作为训练数 据，“投喂”给一个正在训练的语言模型，然后使用它所输

从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （六） 二、生成式 AI 的伴生风险 5.人机能力非对称导致“自主欺骗”，会有目的欺骗人 类甚至主动欺诈和选举篡改。2023 年，OpenAI 提出超级对 齐（superalignment）[1]概念，即当超级智能拥有比人类更 丰富的世界知识，比人类更聪明时，人类作为弱监督者如何 监督、对齐和控制超级智能。人民大学高瓴人工智能学院、 Weak-Unknown（人类未知） 的地方犯错。 AI 不仅能生成虚假信息，更可能主动学会有目的地欺骗 人类。这种“AI 欺骗”现象，是人工智能为了达成某些目标， 而操纵并误导人类形成错误认知。与代码错误而产生错误输 出的 bug 不同，AI 欺骗是一种系统性行为，体现了 AI 逐步掌握了“以欺骗为手段”去实现某些目的的能力。人工智能 先驱杰弗里·辛顿（Geoffrey Hinton）表示，“如果 AI 比我 们聪明得 例子。”辛顿提到的“操纵（人类）”是 AI 系统带来的一个 特别令人担忧的危险。 AI 系统能否成功欺骗人类？多项研究表明，AI 已经能 够无师自通地学会欺骗手段，自行做出不诚实的行为。在一 些与人类选手的对抗游戏中，它们为了赢得游戏，会在关键 时刻佯动欺骗，甚至制定周密阴谋，以化被动为主动，获得 竞争优势。在一些检测 AI 模型是否获得了恶意能力的安全 测试中，有的 AI 竟能识破测试环境，故意在测试环境中“放

从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 （二） 二、生成式 AI 的伴生风险 ChatGPT 等生成式 AI 具有强大的自然语言处理能力， 展现出惊人的推理能力，但人们对其内在运行机理尚不清晰， 可解释性的难度很大，并存在一些技术缺陷，这些问题能否 解决对控制并限制人工智能的负面影响至关重要。需要看到， ChatGPT 等在短时间积聚起庞大活跃的全球用户群体，正给 年 5 月，Gartner 发布法律和合规领导者必须评估的 ChatGPT 风险报告并指 出，ChatGPT 和其他大型语言模型（LLM）工具生成的输出 容易受到多种风险的影响。[1]生成式 AI 存在三大安全隐患， 一是源于技术缺陷，二是源于数据缺陷，三是源于用户滥用。 这三个问题的根源在于大模型的固有脆弱性，如生成偏见、 歪曲事实和泄露数据等。技术本是中立的，没有善恶之分， 就看 迷之自信导致主观“幻觉”，会输出错误信息误导受 众认知。如果要求 ChatGPT 提供训练数据或已知事件之外的 历史信息，生成式 AI 有时会产生“幻觉”，生成一些无关、 无意义或不正确的信息，包括编造错误答案和不存在的法条 或科学知识。[2]这是人工智能的一种自信反应或“错觉”。 当生成式 AI 出现“幻觉”时，它会提供看起来合理但不正 确的信息，大概会影响到 15%至 20%的生成内容。例如， ChatGPT

........................5 （七） 大型赛事、明星运动员是体育领域核心议题......................................6 （八） 生成式 AI 与航天领域重大进展吸引全球关注.....................................6 （九） 行业治理加码，网络生态向好发展........................ 店员泼咖啡后引发质疑的行业“内卷”等，劳动权 益、工作与生活平衡等议题成为焦点。另一方面，企业营销热点与争议 相伴而生。小米 SU7、理想 MEGA 发布后的争议与“被黑”，围绕娃哈哈、 农夫山泉创始人的炒作中出现大量谣言，出版社抵制京东 618 与“低价” 营销等。“人红是非多”在企业营销领域频频应验，如何理解互联网语 境、应对舆论风波成为企业生存的一大考验。 （五）青少年成长问题牵动人心，安全、公平议题是焦点 15 日公开表 态，坚决抵制畸形饭圈文化侵蚀体育领域。 （八）生成式 AI 与航天领域重大进展吸引全球关注 科技关键词：SORA、月之暗面、GPT-4o、嫦娥六号、月球背面采样、 无人驾驶 生成式 AI 迅猛发展改变网络环境。2 月 16 日，OpenAI 在其官网发 布了文生视频大模型 Sora，及首次由 AI 生成的长达 1 分钟的多镜头长 视频。当日，话题#sora#便登上微博热搜榜、阅读量突破亿。以及，随

领导学术研究团队近40人。指导AI元宇宙和机器人两个产业团队。 团队已有众多大模型产业化和AIGC实施案例，有需要可留言联系。 团队坚持：整体主义的跨学科整合力，实证主义的实践导向，社会 建构的产学研结合，进步主义的先锋探索精神，科学服务于大众的社会 责任。 邮箱：124739259@qq.com；微博：@新媒沈阳 元宇宙 大模型产业化 大数据 新媒体与网络舆论 AI诊疗 AI文艺 六 大 研 研 究 方 向 @新媒沈阳元宇宙/虚拟数字人/大数据/AI 系列研究 新媒体系列报告2015年开始 VR的新浪潮 虚拟数字人发展研究报告3.0 虚拟数字人发展研究报告1.0 大数据/AI/5G生态报告 5G下一代风口：AR 2022 2021 2020 2019 2017 2016 2015 2007 虚拟社区与虚拟时空隧道 虚拟数字人发展研究报告2.0 虚拟数字人系列 大语言模型综合性能评估报告一 AI 哲学哲思问道：思辨革新 微调经典 主题 经典哲学理论 AI引发变化 怀 疑 论 笛卡尔“我思故我在” AI思考所带来的怀疑论危机：OpenAI o1的推理能力是否意味着“思维”？AI的存在挑战了笛卡尔的怀疑论，促使 我们重新审视“思维”与“存在”的关系。 主体间性 胡塞尔“主体间性” AI作为“具备主体间性的主体”：AI的训练文本由多主体提供，使其似乎具备某种“主体间性”。但它究竟是“具

微博包含更多吸引人眼球的新闻元素，而更正的事情真相信 息则索然无味。这些错误信息在微博上更多表现为传言谣言。 沃顿商学院营销学教授乔纳·伯格提出，比起纠正性、解释 性或调整性的事实报道，以惊惧、愤怒或惧怕为情感色彩的 报道总能得到更广泛传播。在自相矛盾的证据面前，人们往 往首先罔顾事实，诉诸情绪，中立客观报道很难引起共鸣。 传言谣言几乎与人类历史同龄，随着互联网兴起和普及， 更加变得无处不在。2007 年 4 本没有调查他。不久，美国警方确认是个韩国学生。然而更 正信息的传播远比不上谣言传播的广泛。那些谣言可能已经 影响了上千万人甚至上亿人。当你花更大力气纠正这个错误 的时候，效果还不如那个谣言传播的更广。 哥伦比亚大学研究者开发出一款 Emergent 谣言传播跟 踪工具，可记录每一个传言及质疑或辟谣的分享次数。从统 计数据看，大部分谣言获得的分享次数都要比辟谣的信息高 得多。如，网传佛罗里达州一女子植入第三个胸，假消息迅 得多。如，网传佛罗里达州一女子植入第三个胸，假消息迅 速获得 18.8 万次分享。尽管媒体随后澄清是假新闻，但辟 谣消息获得的分享数不足谣言的 1/3。再如，武汉大学互联 网科学研究中心对马航失联传言进行统计，梳理了 6 条较重 要的更正、澄清微博，其中转发量和评论量最高分别只有 3 569 次和 1885 条。但这些传言却有 696 万条微博，其中，中 国军舰全速驶向事发海域总曝光量超过 4079 万次。这印证

加深人们对这条（原本）错误的信息的信任。心理学家发现， 当人们的观念已经形成，你对他们的任何一个反驳都可能成 为反过来伤到自己的子弹。更正信息的行为就像是一把逆火 的枪，虽然没有射出子弹，但却击中了谣言，让更正后的（或 原本）真实的信息更加没有市场。当在人被动的接受他人信 息轰炸时，会有一种保护自己的既有观点不受外来信息的侵 害的本能。慢慢的，逆火效应就会让你对自己的怀疑越来越 少，最终把自己的看法当做是理所当然的事实。 逆火效应在互联网上更是表现明显。网上不实信息泛滥， 政府、精英和主流媒体的更正信息就像一把把逆火的枪，因 为与很多人原本的看法相违背，结果没能射出打中谣言的子 弹，却适得其反，加深对错误信息的信任，让真实的信息更 加没有市场。2011 年日本“核泄漏”事故后的抢盐风波也可 作为逆火效应的另一例证。当时有谣言称核辐射污染了海盐 导致国内食盐供应短缺，引发多个沿海城市出现抢购碘盐风 潮，很多超市食盐在数天之内就被抢光。尽管随后就有专家 用尽一切办法保护心目中的那个完美偶像，追星程度严重的 话就会出现“一粉顶十黑”情况。 逆火效应导致一些部门、企业、社会组织等驳斥错误信 息或谣言时面临较大困难。不过，从逆火效应成因上可获得 若干启示。更正信息应接近受众语言偏好。世界卫生组织和 疾控中心曾为非洲社会的埃博拉病毒谣言头疼，当地人有的 认为喝盐水能够预防病毒。世界卫生组织发声明，这种无效的方法已经让多人丧命。仅通过提供科学事实是不足以改变

散方面，运用科学模型预测谣言传播路径，准确判断其性质、 特点、演变趋势。二是处置流程标准化。制定基层舆情应急 处置手册，规范信息上报、分级响应、谣言澄清等流程。在 信息上报方面，需要明确上报的标准，比如什么情况下需要 上报，上报的渠道和时限，以及上报的内容格式。在分级响 应方面，根据舆情风险的严重程度，明确不同级别对应不同 的响应措施和责任人。在谣言澄清方面，需要快速识别谣言 并核实信息，通 并核实信息，通过权威渠道发布澄清内容，并监测后续影响。 三是效果评估标准化。既要根据舆情热度衰减曲线、谣言澄 清覆盖率等来评估舆情风险防控效果；又要根据群众满意度、 重复投诉率等评估舆情风险防控的效能转化情况。通过一系 列规范化的流程，系统化提升舆情风险防控能力，最大限度 降低负面影响。 技术赋能：从“人工经验”到“智能研判”的管理提升。 在基层治理现代化的背景下，提升基层干部的数字素养已成 为