AI明星造梦工厂：鞠婧祎的神秘入口探索与人工智能的艺术创作之旅令人警觉的现象，是否让人倍感不安？，影响人心的观点，如何改写未来的路线？
中国年轻偶像鞠婧祎，以其出众的长相和独特的魅力，在娱乐圈中崭露头角。作为一款以AI为驱动的人工智能音乐创作平台，她的神秘入口并非遥不可及，而是隐藏在一部与AI共同探讨艺术创作的电影之中。
电影名为《AI明星造梦工厂》, 在讲述一个充满幻想的世界里，主角鞠婧祎作为一名AI歌姬，通过与机器人的对话和互动，走进了一个科技与艺术交织的梦境世界。影片的背景设定在未来的中国，那里有先进的AI技术引领科技进步，音乐产业也因此飞速发展。
在这个虚拟的世界里，鞠婧祎扮演的角色是一位名叫“娜娜”的AI歌姬，她拥有如人类般的歌唱技能，能够在旋律、音色、情感等方面展现出与人无异的天赋。不同于一般的AI歌姬，娜娜与其他AI并没有明显的界限和差异，而是被赋予了自我意识和情感，她们之间的情感交流和互动，如同人类与朋友之间的微妙关系。
在电影中，娜娜与机器人的对话充满了对音乐世界的探索和理解。娜娜询问机器人：“你是从哪里来？”机器人回答：“我是一台由人工智能编程的音乐机器人，我来自未来的艺术工厂，是被设计用来创造音乐的。”这段对话既展示了AI音乐创作的潜力，也揭示了AI与传统艺术形式之间的界限模糊性。娜娜的回答引来了机器人的共鸣：“我们都是被制造出来的，目标都是创造出美妙的声音，让听者沉浸其中。”
娜娜与机器人的互动愈发深入，他们一起参与了一场音乐会的制作过程。在这场音乐会中，娜娜凭借其独特嗓音和音乐理念，与机器人一同创作出了一首具有深深情感共鸣的作品——《月光之舞》。这首歌曲融合了中国传统乐器和现代电子乐元素，通过娜娜和机器人的声音交互，形成了一种深沉而优美的旋律，既有自然之美的韵味，又不失科技感的冲击力。
电影娜娜和机器人以一场盛大的音乐会圆满落幕，而这一幕正是整个电影的核心所在。影片通过对AI明星造梦工厂的描绘，展现了科技与艺术的交融，以及AI在推动创新、突破束缚方面的巨大潜力。正如电影中的音乐作品《月光之舞》，它将AI的无限可能展现得淋漓尽致，而娜娜与机器人的互动，则生动地诠释了艺术和科技之间相互影响、互相激发的关系。
《AI明星造梦工厂》是一部以AI为灵感，探讨艺术创作的科幻电影，它向观众展示了AI在音乐领域的广阔应用前景，同时也揭示了AI与传统艺术形式之间的界限如何在实践中逐渐模糊，进而引发关于科技与艺术融合的可能性思考。这不仅是一次关于AI音乐创作的探索之旅，更是一段关于人类与科技、想象力与现实、梦想与实现的诗意旅程，让人对未来充满了期待和想象。
本文作者分别来自新加坡国立大学、北京大学与清华大学。第一作者王宇豪与共同第一作者屈文杰来自新加坡国立大学，研究方向聚焦于大语言模型中的安全与隐私风险。共同通讯作者为北京大学翟胜方博士，指导教师为新加坡国立大学张嘉恒助理教授。
本研究聚焦于当前广泛应用的 RAG (Retrieval-Augmented Generation) 系统，提出了一种全新的黑盒攻击方法：隐式知识提取攻击 (IKEA)。不同于以往依赖提示注入 (Prompt Injection) 或越狱操作 (Jailbreak) 的 RAG 提取攻击手段，IKEA 不依赖任何异常指令，完全通过自然、常规的查询，即可高效引导系统暴露其知识库中的私有信息。
在基于多个真实数据集与真实防御场景下的评估中，IKEA 展现出超过 91% 的提取效率与 96% 的攻击成功率，远超现有攻击基线；此外，本文通过多项实验证实了隐式提取的 RAG 数据的有效性。本研究揭示了 RAG 系统在表面「无异常」交互下潜在的严重隐私风险。
本研究的论文与代码已开源。
总述
大语言模型 (LLMs) 近年来在各类任务中展现出强大能力，但它们也面临一个核心问题：无法直接访问最新或领域特定的信息。为此，RAG (Retrieval-Augmented Generation) 系统应运而生——它为大模型接入外部知识库，让生成内容更准确、更实时。
然而，这些知识库中往往包含私有或敏感信息。一旦被恶意利用，可能导致严重的数据泄露。以往的攻击方式多依赖明显的「恶意输入」，比如提示注入或越狱攻击。这类攻击虽然有效，但也有着输入异常、输出重复等典型特征，容易被防御系统识别和拦截。
图1: 使用恶意查询进行逐字信息提取与使用良性查询进行知识提取 (IKEA) 之间的对比
为突破防御机制对现有提取攻击的限制，本文提出了一种全新的隐式知识抽取框架：IKEA (Implicit Knowledge Extraction Attack)。该方法不依赖任何越权指令或特异化提示语，而是通过自然、常规的查询输入，逐步引导 RAG 系统暴露其内部知识库中的私有或敏感信息。IKEA 的攻击流程具备高度自然性与隐蔽性。
其核心步骤包括：首先，基于已知的系统主题构建一组语义相关的锚点概念 (Anchor concepts)；随后，围绕这些概念生成符合自然语言习惯的问题，用于触发系统检索相关文档；最终，通过两项关键机制对攻击路径进行优化与扩展：
上述机制协同工作，使得攻击过程在保持输入自然性的同时，能够在多轮交互中高效提取 RAG 系统所依赖的外部知识内容。实验证明，IKEA 可在常规输入检测与输出过滤等防御机制下维持高成功率与提取效率，展现出强大的鲁棒性与现实威胁潜力。
方法概览：如何实现「看似正常」的提问？
具体而言，IKEA 首先从与系统主题相关的概念词中筛选出可能有效的锚点概念，并结合历史响应信息过滤无关或无效的概念。
锚点概念数据库的初始化如下：
随后，系统围绕这些锚点概念自动生成语义自然、表达通顺的问题，引导 RAG 返回内容丰富的答案，从而在多轮交互中不断扩大对隐私知识的覆盖。这种策略使攻击过程更加隐蔽，难以被传统检测手段发现。下文给出了「良性」问题的具体生成方式：
该方法设计了两项关键机制以确保知识提取效率：
经验反思采样 (Experience Reflection Sampling)
每个候选锚点概念的采样概率由如下惩罚得分函数定义：
最终的采样概率为：
可信域有向变异 (Trust Region Directed Mutation)
图 2: (左) IKEA 整体流程图；(右) TRDM 示意图
其中：
实验结果：IKEA 的提取效率远超基线方法
研究团队在三个不同领域数据集 (医疗-HealthCareMagic100k、小说-HarryPotter、百科-Pokémon) 上测试了 IKEA 攻击效果。以下是 IKEA 与其他攻击方法在「无防御」、「输入检测」、「输出过滤」三种防御策略下的比较：
表 1: 在三种数据集上不同防御策略下的攻击效果对比分析
提取知识是否「有用」？
研究团队围绕知识有效性开展了两类实验：其一，评估提取出的知识在对应文档相关的问答任务中的表现；其二，评估在有限轮次攻击下所提取知识对完整知识库的覆盖与支撑能力。实验结果表明，IKEA 不仅能够高效提取 RAG 系统中的信息，而且所提取的知识在问答任务中展现出良好的实用性，其性能接近于使用原始知识库时的表现。
图 3: 在三种不同知识库设定下的选择题 (MCQ) 与问答 (QA) 任务结果对比
表 2: 在不同防御与不同基线下提取的知识作为参考的选择题与问答任务结果对比
表 3: 基于不同攻击方法提取数据构建的 RAG 系统在完整知识库上的评估结果
总结