大语言模型
2024, 33(8):257-263.
DOI: 10.15888/j.cnki.csa.009586
摘要:
虽然以ChatGPT为代表的自然语言生成(NLG)大语言模型在自然语言处理中的大多数任务中取得了良好的表现, 但其在序列识别任务, 如命名实体识别任务中的表现暂且不如基于BERT的深度学习模型. 针对这一点, 本文探究性的通过将现有的中文命名实体识别问题改造成机器阅读理解问题, 提出并设计了基于情境学习和模型微调的新方法, 使NLG语言模型在识别命名实体达到了更好的效果, 并且该方法不同于其他方法需要改变基层模型的预训练参数. 同时, 由于命名实体是模型生成的结果而不是对原始数据的分类, 不存在边界问题. 为了验证新框架在命名实体识别任务上的有效性, 本文在多个中文命名实体识别数据集上进行了实验. 其中, 在Resume和Weibo数据集上的F1分数分别达到了96.04%和67.87%, 相较于SOTA模型分别提高了0.4和2.7个百分点, 从而验证了新框架能有效利用NLG语言模型在文本生成上的优势完成命名实体识别任务.
虽然以ChatGPT为代表的自然语言生成(NLG)大语言模型在自然语言处理中的大多数任务中取得了良好的表现, 但其在序列识别任务, 如命名实体识别任务中的表现暂且不如基于BERT的深度学习模型. 针对这一点, 本文探究性的通过将现有的中文命名实体识别问题改造成机器阅读理解问题, 提出并设计了基于情境学习和模型微调的新方法, 使NLG语言模型在识别命名实体达到了更好的效果, 并且该方法不同于其他方法需要改变基层模型的预训练参数. 同时, 由于命名实体是模型生成的结果而不是对原始数据的分类, 不存在边界问题. 为了验证新框架在命名实体识别任务上的有效性, 本文在多个中文命名实体识别数据集上进行了实验. 其中, 在Resume和Weibo数据集上的F1分数分别达到了96.04%和67.87%, 相较于SOTA模型分别提高了0.4和2.7个百分点, 从而验证了新框架能有效利用NLG语言模型在文本生成上的优势完成命名实体识别任务.
2025, 34(1):37-46.
DOI: 10.15888/j.cnki.csa.009742
摘要:
具身智能(embodied AI)需要能够与环境进行互动和感知, 并具备自主规划、决策和行动等能力. 行为树(BT)由于其模块化和高效控制的特性, 已经成为机器人技术中广泛使用的方法. 然而, 现有的行为树生成技术在处理复杂任务时仍面临一定的挑战. 这些方法通常依赖于领域专业知识, 生成行为树的能力有限. 此外, 许多现有方法在语言理解方面存在不足, 或者在理论上无法保证行为树的成功, 从而导致在机器人上的实际部署难度较大. 本研究提出一种新的行为树自动生成方法, 该方法基于大语言模型(LLM)和场景语义感知, 生成包含任务目标的初始行为树. 本文的方法根据机器人的能力设计机器人动作原语和相关条件节点, 并以此设计提示(prompt)使LLM输出行为规划(generated plan), 然后将行为规划转化为初始行为树. 虽然本文以此为示例, 但该方法具有广泛的适用性, 可以根据不同需求应用于其他类型的机器人任务. 同时, 本文将这种方法应用于机器人任务中, 并给出具体实现方法和示例. 在机器人执行任务过程中, 行为树可以根据机器人操作失误和环境变化动态更新, 对外部环境变化具有一定的鲁棒性. 本文进行了初始行为树生成验证实验, 并在仿真机器人环境中进行了验证, 展示了本文方法的有效性.
具身智能(embodied AI)需要能够与环境进行互动和感知, 并具备自主规划、决策和行动等能力. 行为树(BT)由于其模块化和高效控制的特性, 已经成为机器人技术中广泛使用的方法. 然而, 现有的行为树生成技术在处理复杂任务时仍面临一定的挑战. 这些方法通常依赖于领域专业知识, 生成行为树的能力有限. 此外, 许多现有方法在语言理解方面存在不足, 或者在理论上无法保证行为树的成功, 从而导致在机器人上的实际部署难度较大. 本研究提出一种新的行为树自动生成方法, 该方法基于大语言模型(LLM)和场景语义感知, 生成包含任务目标的初始行为树. 本文的方法根据机器人的能力设计机器人动作原语和相关条件节点, 并以此设计提示(prompt)使LLM输出行为规划(generated plan), 然后将行为规划转化为初始行为树. 虽然本文以此为示例, 但该方法具有广泛的适用性, 可以根据不同需求应用于其他类型的机器人任务. 同时, 本文将这种方法应用于机器人任务中, 并给出具体实现方法和示例. 在机器人执行任务过程中, 行为树可以根据机器人操作失误和环境变化动态更新, 对外部环境变化具有一定的鲁棒性. 本文进行了初始行为树生成验证实验, 并在仿真机器人环境中进行了验证, 展示了本文方法的有效性.
2025, 34(2):28-36.
DOI: 10.15888/j.cnki.csa.009779
摘要:
自动文本摘要是自然语言处理(NLP)领域中的一个重要分支, 其主要难点之一是在于如何快速、客观且准确地评估生成摘要的质量. 针对现有文本摘要质量评估方法中评估准确度不高、需要参考文本以及计算资源消耗大的问题, 本文提出一种基于大语言模型的文本摘要质量评估方法, 设计基于思维链原理的提示词构建方法以提高大语言模型在文本摘要质量评估任务上的性能, 同时生成思维链数据集并以模型微调的方式对小型大语言模型进行训练, 显著降低了计算需求. 本文方法首先根据文本摘要的特点确定评估维度, 并基于思维链原理(chain of thought, CoT)构建提示词; 使用提示词对大型大语言模型进行引导, 使其根据摘要样本生成思维链过程与评估结果, 同时以此为基础生成思维链数据集; 使用生成的思维链数据集对小型大语言模型进行微调训练; 最后使用微调后的小型大语言模型完成文本摘要的质量评估任务. 本文在Summeval数据集上进行了对比实验与分析, 实验结果表明, 本评估方法显著提高了小型大语言模型在文本摘要质量评估任务上的评估准确度, 实现了一种无需参考文本、评估准确度高、计算需求低、便于部署的文本摘要质量评估方法.
自动文本摘要是自然语言处理(NLP)领域中的一个重要分支, 其主要难点之一是在于如何快速、客观且准确地评估生成摘要的质量. 针对现有文本摘要质量评估方法中评估准确度不高、需要参考文本以及计算资源消耗大的问题, 本文提出一种基于大语言模型的文本摘要质量评估方法, 设计基于思维链原理的提示词构建方法以提高大语言模型在文本摘要质量评估任务上的性能, 同时生成思维链数据集并以模型微调的方式对小型大语言模型进行训练, 显著降低了计算需求. 本文方法首先根据文本摘要的特点确定评估维度, 并基于思维链原理(chain of thought, CoT)构建提示词; 使用提示词对大型大语言模型进行引导, 使其根据摘要样本生成思维链过程与评估结果, 同时以此为基础生成思维链数据集; 使用生成的思维链数据集对小型大语言模型进行微调训练; 最后使用微调后的小型大语言模型完成文本摘要的质量评估任务. 本文在Summeval数据集上进行了对比实验与分析, 实验结果表明, 本评估方法显著提高了小型大语言模型在文本摘要质量评估任务上的评估准确度, 实现了一种无需参考文本、评估准确度高、计算需求低、便于部署的文本摘要质量评估方法.
2025, 34(8):33-42.
DOI: 10.15888/j.cnki.csa.009893
摘要:
高通量X射线衍射(X-ray diffraction, XRD)分析在加速材料发现方面至关重要, 但传统方法通常依赖大量人工解释, 且在处理复杂的XRD数据时容易忽视低强度峰值信息, 从而限制准确性的提升. 为解决这一问题, 本文提出了一个面向多模态晶体结构预测的大语言模型(large language model, LLM)代理框架, 该框架集成了GPT-4驱动的智能代理以及基于XRD和对分布函数的多模态投票模型, 能够自主执行晶体结构和空间群预测任务. 此外, 本文通过引入知识图谱来增强LLM的推理能力, 帮助其理解晶体特征之间的关系, 进一步提升预测的准确性. 实验结果表明, 该框架在晶体结构预测和空间群预测任务上的准确率分别达到97.5%和98.7%. 这一设计显著提升了高通量分析的准确性和效率, 有望推动材料科学研究的进展, 为解决其他具有高度关联性的多任务问题提供宝贵的启示.
高通量X射线衍射(X-ray diffraction, XRD)分析在加速材料发现方面至关重要, 但传统方法通常依赖大量人工解释, 且在处理复杂的XRD数据时容易忽视低强度峰值信息, 从而限制准确性的提升. 为解决这一问题, 本文提出了一个面向多模态晶体结构预测的大语言模型(large language model, LLM)代理框架, 该框架集成了GPT-4驱动的智能代理以及基于XRD和对分布函数的多模态投票模型, 能够自主执行晶体结构和空间群预测任务. 此外, 本文通过引入知识图谱来增强LLM的推理能力, 帮助其理解晶体特征之间的关系, 进一步提升预测的准确性. 实验结果表明, 该框架在晶体结构预测和空间群预测任务上的准确率分别达到97.5%和98.7%. 这一设计显著提升了高通量分析的准确性和效率, 有望推动材料科学研究的进展, 为解决其他具有高度关联性的多任务问题提供宝贵的启示.
2025, 34(3):239-247.
DOI: 10.15888/j.cnki.csa.009776
摘要:
随着信息技术的发展, 诸如借助翻译工具的回译式抄袭行为越发复杂隐蔽, 对抄袭检测方法提出了更高的要求. 为此, 提出一种基于提示工程(prompt engineering)的抄袭检测方法. 该方法通过设计提示词, 引导大语言模型(large language model, LLM)在语义层面关注句子文本中的潜在相似性, 能够有效识别出语义高度相似的内容. 首先, 回顾了现有的抄袭检测技术和提示工程的应用, 在此基础上设计基于提示工程的回译式抄袭行为检测流程. 其次, 设计提示模版, 通过合并缩减待检测句子对的方式, 提出句子压缩比的抄袭检测指标. 最后, 通过实验证明基于提示工程的抄袭检测方法与传统方法相比, 在检测回译式抄袭行为上具有显著优势.
随着信息技术的发展, 诸如借助翻译工具的回译式抄袭行为越发复杂隐蔽, 对抄袭检测方法提出了更高的要求. 为此, 提出一种基于提示工程(prompt engineering)的抄袭检测方法. 该方法通过设计提示词, 引导大语言模型(large language model, LLM)在语义层面关注句子文本中的潜在相似性, 能够有效识别出语义高度相似的内容. 首先, 回顾了现有的抄袭检测技术和提示工程的应用, 在此基础上设计基于提示工程的回译式抄袭行为检测流程. 其次, 设计提示模版, 通过合并缩减待检测句子对的方式, 提出句子压缩比的抄袭检测指标. 最后, 通过实验证明基于提示工程的抄袭检测方法与传统方法相比, 在检测回译式抄袭行为上具有显著优势.
2025, 34(1):1-10.
DOI: 10.15888/j.cnki.csa.009782
摘要:
提示词工程在解锁大语言模型潜能上具有重要作用. 该方法通过设计提示指令指导模型响应, 确保响应的相关性、连贯性和准确性. 提示工程无需微调模型参数, 可与下游任务无缝衔接. 因此, 各种提示词工程技术成为近年来研究的热点. 据此, 介绍了创建有效提示词的关键步骤, 总结了基础和高级提示词工程技术方法, 如思维链、思维树, 深入探讨了每种方法的优势和局限性. 同时, 讨论了如何从不同角度和不同方法评估提示方法的有效性. 这些技术的迅速发展使大语言模型在各种应用中取得了成功, 从教育、医疗到代码生成等. 最后, 展望了提示词工程技术的未来研究方向.
提示词工程在解锁大语言模型潜能上具有重要作用. 该方法通过设计提示指令指导模型响应, 确保响应的相关性、连贯性和准确性. 提示工程无需微调模型参数, 可与下游任务无缝衔接. 因此, 各种提示词工程技术成为近年来研究的热点. 据此, 介绍了创建有效提示词的关键步骤, 总结了基础和高级提示词工程技术方法, 如思维链、思维树, 深入探讨了每种方法的优势和局限性. 同时, 讨论了如何从不同角度和不同方法评估提示方法的有效性. 这些技术的迅速发展使大语言模型在各种应用中取得了成功, 从教育、医疗到代码生成等. 最后, 展望了提示词工程技术的未来研究方向.
2025, 34(2):135-144.
DOI: 10.15888/j.cnki.csa.009764
摘要:
关键句抽取技术是指利用人工智能, 自动从一段长文本中寻找核心句. 该技术可用于信息检索的预处理, 对文本分类、抽取式摘要等下游任务有着重要意义. 传统的无监督关键句抽取技术多数基于统计学以及图模型的方法, 存在着精度不高以及需要提前建立大规模语料库等问题. 本文提出了一种中文环境下的无监督抽取关键句方法T5KSEChinese, 该方法利用编码器-解码器架构, 通过输入和输出提示词来忽略目标句与原文长度不匹配的问题, 以得到更准确的结果. 同时, 本文提出一种对比学习正样本构造方式, 并将该方式结合对比学习来对模型编码器部分进行半监督训练, 提升下游任务效果. 本研究使用轻量化的模型, 在无监督下游任务中得分优于参数量大于自身数十倍的大语言模型, 最终实验结果证明了提出方法的准确度和可靠性.
关键句抽取技术是指利用人工智能, 自动从一段长文本中寻找核心句. 该技术可用于信息检索的预处理, 对文本分类、抽取式摘要等下游任务有着重要意义. 传统的无监督关键句抽取技术多数基于统计学以及图模型的方法, 存在着精度不高以及需要提前建立大规模语料库等问题. 本文提出了一种中文环境下的无监督抽取关键句方法T5KSEChinese, 该方法利用编码器-解码器架构, 通过输入和输出提示词来忽略目标句与原文长度不匹配的问题, 以得到更准确的结果. 同时, 本文提出一种对比学习正样本构造方式, 并将该方式结合对比学习来对模型编码器部分进行半监督训练, 提升下游任务效果. 本研究使用轻量化的模型, 在无监督下游任务中得分优于参数量大于自身数十倍的大语言模型, 最终实验结果证明了提出方法的准确度和可靠性.
2025, 34(5):116-123.
DOI: 10.15888/j.cnki.csa.009891
摘要:
点击诱饵是指用夸张或惊奇的标题吸引用户点击, 近年来已在新闻门户和社交媒体等在线应用中呈现泛滥趋势, 导致用户的不良体验甚至引起网络欺诈. 大模型由于强大的语义理解和文本生成能力, 已在一系列自然语言处理任务中取得优异的效果. 但是, 大模型在面对如点击诱饵检测这类决策边界不清晰的特定领域问题时很容易产生幻觉, 为此, 我们提出基于双层多智能体大模型的方法, 在不需要微调整个大模型的情况下, 有效提升了点击诱饵检测的准确率. 具体来说, 通过第1层中智能体的内部投票, 和第2层中不同智能体的交叉投票, 最终取得了良好的检测效果. 通过对3个基准数据集进行验证, 本文提出的方法比最先进的大模型和提示学习方法的准确率分别高出近13%和10%.
点击诱饵是指用夸张或惊奇的标题吸引用户点击, 近年来已在新闻门户和社交媒体等在线应用中呈现泛滥趋势, 导致用户的不良体验甚至引起网络欺诈. 大模型由于强大的语义理解和文本生成能力, 已在一系列自然语言处理任务中取得优异的效果. 但是, 大模型在面对如点击诱饵检测这类决策边界不清晰的特定领域问题时很容易产生幻觉, 为此, 我们提出基于双层多智能体大模型的方法, 在不需要微调整个大模型的情况下, 有效提升了点击诱饵检测的准确率. 具体来说, 通过第1层中智能体的内部投票, 和第2层中不同智能体的交叉投票, 最终取得了良好的检测效果. 通过对3个基准数据集进行验证, 本文提出的方法比最先进的大模型和提示学习方法的准确率分别高出近13%和10%.
2025, 34(1):276-284.
DOI: 10.15888/j.cnki.csa.009731
摘要:
大语言模型的兴起对自然语言处理领域产生了深远影响. 随着计算资源的增长和模型规模的扩大, 大语言模型在自然语言处理中的应用潜力日益显现. 然而, 广泛使用的低秩适应微调方法在面对模型规模增大时, 遇到了微调效率和存储成本等方面的挑战. 为了解决这一问题, 本文提出了一种基于奇异值分解的适应微调方法. 该方法只需将奇异值分解得到的对角矩阵和缩放向量作为可训练参数, 从而在降低训练成本的同时, 实现了在多个自然语言处理任务上的性能提升. 实验结果显示, 基于奇异值分解的适应微调方法在GLUE和E2E基准测试中的性能超越了同等数量级的方法. 通过与常用的参数高效微调方法进行比较, 发现基于奇异值分解的适应微调方法在减少可训练参数数量和提高微调效率方面具有显著优势, 并在可训练参数微调效率实验中实现了最高的性能增益. 在未来的研究中, 将专注于进一步优化基于奇异值分解的适应微调方法, 在更广泛的任务和更大规模的模型中实现更高效的微调.
大语言模型的兴起对自然语言处理领域产生了深远影响. 随着计算资源的增长和模型规模的扩大, 大语言模型在自然语言处理中的应用潜力日益显现. 然而, 广泛使用的低秩适应微调方法在面对模型规模增大时, 遇到了微调效率和存储成本等方面的挑战. 为了解决这一问题, 本文提出了一种基于奇异值分解的适应微调方法. 该方法只需将奇异值分解得到的对角矩阵和缩放向量作为可训练参数, 从而在降低训练成本的同时, 实现了在多个自然语言处理任务上的性能提升. 实验结果显示, 基于奇异值分解的适应微调方法在GLUE和E2E基准测试中的性能超越了同等数量级的方法. 通过与常用的参数高效微调方法进行比较, 发现基于奇异值分解的适应微调方法在减少可训练参数数量和提高微调效率方面具有显著优势, 并在可训练参数微调效率实验中实现了最高的性能增益. 在未来的研究中, 将专注于进一步优化基于奇异值分解的适应微调方法, 在更广泛的任务和更大规模的模型中实现更高效的微调.
2025, 34(12):75-88.
DOI: 10.15888/j.cnki.csa.010017
摘要:
大语言模型(large language model, LLM)在自然语言理解与生成领域展现出卓越能力, 但在特定领域知识密集型任务中仍面临事实准确性不足、知识更新难以及高质量领域数据集匮乏的问题. 在应对上述难题时, 检索增强生成(retrieval-augmented generation, RAG)技术脱颖而出, 成为行之有效的解决路径. 然而, 在应对碳领域的知识密集型任务时, RAG技术还存在查询理解环节容易出现偏差、外部知识检索策略僵化单一、检索得到的结果与实际需求的相关性较差等短板, 同时缺乏特定的数据集来评估问答效果. 针对以上问题, 提出基于多管道的检索增强生成(Multi-pipeline-based RAG)方法, 使用本文提出的图谱增强递归式智能合并检索, 有效提升了检索精确率; 针对特定领域问答数据集的缺乏, 提出基于父节点文本的大模型自动生成问答数据集方法. 同时在传统评估指标, 如精确率(Precision)、召回率(Recall)等基础上, 利用LLM的文本理解能力评估: (1)响应-上下文-查询相关性评估; (2)响应-查询相关性评估; (3)上下文-查询相关性评估; (4)忠诚性评估. 通过与BM25-based RAG、Vector-based RAG、Recursive-based RAG的对比实验, 基于GLM-4-Plus模型的Multi-pipeline-based RAG精确率达到了85%, 高于其他方法.
大语言模型(large language model, LLM)在自然语言理解与生成领域展现出卓越能力, 但在特定领域知识密集型任务中仍面临事实准确性不足、知识更新难以及高质量领域数据集匮乏的问题. 在应对上述难题时, 检索增强生成(retrieval-augmented generation, RAG)技术脱颖而出, 成为行之有效的解决路径. 然而, 在应对碳领域的知识密集型任务时, RAG技术还存在查询理解环节容易出现偏差、外部知识检索策略僵化单一、检索得到的结果与实际需求的相关性较差等短板, 同时缺乏特定的数据集来评估问答效果. 针对以上问题, 提出基于多管道的检索增强生成(Multi-pipeline-based RAG)方法, 使用本文提出的图谱增强递归式智能合并检索, 有效提升了检索精确率; 针对特定领域问答数据集的缺乏, 提出基于父节点文本的大模型自动生成问答数据集方法. 同时在传统评估指标, 如精确率(Precision)、召回率(Recall)等基础上, 利用LLM的文本理解能力评估: (1)响应-上下文-查询相关性评估; (2)响应-查询相关性评估; (3)上下文-查询相关性评估; (4)忠诚性评估. 通过与BM25-based RAG、Vector-based RAG、Recursive-based RAG的对比实验, 基于GLM-4-Plus模型的Multi-pipeline-based RAG精确率达到了85%, 高于其他方法.
2025, 34(8):62-69.
DOI: 10.15888/j.cnki.csa.009923
摘要:
方面级多模态情感分析属于情感分析以及观点挖掘方向的一个子领域, 旨在方面或属性级别开展情感和观点的分析. 在过去的图文多模态情感分析研究里, 研究者针对如何从图像和文本中提取并融合特征提出了各种方法, 由于图文信息初始所在的语义空间不一致, 最常用的方法是先从单模态中通过模块提取相应的深层信息, 将图像和文本特征映射到一个相同的深层语义空间中, 随后使用特征融合模块进行图文特征融合. 然而, 这种方法势必会引入多个模块用于处理图像和文本的特征并进行融合, 这不可避免增加了模型的参数量和复杂度. 随着如今大模型的发展, 在浅层空间将图像和文本的语义空间进行对齐已成为可能. 本研究利用通义千问开源大模型, 在预处理阶段通过提示词生成图像的文本描述, 让多模态情感分析回归到单模态情感分析任务, 仅通过文本处理模块就能得到最终的图文情感分析结果. 实验表明, 与先前的大多数模型相比, 该方法显著降低了参数量且取得了性能上的提升. 与同样轻量级的TISRI模型相比, 该模型在训练速度和资源占用上均取得了显著优势. 具体代码实现参考https://github.com/triangleXIV/ITFFT.
方面级多模态情感分析属于情感分析以及观点挖掘方向的一个子领域, 旨在方面或属性级别开展情感和观点的分析. 在过去的图文多模态情感分析研究里, 研究者针对如何从图像和文本中提取并融合特征提出了各种方法, 由于图文信息初始所在的语义空间不一致, 最常用的方法是先从单模态中通过模块提取相应的深层信息, 将图像和文本特征映射到一个相同的深层语义空间中, 随后使用特征融合模块进行图文特征融合. 然而, 这种方法势必会引入多个模块用于处理图像和文本的特征并进行融合, 这不可避免增加了模型的参数量和复杂度. 随着如今大模型的发展, 在浅层空间将图像和文本的语义空间进行对齐已成为可能. 本研究利用通义千问开源大模型, 在预处理阶段通过提示词生成图像的文本描述, 让多模态情感分析回归到单模态情感分析任务, 仅通过文本处理模块就能得到最终的图文情感分析结果. 实验表明, 与先前的大多数模型相比, 该方法显著降低了参数量且取得了性能上的提升. 与同样轻量级的TISRI模型相比, 该模型在训练速度和资源占用上均取得了显著优势. 具体代码实现参考https://github.com/triangleXIV/ITFFT.
2025, 34(11):139-150.
DOI: 10.15888/j.cnki.csa.009983
摘要:
汉朝未央宫遗址出土的约6万片骨签碎片中, 约5.7万片刻有释文, 多数骨签在出土时呈纵向断裂状态, 导致其上下部分分离, 对文物的数字化保护及系统化分类工作带来了挑战. 传统人工分类方法不仅效率低下且可能对骨签造成进一步的损伤, 为提升骨签文物的分类精度, 为后续考古研究提供支持, 本文提出了一种融合骨签图像与释文信息的并行多模态分类模型. 该方法采用Vision-RWKV大模型提取骨签图片的视觉特征, 利用RWKV大模型提取骨签上的释文信息, 通过动态交叉特征融合模块整合图像与文本特征, 并引入分类器进行精细化分类. 实验结果表明该方法达到了92.85%的准确率, 显著优于传统深度学习模型和其他多模态大模型. 研究成果为骨签文物的高效分类与整理提供了有力的技术支撑, 并为考古领域的智能化研究奠定了重要基础.
汉朝未央宫遗址出土的约6万片骨签碎片中, 约5.7万片刻有释文, 多数骨签在出土时呈纵向断裂状态, 导致其上下部分分离, 对文物的数字化保护及系统化分类工作带来了挑战. 传统人工分类方法不仅效率低下且可能对骨签造成进一步的损伤, 为提升骨签文物的分类精度, 为后续考古研究提供支持, 本文提出了一种融合骨签图像与释文信息的并行多模态分类模型. 该方法采用Vision-RWKV大模型提取骨签图片的视觉特征, 利用RWKV大模型提取骨签上的释文信息, 通过动态交叉特征融合模块整合图像与文本特征, 并引入分类器进行精细化分类. 实验结果表明该方法达到了92.85%的准确率, 显著优于传统深度学习模型和其他多模态大模型. 研究成果为骨签文物的高效分类与整理提供了有力的技术支撑, 并为考古领域的智能化研究奠定了重要基础.
2025, 34(11):20-29.
DOI: 10.15888/j.cnki.csa.009980
摘要:
越狱攻击对于识别和缓解大型语言模型的安全漏洞至关重要. 这些攻击旨在绕过安全防护机制, 诱导模型产生被禁止的输出. 然而, 由于这些攻击通常在不同的数据样本和模型上进行评估, 因此很难直接公平地比较它们. 本文介绍了EasyJailbreak, 这是一个统一框架, 简化了针对大语言模型的越狱攻击的构建和评估过程. 它使用4个组件构建越狱攻击: 选择器、变异器、约束条件和评估器. 这种模块化设计使研究人员能够轻松组合现有组件或设计新组件, 以构造多种攻击方法. 为了展示该框架的实用性, 本文进行了大规模的实证评估. 目前已基于该框架实现了11种不同的越狱方法, 并在大语言模型上进行了广泛的安全验证, 涉及10种不同大语言模型的超过75万次推理查询, 结果显示在各种越狱攻击下平均突破概率为60%. 值得注意的是, 即使是像GPT-3.5-turbo和GPT-4这样的高级模型, 平均攻击成功率也分别达到57%和33%.
越狱攻击对于识别和缓解大型语言模型的安全漏洞至关重要. 这些攻击旨在绕过安全防护机制, 诱导模型产生被禁止的输出. 然而, 由于这些攻击通常在不同的数据样本和模型上进行评估, 因此很难直接公平地比较它们. 本文介绍了EasyJailbreak, 这是一个统一框架, 简化了针对大语言模型的越狱攻击的构建和评估过程. 它使用4个组件构建越狱攻击: 选择器、变异器、约束条件和评估器. 这种模块化设计使研究人员能够轻松组合现有组件或设计新组件, 以构造多种攻击方法. 为了展示该框架的实用性, 本文进行了大规模的实证评估. 目前已基于该框架实现了11种不同的越狱方法, 并在大语言模型上进行了广泛的安全验证, 涉及10种不同大语言模型的超过75万次推理查询, 结果显示在各种越狱攻击下平均突破概率为60%. 值得注意的是, 即使是像GPT-3.5-turbo和GPT-4这样的高级模型, 平均攻击成功率也分别达到57%和33%.
2025, 34(12):16-25.
DOI: 10.15888/j.cnki.csa.010067
摘要:
随着大语言模型在各类生成任务中的广泛应用, 其高计算负载对底层硬件平台提出了更高的性能要求. RISC-V 作为一种新兴的开源指令集架构, 凭借其良好的可定制性和扩展性, 展现出巨大的发展潜力. 然而在部署主流大模型方面, RISC-V平台仍面临生态不完善、算力受限等诸多挑战. 本文提出一种基于RISC-V平台的大语言模型推理加速方法, 通过构建寒武纪MLU370加速卡的异构运行环境, 成功完成了设备驱动移植、基础库编译与PyTorch框架适配. 在此基础上, 进一步设计了一种轻量级多线程优化策略, 提升注意力机制等核心算子在多核体系结构下的执行效率. 实验结果表明, 在SG2042+MLU370-S4平台上部署多个主流大模型时, 该方法在不依赖其他优化策略下, 实现最高达52.3倍的端到端推理加速, 验证了其在RISC-V异构平台上的可行性与通用性.
随着大语言模型在各类生成任务中的广泛应用, 其高计算负载对底层硬件平台提出了更高的性能要求. RISC-V 作为一种新兴的开源指令集架构, 凭借其良好的可定制性和扩展性, 展现出巨大的发展潜力. 然而在部署主流大模型方面, RISC-V平台仍面临生态不完善、算力受限等诸多挑战. 本文提出一种基于RISC-V平台的大语言模型推理加速方法, 通过构建寒武纪MLU370加速卡的异构运行环境, 成功完成了设备驱动移植、基础库编译与PyTorch框架适配. 在此基础上, 进一步设计了一种轻量级多线程优化策略, 提升注意力机制等核心算子在多核体系结构下的执行效率. 实验结果表明, 在SG2042+MLU370-S4平台上部署多个主流大模型时, 该方法在不依赖其他优化策略下, 实现最高达52.3倍的端到端推理加速, 验证了其在RISC-V异构平台上的可行性与通用性.
2026, 35(1):102-116.
DOI: 10.15888/j.cnki.csa.010054
摘要:
以ChatGPT为代表的大语言模型是当前人工智能领域最热门的研究课题, 被认为是推动传统行业实现革命性转型的关键技术手段, 为产业创新与升级提供了显著的驱动力. 医疗健康领域作为人工智能技术长期探索与应用的重点领域, 在当前面临着人口老龄化加剧、医疗资源供给不足以及医患关系紧张等背景下, 人工智能被视为最有希望缓解甚至彻底解决这一系列矛盾和问题, 尤其以ChatGPT为代表的大语言模型的出现, 让人们看到了曙光. 本文首先对自然语言处理技术的发展历程进行了简单介绍, 随后对GPT系列的大语言模型的历史发展背景及其技术演进轨迹进行了系统性的介绍. 结合医疗健康行业的现实需求与现状, 分类探讨了以ChatGPT为代表的大语言模型在该领域的应用场景和案例. 最后, 本文还深入分析讨论了大语言模型的内在局限, 以及在大规模部署实施和使用过程中所面临的挑战, 并针对性地给出了一些处理方法和解决思路.
以ChatGPT为代表的大语言模型是当前人工智能领域最热门的研究课题, 被认为是推动传统行业实现革命性转型的关键技术手段, 为产业创新与升级提供了显著的驱动力. 医疗健康领域作为人工智能技术长期探索与应用的重点领域, 在当前面临着人口老龄化加剧、医疗资源供给不足以及医患关系紧张等背景下, 人工智能被视为最有希望缓解甚至彻底解决这一系列矛盾和问题, 尤其以ChatGPT为代表的大语言模型的出现, 让人们看到了曙光. 本文首先对自然语言处理技术的发展历程进行了简单介绍, 随后对GPT系列的大语言模型的历史发展背景及其技术演进轨迹进行了系统性的介绍. 结合医疗健康行业的现实需求与现状, 分类探讨了以ChatGPT为代表的大语言模型在该领域的应用场景和案例. 最后, 本文还深入分析讨论了大语言模型的内在局限, 以及在大规模部署实施和使用过程中所面临的挑战, 并针对性地给出了一些处理方法和解决思路.
2026, 35(1):255-262.
DOI: 10.15888/j.cnki.csa.010079
摘要:
近年来, 随着软件开发领域代码规模持续扩大、功能需求与系统架构日趋复杂, 自动化工具已成为提升开发效率的核心支撑, 其中生成式大语言模型(large language model, LLM)在软件开发领域得到了广泛应用. 尽管LLM能显著缩短开发周期, 但研究表明, LLM生成的代码常存在安全漏洞, 可能引发系统风险. 已有研究发现LLM的输出结果会受提示语言差异的影响, 然而针对不同提示语言生成代码安全性的研究与评价仍较为匮乏. 本文旨在探究输入英文提示语言与中文提示语言对代码安全性的影响, 并对其进行系统性评估. 通过在LLM中分别使用英文和中文文本指示代码生成, 分析生成代码的安全性差异. 实验结果表明, 当以英文作为提示语言输入时, LLM生成的代码中出现的漏洞和bug数量相对较少; 而以中文作为提示语言输入时, 生成的代码则更容易出现安全漏洞.
近年来, 随着软件开发领域代码规模持续扩大、功能需求与系统架构日趋复杂, 自动化工具已成为提升开发效率的核心支撑, 其中生成式大语言模型(large language model, LLM)在软件开发领域得到了广泛应用. 尽管LLM能显著缩短开发周期, 但研究表明, LLM生成的代码常存在安全漏洞, 可能引发系统风险. 已有研究发现LLM的输出结果会受提示语言差异的影响, 然而针对不同提示语言生成代码安全性的研究与评价仍较为匮乏. 本文旨在探究输入英文提示语言与中文提示语言对代码安全性的影响, 并对其进行系统性评估. 通过在LLM中分别使用英文和中文文本指示代码生成, 分析生成代码的安全性差异. 实验结果表明, 当以英文作为提示语言输入时, LLM生成的代码中出现的漏洞和bug数量相对较少; 而以中文作为提示语言输入时, 生成的代码则更容易出现安全漏洞.
2026, 35(2):226-236.
DOI: 10.15888/j.cnki.csa.010077
摘要:
敏捷需求过程模型适用于频繁的需求迭代场景. 该方法强调以用户为中心的设计理念, 采用简洁的文本表述方式, 不依赖复杂流程和工具. 将需求模型引入敏捷开发流程, 能有效解决对敏捷方法认知不足等问题, 但在频繁的需求迭代场景中, 引入的需求模型往往面临维护困难、版本过时等问题. 在频繁进行需求迭代的敏捷开发过程中, 模型的复杂性导致需求模型的手动维护消耗大量资源. 为解决这一问题, 本文提出基于多智能体的敏捷需求过程模型MA-ARP. 该模型通过构建多智能体自动处理系统, 利用其推理与识别能力, 根据需求变化动态更新需求模型. 该方法能有效降低敏捷开发过程中需求模型的维护成本. 通过案例研究和综合评估表明, 该方法可实现需求模型的自动更新与维护, 在多数选定的需求工程过程评估指标中达到或超过二级标准.
敏捷需求过程模型适用于频繁的需求迭代场景. 该方法强调以用户为中心的设计理念, 采用简洁的文本表述方式, 不依赖复杂流程和工具. 将需求模型引入敏捷开发流程, 能有效解决对敏捷方法认知不足等问题, 但在频繁的需求迭代场景中, 引入的需求模型往往面临维护困难、版本过时等问题. 在频繁进行需求迭代的敏捷开发过程中, 模型的复杂性导致需求模型的手动维护消耗大量资源. 为解决这一问题, 本文提出基于多智能体的敏捷需求过程模型MA-ARP. 该模型通过构建多智能体自动处理系统, 利用其推理与识别能力, 根据需求变化动态更新需求模型. 该方法能有效降低敏捷开发过程中需求模型的维护成本. 通过案例研究和综合评估表明, 该方法可实现需求模型的自动更新与维护, 在多数选定的需求工程过程评估指标中达到或超过二级标准.
2026, 35(2):1-22.
DOI: 10.15888/j.cnki.csa.010058
摘要:
随着大语言模型(large language model, LLM)的快速发展, 其在推荐系统可解释性方面的应用成为研究热点. 本文系统地综述了LLM在推荐系统可解释性研究中的进展, 从领域研究现状、评价指标、数据集到应用场景进行了全面梳理. 从技术角度将现有研究分为基于LLM的推荐系统和LLM辅助型推荐系统, 并依据是否需要微调对此分类进一步细分. 在评价指标方面, 总结了人工评价与自动评价指标, 其中自动评价指标又包括传统指标、结合LLM指标以及拓展指标. 此外, 本文还整理了公开和私有数据集的使用情况, 强调了评论数据在可解释推荐中的重要性. 最后, 探讨了LLM在多个领域推荐系统可解释性方面的实际应用, 并分析了当前研究面临的挑战及未来可行的研究方向.
随着大语言模型(large language model, LLM)的快速发展, 其在推荐系统可解释性方面的应用成为研究热点. 本文系统地综述了LLM在推荐系统可解释性研究中的进展, 从领域研究现状、评价指标、数据集到应用场景进行了全面梳理. 从技术角度将现有研究分为基于LLM的推荐系统和LLM辅助型推荐系统, 并依据是否需要微调对此分类进一步细分. 在评价指标方面, 总结了人工评价与自动评价指标, 其中自动评价指标又包括传统指标、结合LLM指标以及拓展指标. 此外, 本文还整理了公开和私有数据集的使用情况, 强调了评论数据在可解释推荐中的重要性. 最后, 探讨了LLM在多个领域推荐系统可解释性方面的实际应用, 并分析了当前研究面临的挑战及未来可行的研究方向.
2026, 35(2):76-91.
DOI: 10.15888/j.cnki.csa.010063
摘要:
以ChatGPT、DeepSeek为代表的大语言模型(简称大模型)高速发展, 在各种任务中得到广泛使用, 如文本生成、智能助理等. 但这些大模型也面临着严峻的隐私安全风险. 特别地, 在医疗、金融等高安全需求的场景中, 模型窃取与数据隐私泄露等威胁往往是阻碍大模型应用的重要因素. 现有针对大模型推理保护的安全方案通常存在一些局限性, 或缺少对推理计算过程的运行时保护, 或因计算与通信的高昂代价而面临实用性挑战. 机密计算能够基于可信执行环境(TEE)硬件构建安全推理环境, 是实现大语言模型安全推理的一种实用且有效的安全技术. 由此, 本文提出了一种基于机密计算的大语言模型安全推理应用方案, 通过远程证明确保推理计算环境、模型权重参数和模型镜像文件的完整性, 采用基于TEE硬件的机密互联实现大模型推理流量的加密保护, 通过隔离不同用户的推理上下文等方式在多用户场景中保护提示词隐私. 该方案对大语言模型推理的全过程、全链路进行安全保护, 同时对运行环境进行完整性验证, 从而实现高效安全的机密大语言模型推理. 此外, 本文基于异构TEE服务器(SEV和CSV)平台实现了一个原型系统, 并对系统的安全性和性能进行了评估. 结果表明, 在实现预期安全目标的同时, 本文方案引入的性能损耗理论上不超过原生AI模型推理开销的1%, 实际应用中这种差异可以忽略不计.
以ChatGPT、DeepSeek为代表的大语言模型(简称大模型)高速发展, 在各种任务中得到广泛使用, 如文本生成、智能助理等. 但这些大模型也面临着严峻的隐私安全风险. 特别地, 在医疗、金融等高安全需求的场景中, 模型窃取与数据隐私泄露等威胁往往是阻碍大模型应用的重要因素. 现有针对大模型推理保护的安全方案通常存在一些局限性, 或缺少对推理计算过程的运行时保护, 或因计算与通信的高昂代价而面临实用性挑战. 机密计算能够基于可信执行环境(TEE)硬件构建安全推理环境, 是实现大语言模型安全推理的一种实用且有效的安全技术. 由此, 本文提出了一种基于机密计算的大语言模型安全推理应用方案, 通过远程证明确保推理计算环境、模型权重参数和模型镜像文件的完整性, 采用基于TEE硬件的机密互联实现大模型推理流量的加密保护, 通过隔离不同用户的推理上下文等方式在多用户场景中保护提示词隐私. 该方案对大语言模型推理的全过程、全链路进行安全保护, 同时对运行环境进行完整性验证, 从而实现高效安全的机密大语言模型推理. 此外, 本文基于异构TEE服务器(SEV和CSV)平台实现了一个原型系统, 并对系统的安全性和性能进行了评估. 结果表明, 在实现预期安全目标的同时, 本文方案引入的性能损耗理论上不超过原生AI模型推理开销的1%, 实际应用中这种差异可以忽略不计.
联系方式
- 《计算机系统应用》
- 1992年创刊
- 主办单位：中国科学院软件研究所
- 邮编：100190
- 电话：010-62661041
- 电子邮箱：csa@iscas.ac.cn
- 网址:https://www.c-s-a.org.cn/csa/home
- 刊号：ISSN 1003-3254
- CN 11-2854/TP
- 国内定价：50元
您是第位访问者
版权所有：中国科学院软件研究所 京ICP备05046678号-3
地址：北京市海淀区中关村南四街4号,邮政编码：100190
电话：010-62661041 传真： Email：csa@iscas.ac.cn
技术支持：北京勤云科技发展有限公司
版权所有：中国科学院软件研究所 京ICP备05046678号-3
地址：北京市海淀区中关村南四街4号,邮政编码：100190
电话：010-62661041 传真： Email：csa@iscas.ac.cn
技术支持：北京勤云科技发展有限公司
