PaddleNLP Taskflow 文本生成任务（text_generation）API 深度解析：基于 CPM 中文模型的问答与写诗实战

人工智能大模型预训练微调LoRARLHF强化学习分布式训练【免费下载链接】PaddleNLPEasy-to-use and powerful LLM and SLM library with awesome model zoo.项目地址https://gitcode.com/gh_mirrors/pa/PaddleNLP点击查看免费下载本篇文章围绕 PaddleNLPpaddlenlp.taskflow.text_generation模块及其 API 参考页paddlenlp.taskflow.text_generation.rst展开完整剖析 Taskflow 框架中文本生成任务的类设计、预置模型、few-shot 构造、静态图推理链路与结果解码机制。读完本文你将掌握TextGenerationTask的内部工作原理并能在实际项目中直接使用生成式问答question_answering与智能写诗poetry_generation两个开箱即用的一键预测能力。一、text_generation 模块在 Taskflow 中的定位paddlenlp.taskflow.text_generation是 PaddleNLP Taskflow 一键预测体系中的文本生成任务实现模块。API 参考文档 paddlenlp.taskflow.text_generation.rst 通过 Sphinx 的automodule指令自动生成该模块的成员文档其技术主体即 text_generation.py 中的TextGenerationTask类。在 Taskflow 的注册表 taskflow.py 中文本生成能力被拆分为两个面向不同场景的上层任务均由该模块提供基类实现任务名调用方式任务类注册行号生成式问答Taskflow(question_answering)QuestionAnsweringTasktaskflow.py#L164-L175智能写诗Taskflow(poetry_generation)PoetryGenerationTasktaskflow.py#L140-L151两者共用同一个预置中文生成模型gpt-cpm-large-cn并都继承自TextGenerationTask因此从 question_answering.py 与 poetry_generation.py 的源码可以看到两个子类本身几乎为空实现仅定义各自任务的usage示例文本与模型下载 URL全部逻辑沉淀在基类中——这正是TextGenerationTask作为一次实现、多任务复用的模块价值的体现。二、TextGenerationTask 类设计与初始化流程TextGenerationTask继承自 Taskflow 的抽象基类Task定义于 task.py类注释明确说明其职责是predict the question or chinese poetry生成式问答或中文诗歌续写。构造函数 text_generation.py#L43-L54 的关键流程如下默认走静态图推理self._static_mode True优先使用 Paddle Inference 静态模型执行预测以获得更好的部署性能。下载预置模型参数当处于静态模式时调用download_file从 URLS 字典 中声明的地址下载gpt-cpm-large-cn_params.tar并以 md5 值5aad6f81053cfdbba4797f044fcf66d1做完整性校验文件会被解压到~/.paddlenlp/taskflow/下的任务路径中路径拼装逻辑见 task.py#L79-L85。构建推理模型或加载静态模型静态模式调用_get_inference_model()读取/转换 Paddle Inference 模型动态模式则调用_construct_model构建动态图模型。构建 Tokenizer见下文分词器选择小节。记录生成任务类型self.kwargs[generation_task] task这是后续 few-shot 模板选择的关键依据。2.1 分词器选择_construct_tokenizertext_generation.py#L71-L80 中分词器按模型名分派gpt-cpm-large-cn→GPTChineseTokenizer基于 SentencePiece jieba 的中文 GPT 分词器定义于 tokenizer.py#L87其他模型 → 通用GPTTokenizer。GPTChineseTokenizer值得注意的细节它内部用 jieba 对中文文本进行粗切分再把空格与换行分别映射为特殊字符 \n→\u2582\u2583最后由 SentencePiece 模型完成子词编码。其eol_token默认取\u2583换行 token对应的eol_token_id属性tokenizer.py#L156-L160会被 GPT 解码模型用作终止生成的判定信号。2.2 模型构建_construct_modeltext_generation.py#L62-L69 在动态模式下构造GPTForGreedyGeneration.from_pretrained(self.model, max_predict_len32)即最大预测长度固定为 32 个 token并置为eval()模式。GPTForGreedyGeneration是定义于 modeling.py#L1366 的贪心解码专用模型我们将在第五节详细展开。2.3 静态图输入规格_construct_input_spectext_generation.py#L56-L60 声明了静态图转换时的输入规格self._input_spec [paddle.static.InputSpec(shape[None, None], dtypeint64, nametoken_ids)]即模型只接收一个形状为[batch_size, seq_len]的int64型 token id 矩阵作为输入这与后文_run_model中通过self.input_handles[0].copy_from_cpu(ids)喂入的数据完全对应。三、基于 CPM 的预置模型gpt-cpm-large-cn文本生成任务唯一预置模型为gpt-cpm-large-cn。根据 GPT 模型汇总表 的官方说明该权重为中文 GPT 模型结构为32 层、2560 hidden、32 头、约 2.6B 参数在中文语料上预训练。官方文档在 taskflow.md 中将其描述为最大中文开源 CPM 模型用于完成问答与写诗两个生成任务。模型权重与 SentencePiece 词表资源分别在 text_generation.py#L26-L31 的URLS与 tokenizer.py#L119-L127 的pretrained_resource_files_map中登记均通过from_pretrained/download_file机制自动获取。四、核心推理链路_preprocess → _run_model → _postprocess与其他 Taskflow 任务一致TextGenerationTask通过 task.py#L567-L571 的__call__把输入依次送入预处理、模型运行、后处理三个抽象方法完成原始文本 → 模型结果 → 任务结果的端到端转换。4.1 预处理few-shot 模板与批处理_preprocesstext_generation.py#L82-L126 实现了预处理包含三个关键步骤1输入合法性检查调用基类的_check_input_texttask.py#L434-L452支持单个字符串或字符串列表空文本会被拒绝。2few-shot 模板构造核心函数select_few_shot_inputtext_generation.py#L93-L102按generation_task选择不同的前缀模板生成式问答question_answering问题中国的首都是哪里答案北京。 问题{} 答案智能写诗poetry_generation默写古诗: 大漠孤烟直长河落日圆。 {}generation_task的取值直接来自构造时写入的self.kwargs[generation_task]即调用 Taskflow 时的任务名若传入question_answering、poetry_generation之外的值会抛出ValueError(The generation task must be question or poetry)。随后每个输入文本通过pre_input.format(input_text)拼入模板再经 tokenizer 编码为input_ids并记录序列长度len(ids)。3批处理与 Padding通过 batchify_fn 将同一个 batch 内的样本统一处理batchify_fn lambda samples, fnTuple( Pad(axis0, pad_val0, dtypeint64), Stack(dtypeint64), # seq_len ): fn(samples)其中Pad(axis0, pad_val0)沿序列维度axis0即第 0 维为序列长度用 0 补齐到 batch 内最大长度Stack负责堆叠序列长度张量。batch 的划分由batch_size控制默认值为 1从self.kwargs读取最终输出字典中包含text原始输入与data_loader分好 batch 的样例列表。4.2 模型运行静态图 Paddle Inference_run_modeltext_generation.py#L128-L144 以static_mode_guard()上下文utils.py#L116-L120内部先paddle.enable_static()后paddle.disable_static()切换到静态图模式逐 batch 执行self.input_handles[0].copy_from_cpu(ids) # 把 batch token ids 拷贝进输入句柄 self.predictor.run() # 运行 Paddle Inference 预测器 result self.output_handle[0].copy_to_cpu().tolist()预测器本身由基类_prepare_static_modetask.py#L216-L262按设备类型配置CPU 上会enable_mkldnn()、GPU 上enable_use_gpu(100, device_id)同时统一开启 IR 优化、新执行器与内存优化。推理得到的是生成 token id 序列连同每条样本的真实输入长度lens一起存入inputs供后处理使用。4.3 后处理token id 解码为文本_postprocesstext_generation.py#L146-L158 完成最终解码single_result[text] inputs[text][index] # 原始输入 single_result[answer] self._tokenizer.convert_ids_to_string( preds[index][seq_len:-1] # 截掉输入部分丢弃最后的终止符 )关键点在于preds[index][seq_len:-1]的切片逻辑preds[index]是模型输出的完整 token id 序列输入 生成部分seq_len是当前样本的输入长度preds[index][seq_len:-1]只保留新生成的 token末尾的-1丢弃最后一个 token——它通常是eol_token_id换行终止符。最终每条样本返回{text: 原问题/上句, answer: 生成的答案/下句}结构的字典批量输入则返回字典列表。五、底层解码机制GPTForGreedyGenerationTextGenerationTask的文本生成能力最终由 GPTForGreedyGeneration 承担。类注释明确指出它use the greedy strategy and generate the output sequence with highest probability贪心策略逐步生成概率最高的 token。其forwardmodeling.py#L1434-L1458的循环结构清晰展示了贪心解码过程对输入input_ids做一次前向得到 logits 与cached_kvs取output[:, -1, :]最后一个位置的 logitspaddle.argmax得到当前步最可能的 tokennid拼接到src_ids以nid为输入、携带past_key_valuescached_kvs继续前向即KV Cache 增量解码避免重复计算已生成部分循环直到生成长度达到max_predict_len此处为 32或当前 token 等于self.eol_token_id换行符对应中文 CPM 模型的\u2583提前终止。从 modeling.py#L1416-L1432 还可以看到语言模型头直接复用word_embeddings.weight做paddle.matmul(..., transpose_yTrue)即典型的tied embedding / weight tying设计——输出词表概率分布由嵌入矩阵转置点乘得到。六、实战生成式问答与智能写诗Taskflow 官方文档 taskflow.md 以及 question_answering.py、poetry_generation.py 中的usage文档字符串给出了可直接运行的官方示例。6.1 生成式问答from paddlenlp import Taskflow qa Taskflow(question_answering) # 单条输入 qa(中国的国土面积有多大) # [{text: 中国的国土面积有多大, answer: 960万平方公里。}] # 批量输入多条样本一次推理平均速度更快 qa([中国国土面积有多大, 中国的首都在哪里]) # [{text: 中国国土面积有多大, answer: 960万平方公里。}, # {text: 中国的首都在哪里, answer: 北京。}]6.2 智能写诗from paddlenlp import Taskflow poetry Taskflow(poetry_generation) # 单条输入给定上句续写下句 poetry(林密不见人) # [{text: 林密不见人, answer: ,但闻人语响。}] # 批量输入 poetry([林密不见人, 举头邀明月]) # [{text: 林密不见人, answer: ,但闻人语响。}, # {text: 举头邀明月, answer: ,低头思故乡。}]示例中模型的输出实际上是在问题 答案模板或古诗续写模板基础上做续写再由_postprocess剥离输入前缀与终止符得到纯答案文本。6.3 可配置参数根据 taskflow.md 的说明与源码实现本任务主要支持以下参数参数默认值说明batch_size1批处理大小批量输入多条样本可提升推理吞吐请结合机器内存/显存调整modelgpt-cpm-large-cn任务使用的模型名不传则使用注册表默认值task_pathNone自定义本地模型路径传入后跳过自动下载改用用户模型device_id0GPU 等设备 ID由Taskflow统一透传其中batch_size在 text_generation.py#L90 从self.kwargs读取model与task_path的默认/自定义逻辑位于 taskflow.py#L834-L867 与 task.py#L79-L85。任务注册表同时记录了task_flag如question_answering-gpt-cpm-large-cn与task_priority_pathgpt-cpm-large-cn前者用于资源下载校验后者决定本地缓存目录布局。七、从源码理解任务扩展方式虽然TextGenerationTask当前只服务问答与写诗两个场景但模块结构天然支持扩展新的生成式任务子类化TextGenerationTask像QuestionAnsweringTaskquestion_answering.py#L42与PoetryGenerationTaskpoetry_generation.py#L41一样只需提供usage与模型URLS在TASKS注册表登记在 taskflow.py#L48 的TASKS字典中新增任务名指向任务类、task_flag与可选task_priority_path在select_few_shot_input中补充模板在 text_generation.py#L93-L102 的模板选择逻辑中为新任务增加 few-shot 前缀注意需同步放开 L95-L96 的任务名校验白名单。由此可见few-shot 模板 通用 GPT 续写模型的组合是文本生成任务可复用的核心范式模型本身不区分任务任务语义全部由输入模板编码。八、小结paddlenlp.taskflow.text_generation模块以TextGenerationTask为统一基类封装了静态图推理优先 CPM 中文生成模型 few-shot 模板 贪心解码 结果解码的完整文本生成链路并向上派生出question_answering生成式问答与poetry_generation智能写诗两个开箱即用的 Taskflow 任务。对于开发者而言既可以直接调用Taskflow完成中文问答与古诗续写也可以参照 text_generation.py、question_answering.py 的写法快速扩展新的生成式应用场景。相关官方示例与参数说明还可进一步参考 docs/zh/model_zoo/taskflow.md 与 GPT 模型汇总。赞分享人工智能大模型预训练微调LoRARLHF强化学习分布式训练【免费下载链接】PaddleNLPEasy-to-use and powerful LLM and SLM library with awesome model zoo.项目地址https://gitcode.com/gh_mirrors/pa/PaddleNLP点击查看免费下载相关推荐PaddleNLP 文本纠错 Taskflow基于 ERNIE-CSC 拼音特征的端到端中文拼写纠错实战PaddleNLP 文本纠错 Taskflow基于 ERNIE CSC 拼音特征的端到端中文拼写纠错实战 导读 本文围绕 PaddleNLP 的 Taskfl人工智能大模型预训练微调LoRARLHF强化学习分布式训练模型推理服务推理引擎模型量化模型压缩本地部署NLPPaddleNLP 大模型文本生成快速上手基于 AutoTokenizer 与 AutoModelForCausalLM 的 Qwen2 实战指南PaddleNLP 大模型文本生成快速上手基于 AutoTokenizer 与 AutoModelForCausalLM 的 Qwen2 实战指南 Paddl人工智能大模型预训练微调LoRARLHF强化学习分布式训练模型推理服务推理引擎模型量化模型压缩本地部署NLPWand 高级功能免费解锁本地补丁 3 步跑通手机远程面板也能接Wand 高级功能免费解锁本地补丁 3 步跑通手机远程面板也能接 WandWeMod高级功能免费解锁靠的是本地补丁工具只改写你自己电脑里客户端的功能桌面应用前端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考