Transformer特别适合摘要任务，因其自注意力机制可全局建模词间关系，解决RNN长程衰减问题，精准捕捉转折、因果等语义结构，配合编码器-解码器架构与匹配预训练目标（如BART去噪、T5文本到文本）显著提升生成质量。
Transformer模型是当前自然语言生成（NLG）与文本摘要任务的核心架构，其核心在于自注意力机制与位置编码的协同设计，而非依赖序列顺序的RNN结构。真正发挥效果的关键，不在于堆叠层数，而在于训练数据质量、微调策略和解码控制。
为什么Transformer特别适合摘要任务
摘要本质是信息压缩与语义重组，要求模型准确识别关键实体、事件关系与逻辑主干。Transformer通过全局自注意力，能在一次前向传播中建模任意两词间的依赖，避免RNN的长程衰减问题。例如，“尽管公司Q3营收增长12%，但净利润同比下降8%，主因研发投入增加35%”这类含转折与因果的句子，BERT类编码器可同时捕获“营收增长”与“净利润下降”的对立关系，以及“研发投入增加”这一原因节点。
实际应用中需注意：
- 编码器-解码器结构（如BART、T5）比纯编码器（如BERT）更适配生成式摘要；
- 预训练目标要匹配下游任务：BART用去噪目标（mask+重构），T5用文本到文本统一框架，均优于仅MLM预训练的模型；
- 中文场景下，需确认分词器是否支持字粒度或词粒度合理切分（如使用BERT-wwm-ext或PERT）。
从零跑通一个摘要Pipeline
以Hugging Face Transformers库为例，三步即可启动轻量级摘要服务：
- 加载模型与分词器：优先选用已微调的中文摘要模型，如IDEA-CCNL/Randeng-Pegasus-238M-Summary-Chinese（基于Pegasus，专为中文新闻摘要优化）；
- 预处理输入：控制原文长度≤1024 token，过长时按句子切分后取Top-K重要句（可用TextRank初筛），避免截断关键谓词结构；
-
生成控制参数：设置
max_length=150（防冗余）、num_beams=4（平衡速度与质量）、repetition_penalty=1.2（抑制重复短语），中文建议关闭early_stopping以防截断未完成句。
常见失效场景与应对
模型输出空、乱码、套话或严重偏离原文，往往不是模型本身问题，而是数据或接口配置偏差：
立即学习“Python免费学习笔记（深入）”；
-
输入含不可见控制符：PDF提取文本常带\u200b、\u3000等Unicode空格，需用
re.sub(r'[\u200b-\u3000]+', ' ', text)清洗； - 领域错配：通用模型对法律条款、医疗报告等专业文本泛化差，应先用领域语料继续预训练（Continual Pretraining），再微调；
-
解码温度过高/过低：默认
temperature=1.0适合多数场景；若需更高确定性（如新闻摘要），设为0.7；创意型摘要（如广告文案）可升至1.1，但需配合top_k=50防失控。
进阶：可控生成与评估落地
业务中常需约束摘要风格或关键词覆盖。可通过以下方式实现：
-
前缀引导：在输入开头拼接指令，如
"【简明版】"或"关键词：碳中和、光伏、补贴"，部分模型（如ChatGLM-6B微调版）能响应此类提示； -
约束解码：使用Hugging Face的
ForceWordsLogitsProcessor强制生成指定词，适用于必须包含政策文件编号、产品型号等硬性字段的场景； -
评估不止看ROUGE：ROUGE高只说明n-gram重合多，建议人工抽样检查三点——事实一致性（是否捏造数据）、信息完整性（是否遗漏核心动词）、可读性（是否出现“其”“该”指代不明）。内部可用
factcc模型做自动事实校验。
