（接上一篇）
针对历史语料（如古籍、档案、编年史等原始文献）的预处理，是整个选择偏差校正框架（基于前述政策-偏差-信号逻辑）的基石。
预处理的目标是：标准化、结构化和丰富化原始语料，使其易于拆解、标注和计算，从而支撑后续的偏差建模、弱信号放大和验证算法实现（如Heckman选择模型或贝叶斯更新）。这个方案强调多粒度处理（从全文到句子级）、元数据提取（创作者、时间等）和可扩展性（支持Python/SymPy等算法集成）。
方案分为四个阶段：采集与清洗、多粒度拆解与保存、标注与提取、质量控制与算法接口。整个过程可自动化（如用Python的NLTK/ spaCy结合OCR工具处理扫描文档），预计处理1000页文献需1-2周（手动辅助）。输出：结构化数据集（如JSON/CSV），直接喂入计算模块。
1. 采集与清洗（Ingestion & Cleaning）
原理：原始语料往往杂乱（手写、扫描、OCR错误），需去除噪声，确保文本完整性。
| 子步骤 | 操作指南 | 工具/方法 | 输出 | 示例 |
|---|---|---|---|---|
| 1.1 采集 | 扫描/下载原始文件（PDF/图像/文本）；记录来源元数据（如档案馆ID）。 | OCR工具（如Tesseract for 古籍）；手动转录高价值文本。 | 原始文件库（文件夹结构：/source/[时代]/[类型]）。 | 秦汉竹简：OCR扫描后存为TIFF+TXT。 |
| 1.2 清洗 | 去除噪声（OCR错误、页眉页脚）；标准化编码（UTF-8）；分句/分段（基于标点/空行）。 | Python: re模块正则替换；NLTK句法分词。 | 清洁文本文件（.txt），附带日志（错误率<5%）。 | 替换“秦始皇”为统一拼写，删除水印。 |
| 1.3 去重 | 检测相似文本（e.g., 抄本变体）；保留唯一版本。 | Levenshtein距离或TF-IDF相似度阈值>0.9。 | 去重ID列表（JSON: {“doc_id”: “unique_hash”}）。 | 多版《史记》：保留裴骃注本，标记变体。 |
算法支撑：清洗后文本作为输入到下游NLP模型，确保偏差计算的准确性（如政策关键词匹配）。
2. 多粒度拆解与保存（Granularity Decomposition & Storage）
原理：不同粒度适应不同任务（全文用于政策映射，句子用于弱信号检测）。拆解后保存为分层结构，便于查询和并行计算。
| 粒度 | 拆解规则 | 保存策略 | 用途 | 示例 |
|---|---|---|---|---|
| 文档级（全文） | 完整文献作为单元；附加头信息（标题、卷数）。 | JSON: {“doc_id”: “001”, “full_text”: “…”, “metadata”: {…}}。 | 整体政策影响建模（如全文抑制率）。 | 《资治通鉴》全卷：存为单JSON，体积~10MB。 |
| 段落级（Paragraph） | 基于主题/空行分段（~100-500字）。 | 子JSON数组：{“doc_id”: “001”, “paras”: [{“para_id”: “p1”, “text”: “…”}]}。 | 跨段弱信号模式提取。 | 分成“事件描述段” vs. “评论段”。 |
| 句子级（Sentence） | 语法分句（主谓宾完整）；忽略诗词特殊结构。 | 嵌套数组：{“para_id”: “p1”, “sents”: [{“sent_id”: “s1”, “text”: “…”}]}。 | 细粒度标注（如隐喻检测）。 | “焚书令”句子：{“text”: “皇帝曰：…”, “type”: “诏令”}。 |
| 词/短语级（Token） | 词性标注分词；提取实体（人名、地名）。 | CSV/Parquet：columns=[“token”, “pos”, “entity_type”]。 | 关键词网络构建（e.g., LDA主题模型）。 | “儒生”标记为[PERSON, 异见群体]。 |
保存最佳实践：使用NoSQL（如MongoDB）或分层文件系统；总大小控制在GB级。算法接口：每个粒度附带索引（e.g., Elasticsearch），支持O(1)查询，用于偏差模型的采样。
3. 标注与提取（Annotation & Extraction）
原理：手动/半自动标注策略因粒度而异；提取关键信息作为特征向量，支撑时间序列分析和偏差校正（如时间不一致指示“事后审查”）。
| 粒度 | 标注策略 | 提取关键信息 | 方法/工具 | 输出格式 | 示例 |
|---|---|---|---|---|---|
| 文档级 | 整体标签：主题（政治/经济）、语气（正面/中性/隐晦批评）；抑制风险（高/中/低，基于政策匹配）。 | 创作者（作者/编者）；创作时间（成书年）；公开时间（刊行年）；事实指向时间（所述事件期）。 | 规则-based: 匹配政策关键词；NER工具（如Stanford NLP for 古文）。 | JSON元数据：{“creator”: “司马迁”, “create_time”: “前100”, “publish_time”: “后50”, “fact_time_range”: [“前200”, “前100”]}。 | 《史记》：创作者=司马迁；事实时间=战国至汉初。 |
| 段落级 | 结构标签：叙事/议论/引用；偏差代理（e.g., 省略标记）。 | 关联事件（e.g., 政策影响段）；引用来源（内/外文）。 | 半监督：预训练BERT fine-tune on 历史语料。 | 扩展JSON：{“para_id”: “p1”, “labels”: [“narrative”], “extracted”: {“event”: “焚书”, “source”: “官方诏”}}。 | 议论段：标注“隐晦批评”，提取“坑儒事件”时间=前213。 |
| 句子级 | 细标签：情感（正/负/中）；修辞（隐喻/直述）；敏感度（0-1分，基于禁词）。 | 实体链接（人/事/地到知识图谱）；时间戳（deictic时间如“去年”转绝对年）。 | 众包标注（Prodigy工具）+规则（e.g., TempEval for 时间）。 | 数组：[{“sent_id”: “s1”, “sentiment”: -0.2, “entities”: [{“name”: “秦皇”, “type”: “ruler”, “time”: “前221-前210”}]}]。 | 句子“陛下愚儒”：敏感度=0.8；提取创作者暗示=“佚名”（匿名信号）。 |
| 词级 | POS/实体标签；共现网络（e.g., “禁”与“书”关联）。 | 频率/共现统计；弱信号词（e.g., 委婉词如“或曰”）。 | Jieba分词+词嵌入（Word2Vec on 历史corpus）。 | CSV：{“token”: “焚书”, “freq”: 5, “cooc”: [“坑儒”], “signal_strength”: 0.7}。 | “异端”：链接到宗教裁判政策。 |
提取自动化：用规则+ML混合：先规则提取显性元数据（如“元年”→绝对年），后ML填充隐性（如作者推断从上下文）。准确率目标>85%，通过人工审核迭代。4. 质量控制与算法接口（QC & Pipeline Integration） 原理：确保数据一致性，并无缝对接计算（如偏差模型输入为带时间戳的特征矩阵）。
- 质量控制：
- 一致性检查：跨粒度验证（e.g., 文档时间范围覆盖段落事实时间）；异常检测（e.g., 公开时间<创作时间→审查标志）。
- 覆盖率：弱信号比例>10%（否则补充搜集）；偏差预估（e.g., 敏感句子缺失率）。
- 工具：Pandas数据验证；日志系统记录变更。
- 算法支撑接口：
- 输出结构：统一DataFrame（columns: [granularity, text, metadata, labels, features]），导出为Pickle/CSV，便于加载到SymPy（符号偏差计算）或Statsmodels（回归校正）。
- 管道示例（Python伪码）：python
import pandas as pd
from nltk import sent_tokenize # 示例工具
def preprocess_pipeline(raw_docs):
cleaned = clean_text(raw_docs) # 阶段1
multi_gran = decompose_granularity(cleaned) # 阶段2
annotated = annotate_extract(multi_gran) # 阶段3
validated = qc_validate(annotated) # 阶段4
return pd.DataFrame(validated) # 接口到偏差模型
# 使用：df = preprocess_pipeline(文献列表)
# 喂入模型：bias_corrected = heckman_model(df['features'], df['labels'])- 扩展性：支持增量处理（新文献追加）；版本控制（Git for 数据集）。
实施建议与局限
- 资源需求：小型团队（1历史专家+1程序员）；开源工具优先（避免闭源依赖）。
- 测试：从小样本（如10篇秦文献）起步，计算前后偏差变化（e.g., 校正后反对信号+30%）。
- 局限：古文歧义高（需领域专家）；时间提取依赖历法转换（e.g., 干支→公历）。通过多源交叉（如比对《二十四史》）缓解。
- 整体效益：此方案使原始语料从“杂乱档案”转为“计算就绪数据集”，直接支撑端到端算法（如从预处理到贝叶斯后验分布）。