摘录自公众号「@跟我学机器学习」
第8节 基于BERT预训练模型的SQuAD问答任务
本文是 BERT 精读系列第8讲，详细讲解如何基于 huggingface bert-base-uncased 在 SQuAD 斯坦福问答数据集上微调阅读理解模型。覆盖问题回答与文本蕴含的核心差异：把 (问题, 描述) 拼接后让 BERT 对每个 Token 预测其是否为 start position / end position，构建 …
第9节 PyTorch 中使用 TensorBoard：训练可视化与远程访问
本文是 BERT 精读系列第9讲，也是 BERT 下游任务微调系列配套的可视化工具篇，详细讲解如何在 PyTorch 中使用 TensorBoard 对模型训练过程进行可视化。覆盖 TensorBoard 的安装（pip install tensorflow 即可同时装上 TensorBoard）、tensorboard --logdir=runs 启动与局 …
第10节 基于 BERT 预训练模型的命名体识别（NER）任务
本文是 BERT 精读系列第10讲，详细讲解如何基于 huggingface bert-base-chinese 在中文命名体识别 NER 任务上微调。覆盖 NER 与文本蕴含的核心差异：对原始句子每个 Token 用 BIO 标签进行分类（B-PER、I-PER、B-LOC、I-LOC 等），BertForTokenClassification 的输出形状 …
第11节 从零实现 NSP 和 MLM 预训练任务
本文是 BERT 精读系列第11讲，也是 BERT 三大内容板块的收官篇，详细讲解如何利用 MLM（Masked Language Modeling）和 NSP（Next Sentence Prediction）两个预训练任务从零训练 BERT 模型。覆盖 NSP 数据构造（50% IsNext + 50% NotNext）、MLM 数据构造（15% 随机掩 …