文章目录 在怀疑的时代依然需要信仰 ——卢新宁2012年北京大学中文系毕业典礼上的演讲 敬爱的老师和亲爱的同学们： 上午好！ 谢谢你们叫我回家。让我有幸再次聆听老师的教诲，分享我亲爱的学弟学妹们的特殊喜悦。一进家门，光阴倒转，刚才那些美好的视频，同学的发言，老师的讲话，都让我觉得所有年轻的故事都不曾走远。 可是，站在你们面前，亲爱的同学们，我才发现，自己真的老...

文章目录 Python 数据分析第三方库分析 @常用库下载地址 1 Numpy 2 Matplotlib 3 Pandas 4 SciPy 5 Scikit-Learn 6 Keras 7 Gensim 8 Scrapy 总结 Python 数据分析第三方库分析 使用原因：Python 可用于数据分析，但其单纯依赖 Python 本身自带的库进行数据...

文章目录 概览 1 Token Embeddings 作用 实现 2 Segment Embeddings 作用 实现 3 Position Embeddings 作用 实现 4 合成表示 本文将阐述 BERT 中嵌入层的实现细节，包括 token embeddings、segment embeddings, 和 position embe...

文章目录 PyTorch 十大优化器 1 torch.optim.SGD 2 torch.optim.ASGD 3 torch.optim.Rprop 4 torch.optim.Adagrad 5 torch.optim.Adadelta 6 torch.optim.RMSprop 7 torch.optim.Adam(AMSGrad) 8 torch.opt...

文章目录 自然语言处理中的预训练技术发展史 —Word Embedding 到 Bert 模型 1 图像领域的预训练 2 Word Embedding 考古史 3 从 Word Embedding 到 ELMO 4 从 Word Embedding 到 GPT 5 Bert 的诞生 自然语言处理中的预训练技术发展史 —Word Embedding 到...

Transformer 详解 Attention is all you need 是一篇将 Attention 思想发挥到极致的论文，出自 Google。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN (其实也不完全是，还是用到了一维卷积)。这个模型广泛应用于 NLP 领域，例如机器翻译，问答系统，文本...

NLP 模型：从 transformer 到 albert 文章目录 1 Transformer 1.1 transformer 整体架构 1.2 transformer 结构原理 1.3 transformer 的技术细节 1.4 transformer 的总结 2 bert 2.1 bert 的背景 2.2 bert 的流程 2.3 bert 的技术...

文章目录 NLP 中流行的预训练模型 1 BERT 及其变体 2 GPT 3 GPT-2 及其变体 4 Transformer-XL 5 XLNet 及其变体 6 XLM 7 RoBERTa 及其变体 8 DistilBERT 及其变体 9 ALBERT 10 T5 及其变体 11 XLM-RoBERTa 及其变体 NLP 中流行的预训练模型 BE...

GLUE 数据集合的介绍: 自然语言处理（NLP）主要自然语言理解（NLU）和自然语言生成（NLG）。GLUE（General Language Understanding Evaluation）由纽约大学，华盛顿大学，Google 联合推出，涵盖不同 NLP 任务类型，截止至 2020 年 1 月其中包括 11 个子任务数据集，成为衡量 NLP 研究发展的衡量标准....

文章目录 目标分割 1 定义 2 任务描述和类型 2.1 任务描述 2.2 任务类型 3 评价指标 3.1 像素精度 3.2 平均像素精度 3.3 平均交并比 4 经典深度学习网络 4.1 FCN 4.2 UNet 目标分割 图像分割是目标检测更进阶的任务，目标检测只需要框出每个目标的包围盒，语义分割需要进一步判断图像中哪些像素...