本文回顾多个有趣数学题,围绕递推数列展开,通过迭代过程分析对数、余弦、指数等函数生成的数列,运用单调有界准则、拉格朗日中值定理等证明极限存在并求解,探讨数列在函数曲线“夹缝”中的收敛特性。
本文回顾多个有趣数学题,围绕递推数列展开,通过迭代过程分析对数、余弦、指数等函数生成的数列,运用单调有界准则、拉格朗日中值定理等证明极限存在并求解,探讨数列在函数曲线“夹缝”中的收敛特性。
本文通过康威生命游戏展示细胞自动机原理:简单规则(如邻居数量决定细胞生死)可涌现复杂动态(脉冲星、滑翔者等)。沃尔夫勒姆认为此机制揭示宇宙本质,微观简单规则经计算生成宏观复杂现象,呼应玻尔物理关注对自然的描述的哲学观点。
本文探讨《互联网进化论》提出的核心观点:互联网功能与结构正逼近人脑,云计算、大数据、物联网分别对应其中枢、信息层与感知系统。文章质疑其与达尔文进化论的矛盾,指出互联网对人脑功能的模仿现象,最终提出互联网、宇宙与大脑将进化融合为智慧宇宙的终极假说。
预训练模型最开始是在图像领域提出的,获得了良好的效果,近几年才被广泛应用到自然语言处理各项任务中。
(1) 2003 年 Bengio 提出神经网络语言模型 NNLM,从此统一了 NLP 的特征形式 ——Embedding;
(2) 2013 年 Mikolov 提出词向量 Word2vec,延续 NNLM 又引入了大规模预训练(Pretrain)的思路;
(3) 2017 年 Vaswani 提出 Transformer 模型,实现用一个模型处理多种 NLP 任务。
(4) 基于 Transformer 架构,2018 年底开始出现一大批预训练语言模型 (3 个预训练代表性模型 BERT [2018]、XLNet [2019] 和 MPNet [2020]),刷新众多 NLP 任务,形成新的里程碑事件。