BERT复现学习

• 2018 年《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》

参考博客：

• https://www.cnblogs.com/nickchen121/p/15114385.html
• https://adaning.github.io/posts/52648.html
• https://wdndev.github.io/paper_reading/1.5.ELMo/index.html
• https://blog.csdn.net/kyle1314608/article/details/100595077
• https://github.com/codertimo/BERT-pytorch/tree/master

前置研究

图像领域预训练

CNN 可以对图片进行特征提取，一张图片放入到 CNN 中，由浅层到深层会分别提取出不同的特征，从“横竖撇捺”到“人脸”，

Transformer复现学习

• 2017 年 《Attention is All You Need》
• 参考博客学习
  • https://www.cnblogs.com/skeinz/articles/19429739
  • https://zhuanlan.zhihu.com/p/12630741971
  • https://blog.xlonglong.cn/encoder-decoder/
  • https://www.zhihu.com/tardis/zm/art/600773858

词嵌入

词元 token 转换为计算机能理解的词嵌入 word embedding，即 token 映射到词向量空间中

GPT-2复现学习

• from Andrej Karpathy
• 包含神经网络、反向传播、语言模型、多层感知机、分词器、复现 GPT-2

neural networks and backpropagation

micrograd

• 优先使用 micrograd 理解，理解导数
• 导数：(f(x+h) - f(x)) / h

# 定义对象的官方字符串表示 Test(test=xxx, is_true='true')
def __repr__(self):

节点数据结构

CS106L 2019 FALL

Stream

C++ core guidelines

istringstream, ostringstream

if (!getline(cin, line)) // 标准输入 cin 中读取一整行字符串，存入 line
	throw domain_error("Unable to get line from cin."); // 标准库异常，
istringstream iss(line); // 输入字符串流
iss >> result; // istringstream 中提取一个值，赋给 result

if(!(iss >> name >> year >> average)) throw "Invalid file format.";

fpos pos = oss.tellp() + streamoff(3);
oss.seekp(pos);

状态位，当流的状态位不是good时，流操作将无效

概述

public class Xxxx {
	public static void main(String[] args) {

概念

• javac编译，java执行，javap xxx.class反编译，jre：核心类库 + jvm
• 大小写敏感

工具

IDEA

环境

编译

• gcc主要编译C语言，对于C++代码只编译而不自动链接C++标准库，需要使用-lstdc++指定
• g++专门编译C++代码，自动链接C++标准库

./a.out <infile> outfile # 文件重定向, infile文件中为输入

基础

关键字

extern：只声明变量，由外部定义