#
章末小测验

让我们测试一下你在本章中学到了什么！

###
1．在什么时候你应该考虑训练一个新的 tokenizer ？

当你的数据集与现有预训练模型使用的数据集相似，且你想预训练一个新模型时 当你的数据集与现有预训练模型使用的数据集相似，且你想对此预训练模型进行微调时 当你的数据集与现有预训练模型使用的数据集不同，且你想预训练一个新模型时 当你的数据集与现有预训练模型所使用的数据集不同时，但是你对此预训练模型对新模型进行微调

###
2．当使用 train_new_from_iterator() 时，使用文本列表生成器与文本列表相比有什么优点？

文本列表生成器是`train_new_from_iterator()`方法唯一接受的输入类型。 你可以避免一次性将整个数据集加载到内存中。 这将允许🤗 Tokenizers 库使用多进程。 你训练的 Tokenizer 将生成效果更好的输出。

###
3．使用“快速” tokenizer 有什么优势？

当你批处理大量的输入时，它可以比慢速的 tokenizer 更快地处理输入。 快速的 tokenizer 总是比慢速的 tokenizer 快。 它可以填充和截断文本。 它有一些额外的功能，允许你将 tokens 映射到生成它们的文本范围。

###
4. token-classification 管道如何处理跨越多个 tokens 的实体？

具有相同标签的实体被合并为一个实体。 使用一个标签代表实体的开始，另一个标签代表实体的继续。 在给定的单词中，只要第一个 tokens 具有实体的标签，整个单词都被认为带有该实体的标签。 当一个 tokens 具有特定实体的标签时，任何其他后续的带有相同标签的 tokens 都被视为同一实体的一部分，除非它被预测为新实体的开始。

###
5. question-answering 管道如何处理长上下文？

它其实并未处理，因为它会将超过模型接受的最大长度的长上下文截断。 它将上下文分成若干部分，并对所得结果进行平均。 它将上下文拆分为若干部分(有重叠部分) 并在每个部分中查找一个答案的最大分数。 它将上下文分成若干部分(不重叠，以提高效率) 并在每个部分中找到一个答案的最大得分。

###
6．什么是标准化？

这是 tokenizer 在初始阶段对文本进行的清洗。 这是一种数据增强技术，包括通过删除稀有单词使文本更加标准。 在最后的后处理步骤中，tokenizer 添加特殊 tokens 。 这是通过减去平均值并除以标准差，使嵌入具有 0 的均值和 1 的标准差的过程。

###
7．什么是 tokenizer 的预分词？

这是 tokenization 之前的步骤，对数据进行增强(如随机掩码)。 这是 tokenization 之前的步骤，在这个步骤中，对文本进行清洗。 这是进行 tokenize 之前的步骤，将输入拆分为单词。 这是进行 tokenize 之前的步骤，将输入切分为 tokens 。

###
8．选择描述 BPE 算法最准确的句子。

BPE 是一个 tokenization 算法，从小词汇表开始，学习合并规则。 BPE 是一种 tokenization 算法，从大词汇表开始，逐步从中删除 tokens 。 BPE tokenizer 通过合并最常见的一对 token 来学习合并规则。 BPE（字节对编码） tokenizer 通过合并一对 tokens 来学习合并规则，该规则会优先选择经常一起出现以及不经常独立出现的 tokens 对。 BPE 通过将单词分割成字符，然后使用合并规则将单词分解成子单词。 BPE 通过从词汇表的开头找到最长的子词，然后在文本的其余部分重复这个过程，将单词转化为子词。

###
9．选择描述 WordPiece 算法最准确的句子。

WordPiece 是一个 tokenization 算法，它从一个小词汇表开始，学习合并规则。 WordPiece 是一种 tokenization 算法，从大词汇表开始，逐步从中删除 tokens。 WordPiece tokenizer 通过合并最常见的两个 tokens 来学习合并规则。 WordPiece tokenizer 通过合并一对 tokens 来学习合并规则，该规则会优先选择经常一起出现以及不经常独立出现的 tokens 对。 WordPiece 通过模型找到最可能的分割方式，将单词分词为子词。 WordPiece 通过从词汇表的开头找到最长的子词，然后在文本的其余部分重复这个过程，将单词转化为子词。

###
10．选择描述 Unigram 算法最准确的句子。

Unigram 是一个 tokenization 算法，它从一个很小的词汇表开始学习合并规则。 Unigram 是一种 tokenization 算法，它从大词汇表开始，逐步从中删除 tokens。 Unigram 通过最小化在整个语料库中的损失来调整词汇量。 Unigram 通过保留出现最频繁的子词来调整它的词汇量。 Unigram 通过模型找到最可能的分割位置来将词转化为子词。 Unigram 通过将单词分割成字符，然后使用合并规则将单词分解成子词。
< > Update on GitHub