ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

Tokenizer加载指南

Tokenizer加载指南

可能加载失败,完全没有载入词典,只是没有报错。

要打印日志确保每一步的结果都校验了!

成功

tokenizer = BertTokenizer.from_pretrained("./my_tokenizer/", do_lower_case=False,local_files_only=True
)
print("词汇数量:",len(tokenizer))

失败

tokenizer = BertTokenizer(vocab_file="./vocab.txt", do_lower_case=False,model_max_length=model_max_length
)
len(tokenizer)
返回列表