第 2 章 文本 → 词元 → 向量

"Hello, world. Is this-- a test?"
→ ['Hello', ',', 'world', '.', 'Is', 'this', '--', 'a', 'test', '?']

// Python re.split("(pattern)", text) 的等价：分隔符之间的文本和分隔符本身都保留
inline std::vector<std::string> re_split_capture(const std::string& text,
                                                 const std::string& pattern) {
    std::vector<std::string> parts;
    std::regex re(pattern);
    std::sregex_iterator it(text.begin(), text.end(), re), end;
    size_t pos = 0;
    for (; it != end; ++it) {
        const std::smatch& m = *it;
        parts.push_back(text.substr(pos, m.position() - pos));  // 分隔符前
        parts.push_back(m.str(0));                              // 分隔符本身
        pos = m.position() + m.length();
    }
    parts.push_back(text.substr(pos));  // 尾部
    return parts;
}

// 分割后过滤空串与纯空白：[t.strip() for t in result if t.strip()]
inline std::vector<std::string> split_tokens(const std::string& text,
                                             const std::string& pattern);

std::set<std::string> unique(all_words.begin(), all_words.end());  // 排序+去重
// 1130 个唯一词元，enumerate 编号 → vocab（'!'=0, '"'=1, ... 'Her'=49, 'Hermia'=50）

class SimpleTokenizerV1 {
public:
    explicit SimpleTokenizerV1(const std::unordered_map<std::string, int>& vocab);
    std::vector<int> encode(const std::string& text) const;  // 分词 → 查表 → ID
    std::string decode(const std::vector<int>& ids) const;   // 反查 → 拼接 → 去标点前空格
private:
    std::unordered_map<std::string, int> str_to_int_;
    std::unordered_map<int, std::string> int_to_str_;        // 逆向词汇表
};

text = "Hello, do you like tea? <|endoftext|> In the sunlit terraces of the palace."
[V2] encode(text) = [1131, 5, 355, 1126, 628, 975, 10, 1130, 55, 988, ...]
                       ^Hello 被替换成 <|unk|>          ^<|endoftext|> 完整保留
[V2] unk_id = 1131, eot_id = 1130

① 把所有单个字符（a、b、…）加入词汇表
② 扫一遍语料，找出最常一起出现的相邻字符对，合并成一个新 token
③ 重复②——把刚合并出的 token 继续参与下一轮合并，直到凑够预算

// 流程：文本 UTF-8 -> bytes -> bytes_to_unicode 映射为可打印字符
//       -> 正则切分成"单词"（含前导空格） -> 单词内贪心 merge -> 查表得 token id
class BpeTokenizer {
public:
    BpeTokenizer(const std::string& encoder_json_path, const std::string& vocab_bpe_path);
    std::vector<int> encode(const std::string& text,
                            const std::vector<std::string>& allowed_special = {}) const;
    std::string decode(const std::vector<int>& ids) const;
    size_t vocab_size() const { return encoder_.size(); }
    int token_id(const std::string& token) const;   // 不存在返回 -1
private:
    std::unordered_map<std::string, int> encoder_;               // token -> id
    std::map<std::pair<std::string, std::string>, int> merges_;  // (a,b) -> rank
    std::array<std::string, 256> byte_to_char_;                  // 字节 → 可打印字符
    ...
};

./scripts/run.sh chapter02_text_data

词汇表大小 vocab_size = 50257
token_id('<|endoftext|>') = 50256        token_id('Hello') = 15496

encode("Hello, do you like tea? <|endoftext|> In the sunlit terraces
        of someunknownPlace.")
      = [15496, 11, 466, 345, 588, 8887, 30, 220, 50256, 554, 262, 4252, ...]

decode(integers) = "Hello, do you like tea?  In the sunlit terraces of someunknownPlace."