tokenize()函数用于将字符串按分隔符分割成序列，支持正则表达式分隔符，可处理连续或首尾分隔符产生的空字符串，常用于解析XML中多值属性或元素内容，如作者、标签、颜色等，需配合string-length或normalize-space过滤空值，与substring()的“取”不同，tokenize()实现的是“分”。
XPath的
tokenize()函数本质上是一个字符串分割工具，它允许你根据指定的分隔符将一个字符串拆分成多个子字符串，并返回一个字符串序列。想象一下，你有一长串用逗号分隔的数据，
tokenize()函数就像一把锋利的刀，帮你把它们切成一块一块的，方便你逐个处理。
解决方案：
tokenize()函数接受两个参数：要分割的字符串和分隔符。分隔符可以是一个简单的字符，也可以是一个更复杂的正则表达式。
例如，
tokenize('apple,banana,orange', ',') 会返回一个包含三个字符串的序列：'apple'、'banana'和'orange'。
更复杂一点，如果你想用空格和逗号作为分隔符，你可以使用正则表达式：
tokenize('apple, banana orange', '[, ]+')。这个表达式会匹配一个或多个连续的逗号或空格，并将字符串分割成'apple'、'banana'和'orange'。
需要注意的是，
tokenize()函数会移除分隔符，只返回分割后的子字符串。如果分隔符出现在字符串的开头或结尾，或者连续出现，
tokenize()函数会返回空字符串。例如，
tokenize(',apple,banana,', ',') 会返回一个包含五个字符串的序列：''、'apple'、'banana'、''、''。
XPath 2.0及以上版本才支持
tokenize()函数。如果你使用的是XPath 1.0，则需要寻找其他方法来实现字符串分割，比如使用递归函数或者外部扩展函数。
XPath 1.0 中模拟
tokenize()的一种方法是编写一个递归模板，该模板查找分隔符的第一个实例，提取分隔符之前的部分，然后递归调用自身来处理字符串的其余部分。这比直接使用
tokenize()复杂得多，但可以作为一种替代方案。
如何处理
tokenize()函数分割后的空字符串？
在使用
tokenize()函数时，经常会遇到空字符串的情况，尤其是在处理包含多个连续分隔符或者分隔符出现在字符串开头或结尾的情况。处理这些空字符串的方法取决于你的具体需求。
一种方法是使用XPath表达式过滤掉空字符串。例如，你可以使用
[string-length(.) > 0]来选择长度大于0的字符串。
tokenize('apple,,banana', ',')[string-length(.) > 0]这个表达式会返回一个包含两个字符串的序列：'apple'和'banana'，空字符串会被过滤掉。
另一种方法是在XPath表达式中使用
normalize-space()函数。这个函数会移除字符串开头和结尾的空白字符，并将字符串中间的多个连续空白字符替换为一个空格。
tokenize(normalize-space(' apple , banana '), ',')这个表达式会返回一个包含两个字符串的序列：'apple'和'banana'，因为
normalize-space()函数会移除字符串开头和结尾的空白字符，并将字符串中间的多个连续空白字符替换为一个空格。
选择哪种方法取决于你的具体需求。如果你需要保留空字符串的位置信息，那么最好使用第一种方法。如果你只需要处理非空字符串，那么可以使用第二种方法。
tokenize()函数和substring函数有什么区别？
tokenize()和
substring()函数都是XPath中用于处理字符串的函数，但它们的功能和用途有很大的不同。
tokenize()函数用于将一个字符串分割成多个子字符串，并返回一个字符串序列。它需要指定一个分隔符，根据这个分隔符将字符串拆分成多个部分。
substring()函数用于提取字符串的一部分。它需要指定字符串的起始位置和长度，然后返回从起始位置开始的指定长度的子字符串。
简单来说，
tokenize()是“分”，而
substring()是“取”。
tokenize()将一个字符串分成多个部分，而
substring()从一个字符串中提取一部分。
举个例子，如果你想从字符串'apple,banana,orange'中提取第二个单词'banana'，你可以先使用
tokenize()函数将字符串分割成多个子字符串，然后使用索引选择第二个子字符串。
tokenize('apple,banana,orange', ',')[2]这个表达式会返回字符串'banana'。
如果你想从字符串'apple'中提取从第二个字符开始的两个字符，你可以使用
substring()函数。
substring('apple', 2, 2)这个表达式会返回字符串'pp'。
总结一下，
tokenize()函数用于分割字符串，
substring()函数用于提取字符串的一部分。它们是XPath中两个非常有用的字符串处理函数，可以根据你的具体需求选择使用。
tokenize()函数在处理XML数据时有哪些实际应用场景？
tokenize()函数在处理XML数据时有很多实际应用场景，尤其是在处理包含多个值的属性或者元素时。
例如，假设你有一个包含多个作者的XML文档：
<book> <title>The Lord of the Rings</title> <authors>J.R.R. Tolkien, Peter Jackson</authors> </book>
如果你想提取所有的作者姓名，你可以使用
tokenize()函数将
authors元素的内容分割成多个子字符串。
tokenize(/book/authors, ', ')
这个表达式会返回一个包含两个字符串的序列：'J.R.R. Tolkien'和'Peter Jackson'。
另一个例子，假设你有一个包含多个标签的XML文档：
<article> <title>XPath Tutorial</title> <tags>xpath, xml, tutorial</tags> </article>
如果你想提取所有的标签，你可以使用
tokenize()函数将
tags元素的内容分割成多个子字符串。
tokenize(/article/tags, ', ')
这个表达式会返回一个包含三个字符串的序列：'xpath'、'xml'和'tutorial'。
tokenize()函数还可以用于处理包含多个值的属性。例如，假设你有一个包含多个颜色的元素：
<product colors="red, green, blue"> <name>T-Shirt</name> </product>
如果你想提取所有的颜色，你可以使用
tokenize()函数将
colors属性的值分割成多个子字符串。
tokenize(/product/@colors, ', ')
这个表达式会返回一个包含三个字符串的序列：'red'、'green'和'blue'。
总而言之，
tokenize()函数在处理XML数据时非常有用，可以帮助你提取包含多个值的属性或者元素，并将其分割成多个子字符串，方便你进行进一步的处理。
