入门：文本分割器
信息
语言模型通常受到可以传递给它们的文本量的限制。因此，将这些文本拆分成更小的部分是必要的。LangChain 提供了多种工具来实现这一点。
使用文本分割器还可以帮助改善向量存储搜索的结果，因为较小的片段有时可能更容易与查询匹配。测试不同的分块大小（和重叠）是一个值得进行的操作以适应您的用例。
所有文本分割器
📄️ 示例
分割器是用于将文本划分为更小、更易管理的部分或特定段落的组件或工具。这种划分可能是为了各种原因，例如提高对大型或复杂文本处理、分析或理解的效果。分割器可以很简单，比如按句子或段落来分隔文本，也可以很复杂，如基于主题、话题或特定语法结构进行分割。