向量化多源文本时，如何做好文本分割？

[LuffyPro]

• 项目想读取多种类型的文本，比如 doc,md,xlsx 等文件的内容
• 将其向量化后，存储到向量数据库

请问大家是如何做文本分割的，当然这里不是指简单的字符分割，而是如何将他们合理的分割后存到向量数据库，以便于提高知识库的匹配精准度。谢谢回复。

[Haku]

人肉分割。别笑，我们公司就是这么干的，效果不说有多好，但是起码比机械地按句子标点符号啥的分割要好很多。

一定要程序来分割的话，可以直接交给 AI 然后按照语义分割试试。

[LuffyPro]

谢谢回复，确实，感觉绝大部分 ai 应用还是专用型，专用型一般是特定场景，语义分割时的约束比较好定义，人工分割也简单些，比较适合初期落地。
这是我找到的别人的回复： https://zhuanlan.zhihu.com/p/673906072 ，共勉。
PS:新号 注册 15 天后才能回复😂

[shm7]

按照句子分割，再长的按照分句分割。中英那么多标点符号呢。NLPer 的祖传技能了。

[IanG]

SpacyTextSplitter

[LuffyPro]

谢谢大佬们的回复。
@shm7 主要是想在分割的同时，尽量保留上下文语义关系或者逻辑关系。
@SpacyTextSplitter 效果怎么样？可惜目前仅看到 py 版本。