com.huaweicloud.pangu.dev.sdk.documentloader.splitter

Class TextSplitter

java.lang.Object

com.huaweicloud.pangu.dev.sdk.documentloader.splitter.TextSplitter

public class TextSplitter
extends Object

文本切割

Since:

2023.7.24

Constructor Summary

Constructors

Constructor and Description
TextSplitter()

Method Summary

Modifier and Type	Method and Description
static List<String>	splitByChars(String doc, String separatorChars) 将输入的文本进行切割
static List<String>	splitByChars(String doc, String separatorChars, int maxChunkSize) 将输入的文本进行切割
static List<String>	splitByChars(String doc, String separatorChars, int maxChunkSize, int chunkOverlap) 将输入的文本按照1个或多个字符进行切割
static List<String>	splitByString(String doc, String separator) 将输入的文本按照一个字符串进行切割
static List<String>	splitByString(String doc, String separator, int maxChunkSize) 将输入的文本按照一个字符串进行切割
static List<String>	splitByString(String doc, String separator, int maxChunkSize, int chunkOverlap) 将输入的文本按照一个字符串进行切割

Methods inherited from class java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

Constructor Detail

TextSplitter

public TextSplitter()

Method Detail

splitByChars

public static List<String> splitByChars(String doc,
                                        String separatorChars,
                                        int maxChunkSize,
                                        int chunkOverlap)

将输入的文本按照1个或多个字符进行切割

Parameters:

doc - 输入的文本

separatorChars - 切割使用的分隔符，支持按多个字符分割，例如",;"表示按照","或";"分割

maxChunkSize - 每个切割后的文本的大小（字符数量），0表示使用最小切割长度

chunkOverlap - 每个切割后的文本重叠长度，0表示不重叠

Returns:

切割后的文本

splitByString

public static List<String> splitByString(String doc,
                                         String separator,
                                         int maxChunkSize,
                                         int chunkOverlap)

将输入的文本按照一个字符串进行切割

Parameters:

doc - 输入的文本

separator - 切割使用的字符串

maxChunkSize - 每个切割后的文本的大小（字符数量），0表示使用最小切割长度

chunkOverlap - 每个切割后的文本重叠长度，0表示不重叠

Returns:

切割后的文本

splitByChars

public static List<String> splitByChars(String doc,
                                        String separatorChars,
                                        int maxChunkSize)

将输入的文本进行切割

Parameters:

doc - 输入的文本

separatorChars - 切割使用的分隔符

maxChunkSize - 每个切割后的文本的大小（字符数量），0表示使用最小切割长度

Returns:

切割后的文本

splitByChars

public static List<String> splitByChars(String doc,
                                        String separatorChars)

将输入的文本进行切割

Parameters:

doc - 输入的文本

separatorChars - 切割使用的分隔符

Returns:

切割后的文本

splitByString

public static List<String> splitByString(String doc,
                                         String separator,
                                         int maxChunkSize)

将输入的文本按照一个字符串进行切割

Parameters:

doc - 输入的文本

separator - 切割使用的字符串

maxChunkSize - 每个切割后的文本的大小（字符数量），0表示使用最小切割长度

Returns:

切割后的文本

splitByString

public static List<String> splitByString(String doc,
                                         String separator)

将输入的文本按照一个字符串进行切割

Parameters:

doc - 输入的文本

separator - 切割使用的字符串

Returns:

切割后的文本