pangukitsappdev.embeddings package¶

Submodules¶

pangukitsappdev.embeddings.openai module¶

class pangukitsappdev.embeddings.openai.OpenAIEmbeddingApi(embedding_config: EmbeddingConfig)¶

基类：AbstractEmbeddingApi

create_embeddings(embedding_config: EmbeddingConfig) → Embeddings¶: 创建embeddings的实现类 :param embedding_config: 配置 :return: embeddings的实现类

pangukitsappdev.embeddings.pangu module¶

class pangukitsappdev.embeddings.pangu.CSSEmbeddingApi(embedding_config: EmbeddingConfig)¶

基类：AbstractEmbeddingApi

CSS的Embedding API，支持embed_qa_documents

create_embeddings(embedding_config: EmbeddingConfig) → Embeddings¶: 创建embeddings的实现类 :param embedding_config: 配置 :return: embeddings的实现类

embed_qa_documents(doc_texts: List[Dict[str, str]], weight: Dict[str, int]) → List[List[float]]¶: 支持对一份数据的不同文本分权重进行Embedding :param doc_texts: 批量索引的文本 :param weight: 权重，key值和doc_text的元素中的key值一致 :return: embedding结果

embed_split_documents(doc_texts: List, weight: Dict[str, int]) → List[List[float]]¶

class pangukitsappdev.embeddings.pangu.WeightPanguEmbeddings(*, url: str, token_provider: IAMTokenProvider, proxies: dict = {})¶

基类：Embeddings, BaseModel

支持文本拆分，不同部分使用不同的权重做Embedding

class Config¶

基类：object

Configuration for this pydantic object.

arbitrary_types_allowed = True¶

extra = 'ignore'¶

auth_headers() → dict¶

embed_documents(texts: List[str]) → List[List[float]]¶

批量对文本做Embedding 一般用在构造向量数据库的时候批量进行文档Embedding

参数: texts – 文档数据
返回: list[list[float]] 以二维数组格式返回的向量数据
返回类型: list[list[float]]

embed_qa_documents(doc_texts: List[Dict[str, str]], weight: Dict[str, int]) → List[List[float]]¶

embed_query(text: str) → List[float]¶

对query词做Embedding

检索时对查询词做Embedding

参数: text – 查询词
返回: List[float] 向量数据
返回类型: List[float]

embed_split_documents(documents: List, weight: Dict[str, int]) → List[List[float]]¶: 根据weight指定需要embedding的字段及其权重 :param documents: 文档列表 :param weight: 字段权重 :return:

proxies: dict¶

token_provider: IAMTokenProvider¶

url: str¶

pangukitsappdev.embeddings.pangu.json_doc_map(text: str, encoding: str = 'utf8') → Dict[str, str]¶

pangukitsappdev.embeddings.tool module¶

class pangukitsappdev.embeddings.tool.ToolEmbeddingApi(embedding_config: EmbeddingConfig)¶

基类：AbstractEmbeddingApi

create_embeddings(embedding_config: EmbeddingConfig) → Embeddings¶: 创建embeddings的实现类 :param embedding_config: 配置 :return: embeddings的实现类

class pangukitsappdev.embeddings.tool.ToolEmbeddings(*, embedding_config: EmbeddingConfig)¶

基类：Embeddings, BaseModel

create_embedding(texts: List[str]) → List[List[float]]¶

embed_documents(texts: List[str]) → List[List[float]]¶: Embed search docs.

embed_query(text: str) → List[float]¶

对query词做Embedding

检索时对查询词做Embedding

参数: text – 查询词
返回: List[float] 向量数据
返回类型: List[float]

embedding_config: EmbeddingConfig¶

pangukitsappdev.embeddings package¶

Submodules¶

pangukitsappdev.embeddings.openai module¶

pangukitsappdev.embeddings.pangu module¶

pangukitsappdev.embeddings.tool module¶

Module contents¶