【RAG】【embeddings19】IBM watsonx.ai

案例概述WatsonxEmbeddings 是 IBM watsonx.ai 嵌入模型的包装器。本示例展示如何使用 LlamaIndex 嵌入 API 与 watsonx.ai 嵌入模型进行通信。技术栈与核心依赖核心库llama-index-embeddings-ibm平台IBM watsonx.ai支持模型ibm/slate-125m-english-rtrvr 等 IBM 基础模型认证方式IBM Cloud API 密钥或 Cloud Pak for Data 凭据环境配置1. 安装依赖!pip install -qU llama-index-embeddings-ibm2. 设置 API 密钥import os from getpass import getpass watsonx_api_key getpass() os.environ[WATSONX_APIKEY] watsonx_api_key3. 设置其他环境变量可选import os os.environ[WATSONX_URL] your service instance url os.environ[WATSONX_TOKEN] your token for accessing the CPD cluster os.environ[WATSONX_PASSWORD] your password for accessing the CPD cluster os.environ[WATSONX_USERNAME] your username for accessing the CPD cluster os.environ[WATSONX_INSTANCE_ID] your instance_id for accessing the CPD cluster案例实现1. 模型参数设置truncate_input_tokens 32. 使用 IBM Cloud 凭据初始化 WatsonxEmbeddingsfrom llama_index.embeddings.ibm import WatsonxEmbeddings watsonx_embedding WatsonxEmbeddings( model_idibm/slate-125m-english-rtrvr, urlhttps://us-south.ml.cloud.ibm.com, project_idPASTE YOUR PROJECT_ID HERE, truncate_input_tokenstruncate_input_tokens, )3. 使用 Cloud Pak for Data 凭据初始化watsonx_embedding WatsonxEmbeddings( model_idibm/slate-125m-english-rtrvr, urlPASTE YOUR URL HERE, usernamePASTE YOUR USERNAME HERE, passwordPASTE YOUR PASSWORD HERE, instance_idopenshift, version4.8, project_idPASTE YOUR PROJECT_ID HERE, truncate_input_tokenstruncate_input_tokens, )4. 嵌入查询query Example query. query_result watsonx_embedding.get_query_embedding(query) print(query_result[:5])5. 嵌入文本列表texts [This is a content of one document, This is another document] doc_result watsonx_embedding.get_text_embedding_batch(texts) print(doc_result[0][:5])案例效果通过 WatsonxEmbeddings 类您可以使用 IBM watsonx.ai 平台上的嵌入模型通过 get_query_embedding 方法获取查询的嵌入向量通过 get_text_embedding_batch 方法批量获取文本的嵌入向量配置截断输入令牌数量等参数示例输出查询嵌入向量前5个值[-0.05538924, 0.05161056, 0.01207759, 0.0017501727, -0.017691258]文档嵌入向量前5个值[0.009447167, -0.024981938, -0.02601326, -0.04048393, -0.05780444]案例实现思路API 封装将 IBM watsonx.ai 的嵌入模型 API 封装为 LlamaIndex 标准接口多种认证方式支持 IBM Cloud API 密钥和 Cloud Pak for Data 两种认证方式参数配置允许用户自定义模型 ID、项目 ID、截断参数等批量处理提供批量处理文本嵌入的功能提高效率扩展建议添加异步支持以提高大规模处理性能实现缓存机制减少重复请求添加更多模型配置选项如温度、最大令牌数等集成更多 IBM watsonx.ai 平台特性如模型微调、部署等总结IBM watsonx.ai 嵌入集成为开发者提供了一个便捷的方式来使用 IBM 云平台上的强大嵌入模型。通过简单的配置您可以快速集成企业级的嵌入功能到您的应用中同时利用 IBM watsonx.ai 平台的安全性、可扩展性和可靠性。该集成特别适合那些已经在使用 IBM 云服务或需要企业级 AI 解决方案的开发者。注意要为 API 调用提供上下文必须传递 project_id 或 space_id。要获取项目或空间 ID请打开您的项目或空间转到管理选项卡然后单击常规。根据您配置的服务实例的区域使用 watsonx.ai API 身份验证中列出的 URL 之一。您可以在 支持的基础模型 中找到所有可用模型的列表。