做兼职的设计网站有哪些工作内容,wordpress表格美化,邯郸市地图高清版最新,手工制作过程嵌入嵌入#xff08;Embedding#xff09;可以将文本转换为向量表示#xff0c;从而实现文本的语义分析和相似度计算简单来说#xff0c;就是给每个文本分配一个数字身份证#xff0c;相似的文本会有相似的身份证号码应用场景日常我们接触到的实际…嵌入嵌入Embedding可以将文本转换为向量表示从而实现文本的语义分析和相似度计算简单来说就是给每个文本分配一个数字身份证相似的文本会有相似的身份证号码应用场景日常我们接触到的实际的场景应用比如智能搜索比如在文档库中查找与查询语义相关的内容而不仅仅是关键词匹配问答系统找到与用户问题最相关的文档片段作为答案依据推荐系统根据用户兴趣向量推荐相关内容代码实现示例提供了两个例子一个是文本对比一个是文本搜索from langchain_huggingface import HuggingFaceEmbeddings from sklearn.metrics.pairwise import cosine_similarity import numpy as np import os # 示例 1: 使用 HuggingFace 嵌入模型无需 API 密钥 def use_huggingface_embeddings(): 使用 HuggingFace 提供的预训练模型生成嵌入 print(\n 使用 HuggingFace 嵌入模型 ) # 创建嵌入模型实例 embeddings HuggingFaceEmbeddings(model_nameall-MiniLM-L6-v2) # 示例文本 texts [ 猫是一种常见的家养宠物, 狗是人类最好的朋友, 大象是陆地上最大的动物, 家养宠物中猫特别普遍 ] # 生成嵌入向量 print(生成文本嵌入向量...) vectors embeddings.embed_documents(texts) # 查看嵌入向量的维度 print(f嵌入向量维度: {len(vectors[0])}) # 计算文本之间的相似度 print(\n计算文本之间的相似度:) similarity_matrix cosine_similarity(vectors) for i, text1 in enumerate(texts): for j, text2 in enumerate(texts): if i j: # 避免重复计算 similarity similarity_matrix[i][j] print(f{text1} 与 {text2} 的相似度: {similarity:.4f}) # 示例 2: 文本搜索功能 def text_search_demo(): 使用嵌入实现简单的文本搜索功能 print(\n 文本搜索功能演示 ) # 创建嵌入模型实例 embeddings HuggingFaceEmbeddings(model_nameall-MiniLM-L6-v2) # 文档集合 documents [ Python 是一种广泛使用的高级编程语言, LangChain 是一个用于构建 LLM 应用的框架, 机器学习是人工智能的一个分支, 深度学习是机器学习的一个子领域, 数据科学涉及数据的分析和可视化 ] # 生成文档嵌入 doc_vectors embeddings.embed_documents(documents) # 用户查询 query 什么是 LangChain print(f\n查询: {query}) # 生成查询嵌入 query_vector embeddings.embed_query(query) # 计算查询与每个文档的相似度 similarities cosine_similarity([query_vector], doc_vectors)[0] # 按相似度排序 sorted_indices np.argsort(similarities)[::-1] # 显示搜索结果 print(\n搜索结果按相似度排序:) for i, idx in enumerate(sorted_indices): print(f{i1}. 相似度: {similarities[idx]:.4f} - {documents[idx]}) # 运行示例 if __name__ __main__: print(LangChain 嵌入示例) print( * 50) # 运行 HuggingFace 嵌入示例 use_huggingface_embeddings() # 运行文本搜索示例 text_search_demo() print(\n示例运行完成)运行结果如下HuggingFaceEmbeddings 类来源langchain-huggingface 包中的类功能封装了 HuggingFace 的预训练嵌入模型提供统一的接口用于文本向量化主要方法embed_documents(texts)批量为多个文本生成嵌入向量embed_query(text)为单个查询文本生成嵌入向量all-MiniLM-L6-v2 模型轻量级基于 MiniLM 架构BERT 的轻量级版本模型大小约 80MB适合在资源受限环境中使用多语言支持支持多种语言的文本嵌入性能平衡在速度和嵌入质量之间取得了良好平衡虽然比大型模型如 BERT-base小但在大多数任务上表现接近适用场景文本相似度计算语义搜索文本分类聚类分析相关依赖安装pip install langchain-huggingface sentence-transformers scikit-learn numpy欢迎留言交流如果觉得有帮助可以点个赞支持一下学习资源推荐如果你想更深入地学习大模型以下是一些非常有价值的学习资源这些资源将帮助你从不同角度学习大模型提升你的实践能力。一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能​因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示​因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。