- 基于 Flink 的实时推荐系统引言 (Foreword/Motivation)传统的推荐系统通常依赖于离线批量处理用户行为数据,每天或每周更新一次推荐结果。然而,用户的兴趣和行为是实时变化的。用户刚刚产生的行为(如点击、浏览、购买)往往是预测其当前兴趣的最有力信号。将这些实时行为数据纳入推荐计算过程,可以显著提高推荐的新鲜度和相关性,为用户提供更及时、更个性化的推荐体验。这就是实时推荐系统... 基于 Flink 的实时推荐系统引言 (Foreword/Motivation)传统的推荐系统通常依赖于离线批量处理用户行为数据,每天或每周更新一次推荐结果。然而,用户的兴趣和行为是实时变化的。用户刚刚产生的行为(如点击、浏览、购买)往往是预测其当前兴趣的最有力信号。将这些实时行为数据纳入推荐计算过程,可以显著提高推荐的新鲜度和相关性,为用户提供更及时、更个性化的推荐体验。这就是实时推荐系统...
- Django 基于 Python 的酒店推荐系统 介绍酒店推荐系统是一种基于用户的偏好和历史行为,为用户提供个性化酒店推荐的系统。通过 Django 框架,我们可以构建一个强大的 Web 应用程序,整合推荐算法,实现智能化的酒店推荐服务。 应用使用场景在线旅游平台:为用户提供个性化的酒店推荐,提升用户体验。企业出行管理:帮助企业员工快速找到符合公司政策的住宿。旅行社系统:提供定制化的旅游行... Django 基于 Python 的酒店推荐系统 介绍酒店推荐系统是一种基于用户的偏好和历史行为,为用户提供个性化酒店推荐的系统。通过 Django 框架,我们可以构建一个强大的 Web 应用程序,整合推荐算法,实现智能化的酒店推荐服务。 应用使用场景在线旅游平台:为用户提供个性化的酒店推荐,提升用户体验。企业出行管理:帮助企业员工快速找到符合公司政策的住宿。旅行社系统:提供定制化的旅游行...
- @[TOC](文章目录)---# 前言推荐系统是现代互联网平台中的重要组成部分,它可以根据用户的兴趣和行为,向其推荐个性化的内容。协同过滤是推荐系统中常用的一种方法,它基于用户的行为数据,通过计算用户之间的相似度,找到相似用户的喜好,从而给用户推荐相似的内容。 # 一、协同过滤算法简介协同过滤是一种基于用户和物品之间关系的推荐算法。它主要分为两类:基于用户的协同过滤(User-Based C... @[TOC](文章目录)---# 前言推荐系统是现代互联网平台中的重要组成部分,它可以根据用户的兴趣和行为,向其推荐个性化的内容。协同过滤是推荐系统中常用的一种方法,它基于用户的行为数据,通过计算用户之间的相似度,找到相似用户的喜好,从而给用户推荐相似的内容。 # 一、协同过滤算法简介协同过滤是一种基于用户和物品之间关系的推荐算法。它主要分为两类:基于用户的协同过滤(User-Based C...
- 在这个信息爆炸的时代,AI驱动的个性化推荐系统应运而生,通过数据收集与处理、构建用户画像、核心算法(协同过滤与基于内容的推荐)及深度学习技术,精准洞察用户需求。它广泛应用于电商、视频平台等领域,提升用户体验和商业效益。尽管面临数据稀疏性、隐私保护等挑战,未来将更加精准、实时并注重用户隐私。 在这个信息爆炸的时代,AI驱动的个性化推荐系统应运而生,通过数据收集与处理、构建用户画像、核心算法(协同过滤与基于内容的推荐)及深度学习技术,精准洞察用户需求。它广泛应用于电商、视频平台等领域,提升用户体验和商业效益。尽管面临数据稀疏性、隐私保护等挑战,未来将更加精准、实时并注重用户隐私。
- 1、概要推荐系统时使用广泛的技术之一,尤其在电商领域中,使用非常频繁。推荐系统涉及多种专业术语和算法。2、数据说明2.1 用户列表所有用户构成的集合,主要是用户id。 例如电影推荐中的所有观影人users.dat数据:uid::性别::年龄::职业::邮编----------------------1::F::1::10::480672::M::56::16::700723::M::25::... 1、概要推荐系统时使用广泛的技术之一,尤其在电商领域中,使用非常频繁。推荐系统涉及多种专业术语和算法。2、数据说明2.1 用户列表所有用户构成的集合,主要是用户id。 例如电影推荐中的所有观影人users.dat数据:uid::性别::年龄::职业::邮编----------------------1::F::1::10::480672::M::56::16::700723::M::25::...
- 第三章 系统设计开发平台随着云计算的不断发现、很多业务已经已经本地机房搬迁到了各种云环境、之前很多需要自己本地构筑的服务、现在已经有很多的SaaS服务。最经典的是Office365的服务、之前很多企业都是自己构筑本地的Exchange服务器。现在更多的选择是使用Office365在线的邮箱服务。机器学习做为新代一技术的代表当然也有很多在线的平台可以使用阿里云机器学习服务 ... 第三章 系统设计开发平台随着云计算的不断发现、很多业务已经已经本地机房搬迁到了各种云环境、之前很多需要自己本地构筑的服务、现在已经有很多的SaaS服务。最经典的是Office365的服务、之前很多企业都是自己构筑本地的Exchange服务器。现在更多的选择是使用Office365在线的邮箱服务。机器学习做为新代一技术的代表当然也有很多在线的平台可以使用阿里云机器学习服务 ...
- 第一章 绪论课题背景现在的互联网环境中计算机技术的不断更新、手机等移动设备不断的更新换代、越来越多的人开始使用互联网(玛丽·米克尔发布了2018年的互联网趋势报告中指出中国的互联网用户数已经达到了8.29亿)、越来越多的功能提供给我们在使用着(中国市场上监测到应用程序上架数量达到449万款)、同时互联网络的数据也越来越多(中国互联接入流量消耗达到711.1亿GB),我们在使用过程发现自己的可... 第一章 绪论课题背景现在的互联网环境中计算机技术的不断更新、手机等移动设备不断的更新换代、越来越多的人开始使用互联网(玛丽·米克尔发布了2018年的互联网趋势报告中指出中国的互联网用户数已经达到了8.29亿)、越来越多的功能提供给我们在使用着(中国市场上监测到应用程序上架数量达到449万款)、同时互联网络的数据也越来越多(中国互联接入流量消耗达到711.1亿GB),我们在使用过程发现自己的可...
- 华为云推荐系统于2018年10月30日 00:00(北京时间) 转商通知 华为云推荐系统于2018年10月30日 00:00(北京时间) 转商通知
- 本文详解昇腾流水线优化技术,涵盖NPU与GPU侧多级流水实现。通过Stage划分、异步调度与计算通信重叠,提升训练吞吐与硬件利用率。NPU基于Rec SDK实现五阶段流水,支持动态换入换出;GPU则利用CUDA Stream构建StagedTrainPipeline,实现高效prefetch与梯度更新协同。 本文详解昇腾流水线优化技术,涵盖NPU与GPU侧多级流水实现。通过Stage划分、异步调度与计算通信重叠,提升训练吞吐与硬件利用率。NPU基于Rec SDK实现五阶段流水,支持动态换入换出;GPU则利用CUDA Stream构建StagedTrainPipeline,实现高效prefetch与梯度更新协同。
- 本文详解推荐系统多级缓存中的准入淘汰策略,涵盖基于访问频次、概率、ShowClick等准入机制,以及基于时间、L2范数、频次等淘汰机制,结合CPU-PS控制流程与NPU执行优化,实现缓存资源高效利用,提升模型训练效率与推荐精度。 本文详解推荐系统多级缓存中的准入淘汰策略,涵盖基于访问频次、概率、ShowClick等准入机制,以及基于时间、L2范数、频次等淘汰机制,结合CPU-PS控制流程与NPU执行优化,实现缓存资源高效利用,提升模型训练效率与推荐精度。
- 单双层架构互补共存:单层追求极致性能,适用于小规模特征;双层突破内存瓶颈,支持大规模扩展。结合动态扩容、准入淘汰与高效查表,实现推荐系统大规模稀疏参数的高效训练与管理。 单双层架构互补共存:单层追求极致性能,适用于小规模特征;双层突破内存瓶颈,支持大规模扩展。结合动态扩容、准入淘汰与高效查表,实现推荐系统大规模稀疏参数的高效训练与管理。
- 嵌入表分片与哈希管理:支撑万亿参数的关键技术 1、 Hash管理及实现如下图所示:在推荐系统中,大部分ID的原始特征都是离散型(global ids),因为其取值空间巨大且稀疏(如用户ID或物品ID可能达到百万甚至亿级别),直接作为输入会导致嵌入表维度爆炸,引发存储和计算瓶颈。常见的做法是需要将离散的ID转为连续的行号(hash indices),从而压缩特征空间,实现高效存储和查询。Ha... 嵌入表分片与哈希管理:支撑万亿参数的关键技术 1、 Hash管理及实现如下图所示:在推荐系统中,大部分ID的原始特征都是离散型(global ids),因为其取值空间巨大且稀疏(如用户ID或物品ID可能达到百万甚至亿级别),直接作为输入会导致嵌入表维度爆炸,引发存储和计算瓶颈。常见的做法是需要将离散的ID转为连续的行号(hash indices),从而压缩特征空间,实现高效存储和查询。Ha...
- 昇腾推荐系统架构解析:嵌入表存储到多级缓存的全链路设计 1. 昇腾 A2 处理器架构与 Embedding 优化策略昇腾 A2 处理器采用独特的达芬奇架构,具备完整的片上多级缓存系统。其缓存体系并非“以 CPU 为中心的多级缓存替代方案”,而是基于自身架构理念设计了高效的多级缓存机制,与 NVIDIA GPU 在缓存策略上存在差异,但具备相当的高效缓存能力。在整体架构上,多个 AI 节点通... 昇腾推荐系统架构解析:嵌入表存储到多级缓存的全链路设计 1. 昇腾 A2 处理器架构与 Embedding 优化策略昇腾 A2 处理器采用独特的达芬奇架构,具备完整的片上多级缓存系统。其缓存体系并非“以 CPU 为中心的多级缓存替代方案”,而是基于自身架构理念设计了高效的多级缓存机制,与 NVIDIA GPU 在缓存策略上存在差异,但具备相当的高效缓存能力。在整体架构上,多个 AI 节点通...
- 1、问题与挑战推荐系统中的用户(User)、物品(Item)及上下文(Context)特征具有高度异构性,其物理含义和量纲差异显著。为将这些特征有效引入深度神经网络(DNN),须通过Embedding技术将其映射为统一的低维稠密向量表示,从而解决特征间的语义鸿沟并提升模型泛化能力。为提升推荐系统的整体推荐效果,满足用户个性化推荐的需求,加速互联网电商企业快速变现。如下图所示:近10年来推荐... 1、问题与挑战推荐系统中的用户(User)、物品(Item)及上下文(Context)特征具有高度异构性,其物理含义和量纲差异显著。为将这些特征有效引入深度神经网络(DNN),须通过Embedding技术将其映射为统一的低维稠密向量表示,从而解决特征间的语义鸿沟并提升模型泛化能力。为提升推荐系统的整体推荐效果,满足用户个性化推荐的需求,加速互联网电商企业快速变现。如下图所示:近10年来推荐...
- 文章目录 一、回顾word2vec中的负采样1.1 滑动窗口1.2 目标函数1.3 预测函数 二、word2vec中的负采样实现三、推荐系统中召回相关基础3.1 召回中的三种训练方式(1)Po... 文章目录 一、回顾word2vec中的负采样1.1 滑动窗口1.2 目标函数1.3 预测函数 二、word2vec中的负采样实现三、推荐系统中召回相关基础3.1 召回中的三种训练方式(1)Po...
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中
热门标签