- 昨天完成python依赖包的安装：（在hadoop各几点安装miniconda2），没注意到hadoop的环境情况，今天发现使用jps除了mas节点的2台云主机可以查看hadoop状态，其他stan无显示，但是可以在hbase插入数据，而且通过hive和spark可以查询。使用spark-sql --master yarn 查询数据正常，查看任务调用也正常Hbase的监控任务也正常：关闭hb... 昨天完成python依赖包的安装：（在hadoop各几点安装miniconda2），没注意到hadoop的环境情况，今天发现使用jps除了mas节点的2台云主机可以查看hadoop状态，其他stan无显示，但是可以在hbase插入数据，而且通过hive和spark可以查询。使用spark-sql --master yarn 查询数据正常，查看任务调用也正常Hbase的监控任务也正常：关闭hb...
- 本文总结了基于embedding方法的各个类别的推荐系统。 本文总结了基于embedding方法的各个类别的推荐系统。
- 之前有在笔记本上安装hadoop，配置如下： 测试过同时运行6台虚拟机（2C4G）没有问题，但是如果运行pycharm，没过多久肯定会有一台虚拟机会挂掉。所以只能运行一个pycharm和5台虚拟机。 之前安装没有搭建k8s，只安装docker，为了便于管理docker，使用docker-compose，并在mas5虚拟机里使用docker-compose安装zabbix。doc... 之前有在笔记本上安装hadoop，配置如下： 测试过同时运行6台虚拟机（2C4G）没有问题，但是如果运行pycharm，没过多久肯定会有一台虚拟机会挂掉。所以只能运行一个pycharm和5台虚拟机。 之前安装没有搭建k8s，只安装docker，为了便于管理docker，使用docker-compose，并在mas5虚拟机里使用docker-compose安装zabbix。doc...
- 今天华为云服务器到期，已经做释放，原本想做文章推荐。但是因某种原因，目前暂时只做到离线文章画像。后期只能使用笔记本电脑来做。电脑配置cpu为4核8线程，内存32G，只能够开5台虚拟机和PyCharm。刚好能搭建一套高可用hadoop集群。虽然这次没完成，但还是使用很多软件，例如：1. 1.sible部署——2.docker——3. Keepalived——4. Proxy... 今天华为云服务器到期，已经做释放，原本想做文章推荐。但是因某种原因，目前暂时只做到离线文章画像。后期只能使用笔记本电脑来做。电脑配置cpu为4核8线程，内存32G，只能够开5台虚拟机和PyCharm。刚好能搭建一套高可用hadoop集群。虽然这次没完成，但还是使用很多软件，例如：1. 1.sible部署——2.docker——3. Keepalived——4. Proxy...
- 1. 采用的是Python黑马头条推荐系统项目这个案例，选择它是用python完成。相关视频可以哔哩哔哩上找到。新建文章数据库，存储文章数据、中间计算结果以及文章画像结果 2. 以为资源配置高，想把25个频道循环分频道做文章画像。因为pyspark下把变量传递到sql语句里，使用$是不行... 1. 采用的是Python黑马头条推荐系统项目这个案例，选择它是用python完成。相关视频可以哔哩哔哩上找到。新建文章数据库，存储文章数据、中间计算结果以及文章画像结果 2. 以为资源配置高，想把25个频道循环分频道做文章画像。因为pyspark下把变量传递到sql语句里，使用$是不行...
- 1. 测试supervisorctl能否正常运行collect_click.sh脚本1. 上传数据到/user/hive/warehouse//opt/modules/hadoop/bin/hdfs dfs -put /opt/datas/backup/toutiao.db /user/hive/warehouse//opt/modules/hadoop/bin/hd... 1. 测试supervisorctl能否正常运行collect_click.sh脚本1. 上传数据到/user/hive/warehouse//opt/modules/hadoop/bin/hdfs dfs -put /opt/datas/backup/toutiao.db /user/hive/warehouse//opt/modules/hadoop/bin/hd...
- 1. 用户日志如何收集，配置flume，通过flume将业务数据服务器mas1的日志收集到hadoop服务器hdfs的hive中。通过向userClick.log数据进行测试安装Supervisor，出现无法在线安装。使用离线。先下载下来，再安装。启动脚本：2. 配置kafka 参照https://www.cnblogs.com/Dev0ps/p/11259324.h... 1. 用户日志如何收集，配置flume，通过flume将业务数据服务器mas1的日志收集到hadoop服务器hdfs的hive中。通过向userClick.log数据进行测试安装Supervisor，出现无法在线安装。使用离线。先下载下来，再安装。启动脚本：2. 配置kafka 参照https://www.cnblogs.com/Dev0ps/p/11259324.h...
- 1.虽然提供的数据不需要使用sqoop来倒入到hive，但还是根据案例部署sqoop.启动sqoop出现上面情况，解决方法如下：方法一：方法二：https://wenda.chinahadoop.cn/question/2121 (本人没测试过)修改$SQOOP_HOME/bin/configure-sqoop注释掉HCatalog，Accumulo检查$HCAT_HOME$ACCUMUL... 1.虽然提供的数据不需要使用sqoop来倒入到hive，但还是根据案例部署sqoop.启动sqoop出现上面情况，解决方法如下：方法一：方法二：https://wenda.chinahadoop.cn/question/2121 (本人没测试过)修改$SQOOP_HOME/bin/configure-sqoop注释掉HCatalog，Accumulo检查$HCAT_HOME$ACCUMUL...
- 在RES推荐系统的数据源接入中，支持接入实时行为数据，同时基于实时行为可以完成近线召回，画像更新等实时策略，完成信息流实时传递、召回、画像快速更新等功能 在RES推荐系统的数据源接入中，支持接入实时行为数据，同时基于实时行为可以完成近线召回，画像更新等实时策略，完成信息流实时传递、召回、画像快速更新等功能
- 在RES推荐系统的数据源接入中，支持接入实时行为数据，同时基于实时行为可以完成近线召回，画像更新等实时策略，完成信息流实时传递、召回、画像快速更新等功能 在RES推荐系统的数据源接入中，支持接入实时行为数据，同时基于实时行为可以完成近线召回，画像更新等实时策略，完成信息流实时传递、召回、画像快速更新等功能
推荐直播
-
崇本英才·智汇吴江·无人车挑战赛赛前培训2022/08/12 周五 19:00-21:00
无人车领域大咖
本次直播主要介绍初赛总结&开发者认证宣讲、决赛赛题介绍&决赛赛前备赛培训、往届优胜队伍经验分享。
回顾中 -
华为云杯“少年开发者”空中课堂 —— 体验人工智能2022/08/13 周六 14:00-15:00
刘烨 上海市高中通用技术学科中心组成员/复旦大学附属中学通用技术教师
华为云杯“少年开发者”空中课堂，特邀复旦附中讲师，助力初中阶段参赛选手在本次大赛中取得优异成绩！
回顾中 -
如何基于华为云开天aPaaS实现积木式应用创新2022/08/15 周一 19:00-21:00
包老师/梁老师
华为云开天aPaaS提供面向行业开发和使用的业务能力积木组装平台，简单几步实现应用创新，本次直播将解读aPaaS赛题，演示API->连接器->自动化流的过程和两个工业应用间的数据集成操作。
即将直播
热门标签