建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
温馨提示

抱歉,您需设置社区昵称后才能参与社区互动!

前往修改
我再想想

2020华为软件精英挑战赛

话题 : 430 成员 : 6437

加入HCSD

对“预测所有测试集”的疑问

ddd2020 2020/3/17 1775

主办方要求要对所有测试集进行预测,不能直接不预测输出个 1,我认为这是很合理的。但是如何界定“预测了所有测试集”呢?有无明确的 true or false 的判断标准?


举几个例子:


  1. 我训练了一个有毛病的神经网络,无论给什么输入,输出都是 1,用这个神经网络来预测合不合规?

  2. 我使用机器学习模型(比如 LR)求得了一个系数向量,但我故意把这个向量中的一些项设为 inf,再用这个向量点乘数据集,导致所有的预测结果都是 1,这个预测方法合不合规?

  3. 对于一组数据,设其数据维数为 x,我输出 mu(x)+1(其中 mu(x) 是莫比乌斯函数,mu(1000) = 0),这个预测方法合不合规?

  4. 对于一组数据,我判断其第一维的大小,如果 <=1 就输出 1,否则输出 0,这个预测方法合不合规?

  5. 对于一组数据,我判断其前十维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?

  6. 对于一组数据,我判断其前一百维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?

  7. 对于一组数据,我判断其前九百九十九维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?

  8. 对于一组数据,我判断其所有维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?


根据现有的信息,上述例子是否合规难以判断,希望主办方可以将规则细化一下。


回复 (4)

2020/3/17 14:17

训练的目的是观测训练集规律,抽象成知识(即模型,比如一组权重+线性点乘计算方式)
预测是要用训练出的模型,对预测数据集中的数据进行计算,根据计算结果,预测类别。
我们禁止的行为是:
对测试集的一部分不进行预测计算,直接硬编码为1或者是0。

针对问题来说:
例子1:这个说明你训练的神经网络有毛病。但是流程是合法的。但是这样的答案评分系统不会给分,因为正确率太低
例子2:流程合法,但是这样的答案评分系统不会给分,因为正确率太低
例子3:流程合法
例子4、5、6、7、8、9:流程合法,但是因为我们的训练集对选手是保密的,这种硬凑的方式够上评分标准的概率很低

ddd2020

2020-3-17 14:57

谢谢回复! 我可不可以理解为:只要我对于训练集的每一条数据,都进行了处理(不一定对所有维度全部处理,哪怕只处理了第一个维度),我的做法就是合法的?
... 展开

ddd2020

2020-3-17 14:59

评论 ddd2020:十分抱歉,上一条评论中“训练集”应为“测试集”,打错字了。
... 展开
chuize
0 0
2020/3/17 19:33

膜拜ddd

2020/3/17 23:30

膜拜大佬


sylxjtu
0 0
2020/3/19 17:34

膜拜ddd


上划加载中
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

ddd2020

角色:成员

话题:5

发消息
发表于2020年03月17日 09:06:30 17754
直达本楼层的链接
楼主
倒序浏览 只看该作者
[热身赛问题咨询] 对“预测所有测试集”的疑问

主办方要求要对所有测试集进行预测,不能直接不预测输出个 1,我认为这是很合理的。但是如何界定“预测了所有测试集”呢?有无明确的 true or false 的判断标准?


举几个例子:


  1. 我训练了一个有毛病的神经网络,无论给什么输入,输出都是 1,用这个神经网络来预测合不合规?

  2. 我使用机器学习模型(比如 LR)求得了一个系数向量,但我故意把这个向量中的一些项设为 inf,再用这个向量点乘数据集,导致所有的预测结果都是 1,这个预测方法合不合规?

  3. 对于一组数据,设其数据维数为 x,我输出 mu(x)+1(其中 mu(x) 是莫比乌斯函数,mu(1000) = 0),这个预测方法合不合规?

  4. 对于一组数据,我判断其第一维的大小,如果 <=1 就输出 1,否则输出 0,这个预测方法合不合规?

  5. 对于一组数据,我判断其前十维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?

  6. 对于一组数据,我判断其前一百维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?

  7. 对于一组数据,我判断其前九百九十九维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?

  8. 对于一组数据,我判断其所有维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?


根据现有的信息,上述例子是否合规难以判断,希望主办方可以将规则细化一下。


点赞 举报
分享

分享文章到朋友圈

分享文章到微博

xlx@大赛答疑

角色:导师

话题:0

发消息
发表于2020年03月17日 14:17:13
直达本楼层的链接
沙发
只看该作者

训练的目的是观测训练集规律,抽象成知识(即模型,比如一组权重+线性点乘计算方式)
预测是要用训练出的模型,对预测数据集中的数据进行计算,根据计算结果,预测类别。
我们禁止的行为是:
对测试集的一部分不进行预测计算,直接硬编码为1或者是0。

针对问题来说:
例子1:这个说明你训练的神经网络有毛病。但是流程是合法的。但是这样的答案评分系统不会给分,因为正确率太低
例子2:流程合法,但是这样的答案评分系统不会给分,因为正确率太低
例子3:流程合法
例子4、5、6、7、8、9:流程合法,但是因为我们的训练集对选手是保密的,这种硬凑的方式够上评分标准的概率很低

评论
ddd2020 2020-3-17 14:57 评论

谢谢回复! 我可不可以理解为:只要我对于训练集的每一条数据,都进行了处理(不一定对所有维度全部处理,哪怕只处理了第一个维度),我的做法就是合法的?

... 查看全部
ddd2020 2020-3-17 14:59 评论

评论 ddd2020:十分抱歉,上一条评论中“训练集”应为“测试集”,打错字了。

... 查看全部
点赞 评论 引用 举报

chuize

角色:成员

话题:5

发消息
发表于2020年03月17日 19:33:10
直达本楼层的链接
板凳
只看该作者

膜拜ddd

点赞 评论 引用 举报

da_lao_men_NB

角色:成员

话题:0

发消息
发表于2020年03月17日 23:30:48
直达本楼层的链接
地板
只看该作者

膜拜大佬


点赞 评论 引用 举报

sylxjtu

角色:成员

话题:0

发消息
发表于2020年03月19日 17:34:05
直达本楼层的链接
5#
只看该作者

膜拜ddd


点赞 评论 引用 举报

游客

您需要登录后才可以回帖 登录 | 立即注册