主办方要求要对所有测试集进行预测,不能直接不预测输出个 1,我认为这是很合理的。但是如何界定“预测了所有测试集”呢?有无明确的 true or false 的判断标准?
举几个例子:
我训练了一个有毛病的神经网络,无论给什么输入,输出都是 1,用这个神经网络来预测合不合规?
我使用机器学习模型(比如 LR)求得了一个系数向量,但我故意把这个向量中的一些项设为 inf,再用这个向量点乘数据集,导致所有的预测结果都是 1,这个预测方法合不合规?
对于一组数据,设其数据维数为 x,我输出 mu(x)+1(其中 mu(x) 是莫比乌斯函数,mu(1000) = 0),这个预测方法合不合规?
对于一组数据,我判断其第一维的大小,如果 <=1 就输出 1,否则输出 0,这个预测方法合不合规?
对于一组数据,我判断其前十维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?
对于一组数据,我判断其前一百维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?
对于一组数据,我判断其前九百九十九维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?
对于一组数据,我判断其所有维的大小,如果都 <=1 就输出 1,否则输出 0,这个预测方法合不合规?
根据现有的信息,上述例子是否合规难以判断,希望主办方可以将规则细化一下。


训练的目的是观测训练集规律,抽象成知识(即模型,比如一组权重+线性点乘计算方式)
预测是要用训练出的模型,对预测数据集中的数据进行计算,根据计算结果,预测类别。
我们禁止的行为是:
对测试集的一部分不进行预测计算,直接硬编码为1或者是0。
针对问题来说:
例子1:这个说明你训练的神经网络有毛病。但是流程是合法的。但是这样的答案评分系统不会给分,因为正确率太低
例子2:流程合法,但是这样的答案评分系统不会给分,因为正确率太低
例子3:流程合法
例子4、5、6、7、8、9:流程合法,但是因为我们的训练集对选手是保密的,这种硬凑的方式够上评分标准的概率很低
ddd2020
2020-3-17 14:57
ddd2020
2020-3-17 14:59
膜拜ddd
膜拜大佬
膜拜ddd