摸鱼 学途 Rules & Tips
1. 遵守中国大陆相关法律法规
2. 反对成功学和贩卖焦虑
3. 推崇求真的治学态度和经验

话说有大佬学过 CS231n 吗? 刚开始看,有点疑问请教

查看: 2479|回复: 23
萌新 发表于 2022-4-17 22:03:06
话说有大佬学过 CS231n 吗? 刚开始看,有点疑问,想要和大佬们交流一下。不知道有无路过大佬解答一下呢?

问题1:如何理解这两个图形呢?为什么是这样显示啊呀?

cs231n_2017_lecture2_页面_31.jpg


问题2:什么是K-最近邻分类器?它与交叉验证的区别在哪里呢?以及这样分类的时候,validation与test数据集的区别到底是什么呢?

cs231n_2017_lecture2_页面_41.jpg


问题3:弹幕里有人说k近邻法是对特征空间进行划分,没太理解,有大佬知道什么意思吗?

cs231n_2017_lecture2_页面_44.jpg


问题4:为什么生成的参数最后还原出来的物体的外形(从肉眼看的话,而不是相反色呢?有没有其他角度的解释?)仅仅从直观角度来看感觉无法理解这些参数会呈现这个结果

cs231n_2017_lecture2_页面_57.jpg


问题5:这里3张图是什么意思呢?感觉无法理解
cs231n_2017_lecture2_页面_59.jpg
 楼主| 萌新 发表于 2022-4-21 02:01:43
windyer 发表于 2022-4-18 01:02
问题一:如何理解这两个图形呢?为什么是这样显示啊呀?

对于L1 distance,他的几何定义是两点之间线段投影 ...

问题二:
1、通过学习,大概理解了一些,KNN的判断流程是否可以看做这样呢:
针对需要判断的x点,通过计算获取周围最近的k个点,然后判断这k个点内哪个标签的数量占比最高,那么x点的标签就是这个
1.1但是有些小问题:如何选择一个好的k呢?
1.1.1按照https://learn.g2.com/k-nearest-neighbor 的说法,最好选择一个奇数(避免投票相同),
1.1.2还有个方法是取 sqrt (n) ,但是感觉不太能理解,如果这个数很大,那么计算的k的数量就太多了;
此外,参考https://blog.csdn.net/qq_30815237/article/details/86570706 他们建议k通常不大于20,反推出样本数量不超过400,但是这个400个样本数量是不是太少了。而且,cs231n里面的一般都是3-5之间,如果这是按照开平方根的方式算出来的样本数量是不是太少了?
→这个利用sqrt (n) 的方式确定k的值最好是在n的值在什么区间的时候建议使用呢?
2、参考https://blog.csdn.net/qq_30815237/article/details/86570706  了解到K-means k均值聚类,这两个看起来好像差不多,不知道这两个的具体区别在哪里呢?
而且按照这个说的来看,https://towardsdatascience.com/k-nearest-neighbors-knn-how-to-make-quality-predictions-with-supervised-learning-d5d2f326c3c2?gi=e7d5a78220dd 里的例子看起来更像是k均值聚类?  如果选择加权求均值的话还算KNN,或者是K-means?
3、参考https://learn.g2.com/k-nearest-neighbor 这里还提出了维度灾难,那么这里的KNN通常适用于二维吗?如何降维呢?无法适用于高纬度的主要原因是什么呢?(是计算时间增加了的原因嘛?)

交叉验证的区别还没看完,明天再学习一下
Dus 发表于 2022-4-17 22:49:26
SURF-
阁下是在做课后练习题吗?
还是在研究机器学习与深度学习分类与监督?
 楼主| 萌新 发表于 2022-4-17 22:57:47
Dus 发表于 2022-4-17 22:49
SURF-
阁下是在做课后练习题吗?
还是在研究机器学习与深度学习分类与监督? ...

恩就是在看一个课程,不是课后练习题啦
不过可能是理解能力有所欠缺,虽然Justin很认真的讲了,但是我还是没听懂
Dus 发表于 2022-4-17 23:39:18
萌新 发表于 2022-4-17 22:57
恩就是在看一个课程,不是课后练习题啦
不过可能是理解能力有所欠缺,虽然Justin很认真的讲了,但是我还 ...

SURF-
问题一,是一个二元图像函数的问题。
你把未知量用xy代替,画出它的函数图像。
Dus 发表于 2022-4-17 23:53:39
SURF-
简单讲来着,构造或使用模型需要有数据支持(va……),同时还需要检测数据(test),及拟合程度,
不论是分类,或者是监督或者是无监督或者是办监督的机器或深度学习状态下。

在数据相对有限的情况下,
1,会从数据中选择大部头作为固定值来支持模拟数据,再把余下的量用来测试,看看是否能够比较好的拟合。
(举例:在一个班级中,选择几组同学水平作为出试卷标准,然后拿给剩下的人做看看考得怎么样;
是否和前面的那几组同学做的差不多,如果效果差不多或者更好,就说明这个卷子的有效程度就高;
如果考得高,那么就可以作为整个学校的试卷进行发布,也就是所谓的测试通过拟合通过)
2,或者将选择数据群几个完整的数据条,将余下的一两条作为测试条后,再轮换重复几次知道稳态。
(举例:在一个学校中选择几个班级,选择他们的水平作为出圈标准,然后将这份试卷给余下的班级进行考核;
看看其他班级的考核水平是否和之前的这个相近或者说更好,这样就可以测出整个学校的这个情况;
如果效度较好,那么就可以作为整个学校的推广,也就是test通过)
Dus 发表于 2022-4-17 23:54:18
SURF-
简单讲来着,构造或使用模型需要有数据支持(va……),同时还需要检测数据(test),及拟合程度,
不论是分类,或者是监督或者是无监督或者是办监督的机器或深度学习状态下。

在数据相对有限的情况下,
1,会从数据中选择大部头作为固定值来支持模拟数据,再把余下的量用来测试,看看是否能够比较好的拟合。
(举例:在一个班级中,选择几组同学水平作为出试卷标准,然后拿给剩下的人做看看考得怎么样;
是否和前面的那几组同学做的差不多,如果效果差不多或者更好,就说明这个卷子的有效程度就高;
如果考得高,那么就可以作为整个学校的试卷进行发布,也就是所谓的测试通过拟合通过)
2,或者将选择数据群几个完整的数据条,将余下的一两条作为测试条后,再轮换重复几次知道稳态。
(举例:在一个学校中选择几个班级,选择他们的水平作为出卷标准,然后将这份试卷给余下的班级进行考核;
看看其他班级的考核水平是否和之前的这个相近或者说更好,这样就可以测出整个学校的这个情况;
如果效度较好,那么就可以作为整个学校的推广,也就是test通过)
Dus 发表于 2022-4-17 23:58:11
SURF-
至于K值分类,
你可以简单的把它考虑成,矩阵的形式。
比如绿色的为0,蓝色的为1。那么相对的他的四色划分就构成了一个4维向量。它整体的划分就构成了一个矩阵。接下来的处理办法就是用高等代数或者线性代数的思维方式去求解它的特征向量和特征值。找到他比较合适的或者符合她特征的量,来拟整体
Dus 发表于 2022-4-18 00:05:18
SURF-
这是线性代数的某些公开课,你可以参考一下。https://m.open.163.com/mobile/fr ... M&mid=M6V2BA04Q
同时第9讲他还讲了生成空间的概念,还举了相关的线性的例子,你可以查看。

Dus 发表于 2022-4-18 00:09:32
SURF-
然后他后面还给出了三个比较难的分类,希望你找出它的线性分类。

至于分类的概念,举个例子,要把-1,3,4,5分开。它有几种有效的分类呢:
1,首先你可以考虑正负性,把X>0和X=0和X小于0,作为分界线。
2,或可以考虑奇偶性。奇数和偶数的数字分开。
等等,还有很多其他的分类方法。那么多元多维的也可以照这个方法继续生成。
Dus 发表于 2022-4-18 00:13:19
SURF-
这个课程你可以先建立一个大框架,有整体的概念后,再将一部分的数学概念温习一下,尤其是高等代数或者线性代数和一部分的数学分析、高等数学知识。
或许相得益彰。

这样,把握了一些数学上的处理逻辑以及计算思维,代码或模型成果就更容易写出或展示出。
Dus 发表于 2022-4-18 02:22:47
windyer 发表于 2022-4-18 01:02
问题一:如何理解这两个图形呢?为什么是这样显示啊呀?
对于L1 distance,他的几何定义是两点之间线段投影 ...

SURF-
谢谢你提供的参考数据和书面文意。
谢谢你补充观点。
Dus 发表于 2022-4-18 08:48:09
windyer 发表于 2022-4-18 04:26
思考问题了,就是很难入睡。再学点再回一点。
首先对问题2的做点补充:k-nearst neighbours除了做一个分类 ...

SURF-
谢谢你针对每个问题的回复。
Dus 发表于 2022-4-19 00:05:38
windyer 发表于 2022-4-18 04:26
思考问题了,就是很难入睡。再学点再回一点。

首先对问题2的做点补充:k-nearst neighbours除了做一个分类 ...

SURF-
不知道楼主怎么看,是否一定程度上解答了阁下提出的疑惑?@萌新
 楼主| 萌新 发表于 2022-4-20 22:31:39
Dus 发表于 2022-4-19 00:05
SURF-
不知道楼主怎么看,是否一定程度上解答了阁下提出的疑惑?@萌新

感谢两位大佬解答嘿嘿,前两天提出问题后这两天划水去干其他事情了,正在努力学习大佬的解答中……
 楼主| 萌新 发表于 2022-4-20 22:32:32
windyer 发表于 2022-4-19 20:18
大哥,你一直回复我干嘛๛ก(ー̀ωー́ก) 

感谢大佬解答嘿嘿,努力尝试看懂中……
 楼主| 萌新 发表于 2022-4-21 00:13:13
windyer 发表于 2022-4-18 01:02
问题一:如何理解这两个图形呢?为什么是这样显示啊呀?

对于L1 distance,他的几何定义是两点之间线段投影 ...

问题一
看了大佬的解答和参考链接,大概明白了一点
假设指定曼哈顿距离为k
这个相当于把其中当做原点1,另一个当做坐标系中的点2。(相当于第一象限的方程是x+y=k)
这里点2构成的正方形的边到点1的最小值为  k/根号2,最大值为k
通过引申,点1与正方形顶点的连线会平行于坐标轴(不知道这样引申对不对)→这样就不用强行把点1放在原点了
看到参考资料中有明氏距离,不知道这个是否有其应用场景呢?(如果不会应用到图像分类场景中,那我就先不管它的定义了)
我又仔细观察了一下,这里的I的下标是点1、点2,上标P是对应维度/坐标轴吗?(之前把Ip1当做x,而把Ip2当做y,还在疑惑怎么画出了这么个图形)

补充内容 (2022-4-21 02:03):
补充说明一下,这个k只是随便写了一下,和那个KNN没关系,恩或者可以写t什么的?总之是个设定的距离t
Dus 发表于 2022-4-21 10:55:59
萌新 发表于 2022-4-21 02:01
问题二:
1、通过学习,大概理解了一些,KNN的判断流程是否可以看做这样呢:
针对需要判断的x点,通过计 ...

SURF-
针对k取根,来考虑定位取值枚举,是合理的一种选择(一定程度上避免了资源的重复和浪费);
这是数论中的内容,可以简单参看https://www.zhihu.com/question/21808179
也是计算中经常遇到的问题-素数判定问题https://zhuanlan.zhihu.com/p/104314640
        其中的某一方法:对于每个数n,其实并不需要从2判断到n-1,我们知道,一个数若可以进行因数分解,那么分解时得到的两个数一定是一个小于等于sqrt(n),一个大于等于sqrt(n),据此,上述代码中并不需要遍历到n-1,遍历到sqrt(n)即可,因为若sqrt(n)左侧找不到约数,那么右侧也一定找不到约数。
Dus 发表于 2022-4-21 11:03:45
萌新 发表于 2022-4-21 02:01
问题二:
1、通过学习,大概理解了一些,KNN的判断流程是否可以看做这样呢:
针对需要判断的x点,通过计 ...

SURF-
降维的问题,可以参考 矩阵降维方法、奇异值分解等等,考虑他的本征向量和本真值 和其他特殊的子空间,
具体地,参考高等代数或线性代数相关知识;
课程可以观看 mit数学公开课。
 楼主| 萌新 发表于 2022-4-21 16:04:25
windyer 发表于 2022-4-18 01:02
问题一:如何理解这两个图形呢?为什么是这样显示啊呀?

对于L1 distance,他的几何定义是两点之间线段投影 ...


后来又想了一下,交叉验证与单纯的只用一次分类的区别是不是在于:  更好的描述这这个参数的准确率呢?
(相当于针对训练集内各部分都验证了一遍,描述可靠性的更加全面)
test 和   【fold 和validation】的区别相当于:训练和验证都是在【fold 和validation】中进行,最后选择出最好的,再利用test进行判断。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

虫部落 陕ICP备14001577号-1川公网安备 51019002003015号联系我们FAQ关于虫部落免责声明虫部落生存法则蛙先知 - AI 玩家社区 🚧

Build with for "make search easier" Copyright © 2013-2024. Powered by Discuz! GMT+8, 2024-3-29 03:24

快速回复 返回顶部 返回列表