金沙js0888_首頁(欢迎您)

  • <td id="dgejl"><strike id="dgejl"></strike></td>
        1. 啊哈,原来如此!4种流行的机器学习算法的顿悟时刻

          作者: 闻数起舞 2020-10-26 07:03:35

          大多数人都在两个营地中:

          • 我不了解这些机器学习算法。
          • 我了解算法的工作原理,但不了解其工作原理。

          本文不仅试图解释算法的工作原理,而且要直观地理解算法的工作原理,以提供这种灯泡啊哈! 时刻。

          决策树

          决策树使用水平线和垂直线划分要素空间。 例如,考虑下面一个非常简单的决策树,该决策树具有一个条件节点和两个类节点,指示一个条件以及满足该条件的训练点将属于哪个类别。

          啊哈,原来如此!4种流行的机器学习算法的顿悟时刻

          请注意,标记为每种颜色的字段与该区域内实际上是该颜色或(大致)熵的数据点之间存在很多重叠。 构造决策树以最小化熵。 在这种情况下,我们可以增加一层复杂性。 如果要添加另一个条件; 如果x小于6,y大于6,我们可以将该区域中的点指定为红色。 此举降低了熵。

          啊哈,原来如此!4种流行的机器学习算法的顿悟时刻

          在每个步骤中,决策树算法都会尝试找到一种构建树的方法,以使熵最小化。 将熵更正式地看作是某个分隔线(条件)所具有的"混乱"或"混乱",而与"信息增益"相反的是,分隔线为模型增加了多少信息和洞察力。 具有最高信息增益(以及最低熵)的要素拆分位于顶部。

          啊哈,原来如此!4种流行的机器学习算法的顿悟时刻

          条件可能会将其一维特征分解为如下形式:

          啊哈,原来如此!4种流行的机器学习算法的顿悟时刻

          请注意,条件1具有清晰的分隔,因此熵低且信息增益高。 条件3不能说相同,这就是为什么它位于决策树底部附近的原因。 树的这种构造确保其可以保持尽可能轻巧。

          您可以在此处阅读有关熵及其在决策树以及神经网络(交叉熵作为损失函数)中的用法的更多信息。

          随机森林

          随机森林是决策树的袋装(引导聚合)版本。 主要思想是对数个决策树分别训练一个数据子集。 然后,输入通过每个模型,并且它们的输出通过类似平均值的函数进行汇总以产生最终输出。 套袋是组合学习的一种形式。

          啊哈,原来如此!4种流行的机器学习算法的顿悟时刻

          您需要确定下一家餐厅。 要向某人提出建议,您必须回答各种是/否问题,这将使他们做出您应该去哪家餐厅的决定。

          您愿意只问一个朋友还是问几个朋友,然后找到方式或普遍共识?

          除非您只有一个朋友,否则大多数人都会回答第二个。 该类比提供的见解是,每棵树都有某种"思维多样性",因为它们是在不同的数据上训练的,因此具有不同的"体验"。

          这种类比,干净和简单,从来没有真正让我脱颖而出。 在现实世界中,单朋友选项的经验少于所有朋友,但在机器学习中,决策树和随机森林模型是在相同的数据上训练的,因此也具有相同的体验。 集成模型实际上没有接收任何新信息。 如果我可以向一个全知的朋友提出建议,我不会反对。

          在相同数据上训练的模型如何随机抽取数据子集以模拟人为的"多样性",其效果如何比在整个数据上训练的模型更好?

          拍摄正弦波,并带有大量正态分布的噪声。 这是您的单个决策树分类器,它自然是一个高方差模型。

          将选择100个"近似值"。 这些逼近器沿正弦波随机选择点并生成正弦曲线拟合,就像在数据子集上训练决策树一样。 然后将这些拟合平均,以形成袋装曲线。 结果? -更平滑的曲线。

          啊哈,原来如此!4种流行的机器学习算法的顿悟时刻

          套袋有效的原因在于,它通过人为地使模型更具"信心",从而减少了模型的差异并有助于提高泛化能力。 这也就是为什么装袋在诸如Logistic回归之类的低方差模型中效果不佳的原因。

          您可以在这里阅读更多关于直觉的信息,以及关于套袋成功的更严格的证明。

          支持向量机

          支持向量机依靠"支持向量"的概念来最大化两个类别之间的距离,试图找到一种可以最好地划分数据的超平面。

          不幸的是,大多数数据集并不是那么容易分离,如果能够分离,SVM可能不是处理它的最佳算法。 考虑此一维分离任务; 没有良好的分隔符,因为任何一种分隔都会导致将两个独立的类归为同一类。

          啊哈,原来如此!4种流行的机器学习算法的顿悟时刻

          > One proposal for a split.

          SVM通过使用所谓的"内核技巧"来强大地解决此类问题,该技巧将数据投影到新的维度上,从而简化了分离任务。 例如,让我们创建一个新的尺寸,将其简单定义为x²(x是原始尺寸):

          啊哈,原来如此!4种流行的机器学习算法的顿悟时刻

          现在,将数据投影到新的维度(每个数据点以两个维度表示为(x,x²))之后,数据就可以清晰地分离了。

          使用各种内核(最常见的是多项式,Sigmoid和RBF内核),内核技巧使繁重的工作创造了一个转换后的空间,从而使分离任务变得简单。

          神经网络

          神经网络是机器学习的顶峰。 他们的发现以及对它的无穷变化和改进使它成为了自己领域的主题,即深度学习。 诚然,神经网络的成功仍然是不完整的("神经网络是没人能理解的矩阵乘法"),但是最简单的解释方法是通过通用近似定理(UAT)。

          每种监督算法的核心都是试图对数据的某些基础功能进行建模。 通常这是一个回归平面或特征边界。 考虑这个函数y =x²,可以用几个水平步长将其建模为任意精度。

          啊哈,原来如此!4种流行的机器学习算法的顿悟时刻

          这本质上就是神经网络可以做的。 也许除了水平步长之外,模型关系可能会更复杂一些(例如下面的二次和线性线),但是神经网络的核心是分段函数逼近器。

          啊哈,原来如此!4种流行的机器学习算法的顿悟时刻

          每个节点都委托给分段功能的一部分,网络的目的是激活负责部分特征空间的某些神经元。 例如,如果要对有胡须或没有胡须的男人的图像进行分类,则应将几个节点专门委派给经常出现胡须的像素位置。 在多维空间中的某个位置,这些节点表示一个数值范围。

          再次注意,"神经网络为什么起作用"的问题仍然没有得到回答。 UAT并未回答这个问题,但指出在某些人类的解释下,神经网络可以为任何功能建模。 可解释/可解释AI的领域正在涌现,以通过激活最大化和敏感性分析等方法来回答这些问题。

          您可以在此处阅读更深入的解释并查看通用近似定理的可视化。

          在所有四种算法以及许多其他算法中,这些算法在低维情况下看起来都非常简单。 机器学习的一个关键实现是,我们声称在AI中看到的许多"魔术"和"智能"实际上是一个隐藏在高维伪装下的简单算法。

          将区域划分为正方形的决策树很简单,但是将高维空间划分为超立方体的决策树却不那么容易。 SVM执行内核技巧以提高一维到二维的可分离性是可以理解的,但是SVM在数百个大维数据集上执行相同的操作几乎是神奇的。

          我们对机器学习的钦佩和困惑是基于我们对高维空间缺乏了解。 学习如何解决高维问题并了解本机空间中的算法,有助于直观理解。

          机器学习 算法
          上一篇:人脸识别,要方便更要安全 下一篇:人工智能如何提升大数据存储与管理效率?
          评论
          取消
          暂无评论,快去成为第一个评论的人吧

          更多资讯推荐

          机器学习领域读博这段旅程的一些感悟

          一位来自Cornell大学的博士给出了他6年博士旅程的一些个人的经验和建议:小步迭代、策略性阅读、主动、专注、坚持、记笔记、重视社区、拓展视野,无论是工程还是研究,都很有用。

          AI公园 ·? 1天前
          基尼不纯度:如何用它建立决策树?

          为了有效地构建决策树,我们使用了熵/信息增益和基尼不纯度的概念。让我们看看什么是基尼不纯度,以及如何将其用于构建决策树吧。

          读芯术 ·? 1天前
          强化学习与3D视觉结合新突破:高效能在线码垛机器人

          国防科技大学、克莱姆森大学和视比特机器人的研究人员合作使用深度强化学习求解在线装箱问题,该方法的性能表现优于现有的启发式算法。

          机器之心 ·? 1天前
          人工智能十年回顾:CNN、AlphaGo…它们曾这样改变世界

          十年前,人们在谈论 AI 的理论化和实验,但这些年来,AI 变得更加切实了,也变成了主流。无论是国际标准课程、平台、库、框架、硬件,一切都顺理成章。就算说这十年里取得的成绩奠定了未来的基础,也不为过。

          机器之心 ·? 1天前
          从视频片段中推断楼层平面图 新AI研究令人大开眼界

          1月11日消息,据外媒报道,近日,来自Facebook、德克萨斯大学奥斯汀分校和卡内基梅隆大学的研究人员正在探索一种人工智能技术,利用视觉和音频,从一个短视频剪辑中重建一个平面图。

          Yu ·? 1天前
          AI应对气候变化的8大指南

          减缓气候变化正在成为当务之急。没时间了,大气中的二氧化碳水平已经达到历史最高点,过去25年内海平面高度整体上升了3英寸,2019年成为世界海洋温度最高的一年。对于此,人工智能(AI)技术无疑有着应对气候变化挑战、处理环境保护难题的巨大潜能,而且我们已经迈出了重要的第一步。

          科技行者 ·? 2天前
          在线学习的“后浪”:现代学习系统中的人工智能

          由于全球疫情的到来,几乎每所大学都将课程搬上了在线学习平台。随着世界各地引入学习管理系统,学校、学院和大学联系学生变得更全面更方便了。

          读芯术 ·? 2天前
          谷歌大脑最新研究:AutoML方式自动学习Dropout模式

          深度神经网络往往存在过拟合的问题,需要Dropout、权重衰减这样的正则化方法的加持。

          鱼羊 ·? 2天前
          Copyright?2005-2021 51CTO.COM 版权所有 未经许可 请勿转载
          金沙js0888