金沙js0888_首頁(欢迎您)

  • <td id="dgejl"><strike id="dgejl"></strike></td>
        1. OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          作者: 贝爽 2020-10-13 11:15:40

           本文转自雷锋网,如需转载请至雷锋网官网申请授权。

          最近,GPT家族又添了一位新成员—GPT-f

          提到GPT家族,首先想到了必然是今年大火的GPT-3,这款基于Transformer架构的语言模型,在文本生成方面的能力,已经可以达到以假乱真,欺骗人类的地步。

          前不久,就有人利用GPT-3冒充专业人士在Reddit上回帖,还多次被顶上“高赞”,直到一周后才有网友发现,原来这些内容并非人类撰写。

          GPT家族又壮大了!OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          与GPT-3类似,最新推出的这款GPT-f同样是基于Transformer语言模型,但不同的是,它目标是解决自动定理证明(ATP)的问题。

          GPT家族的创始公司OpenAI认为,Transformer架构已经在自然语言处理、计算机视觉和语音识别等方面取得了长足的进步,相信它在相对未开发的推理任务领域中也具有足够的潜力。

          而他们在GPT-f的最新研究论文中已经证明了这一点。

          GPT家族又壮大了!OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          论文地址:https://arxiv.org/pdf/2009.03393.pdf

          GPT-f:用语言模型解决数学问题

          据了解,自动定理证明是人工智能研究领域中的一个非常重要的课题,其任务是对数学中提出的定理或猜想寻找一种证明或反证的方法。因此,自动证明系统不仅需要具有根据假设进行演绎的能力,而且也需要一定的判定技巧。

          而Transformer语言模型恰好具备这样的能力,同时其生成能力还能解决现有研究的一个主要局限,即原始数学项(term)的生成。

          GPT-f 可以看做是Transformer语言模型在数学推理领域的拓展,而它通过自动定理证明验证了语言模型在这一方面的可行性。

          研究人员Greg Brockman在Twitter发文称,

          GPT-f 已经发现32个形式定理证明,包括现有定理更简单的证明方式,以及尚未确定的证明。这些证明已经被收录到Metamath数据库中。

          GPT家族又壮大了!OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          Github地址:

          https://github.com/metamath/set.mm/pull/1547

          https://github.com/metamath/set.mm/pull/1710

          其中,Metamath数据库是目前最具全面,也最具权威性的形式数学社区。Metamath是一种微小的语言,它可以用抽象数学表达定理,并附有可以由计算机程序验证的证明。

          此次GPT-f的自动定理证明被收录,是形式数学社区首次采纳深度学习系统提供的证明。

          值得一提的是,该研究论文一作Stanislas Polu还表示,GPT在自动定理证明方面,达到了现有研究的最佳SOTA.

          我们在实验中发现,GPT-f比现有自动定理证明器还要优秀,可完成测试集中56.22%的证明,而现有的SOTA模型MetaGen-IL也只能证明21.16%的定理。

          GPT家族又壮大了!OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          除此之外,论文中显示,GPT-f在自动定理证明领域还取得了以下新的发现:

          • 生成式预训练可以显著提高模型性能,而相比于对网页上的通用文本进行预训练,对数学数据进行预训练会带来更好的性能。

          • 模型大小与性能表现呈正相关,即使所采用的Metamath数据集相对较小。

          • 研究发现,语言模型生成的语句上迭代地训练一个值函数可以提高证明程序的性能,由此提出了一个持续自我改进的策略:基于证明器生成的证明不断训练。

          • 利用Metamath环境测试,GPT-f模型证明了Transformer架构在形式推理方面的可行性。

          接下来,我们来详细看一下GPT-f 的工作原理

          基于自动证明器和证明助理的模型

          论文中显示,研究人员使用了类似 GPT-2 和 GPT-3 的纯解码器Transformer,最大的模型有 36 层、7.74 亿个可训练参数。

          基于该语言模型,GPT-f为 Metamath 形式化语言提供了自动证明器和证明助理(Proof Assistant)两个部分。

          自动证明器的核心在于证明搜索过程。证明搜索包含维护一个证明树,它是从根目标开始探索每个目标的多种策略。而目标由累积对数概率(Logprob)的优先级进行扩展。

          GPT家族又壮大了!OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          该研究采用 Metamath 作为形式环境。Metamath 的主库叫做 set.mm,包含基于 ZFC 集合论的约 38000 个证明。

          需要注意的是,执行证明搜索需要与Metamath模型紧密耦合。在这里,研究人员用Python创建了一个Metamath内核,内核包含一个修改过的LR(0)解析器,用于检查模型生成的术语是否符合Metamath语法,以及实现Metamath替换,并以此来表示证明树的目标和策略对象。

          总的来说,这个证明搜索过程和与它绑定的Metamath形式验证器共同构成了GPT-f自动验证器。

          实验结果表明,尽管训练数据集的大小有限,但模型大小对GPT-f性能依然有正向影响。从下图来看,模型越大,训练和基准测试时使用的计算越多。

          GPT家族又壮大了!OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          随着在样本数据上迭代次数的增加,模型性能也在不断增加,如下图,160m和700m(Webmath)参数模型在迭代学习值函数数据生成和重新训练过程中的性能表现:

          GPT家族又壮大了!OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          另外,需要说明的是,研究人员向Metamath数学库提供了23个定理的简化证明,这些证明全部是由GPT-f自动验证器生成的。为了发现更简短的证明方式,研究人员从set.mm库中采样命题证明,并对比GPT-f模型找到的解与真值的长度,由此也验证了简短证明不依赖于额外定理。

          在GPT-f中,在线证明助理可以辅助模型进行交互式证明构建。论文中,研究人员用它形式化了200多个定理和练习,结果发现模型的性能表现大幅提升。

          GPT家族又壮大了!OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          证明助理可以自动生成大多数Metamath证明所需的各种简单技术验证步骤,它通过将现有定理调整到用户所需的搜索库,并建议使用定理。

          即使推荐的定理存在错误,GPT-f模型通常也会选择正确的定理,而错误的定理通常很容易被人类修正。

          证明助手也已经在Metamath社区中应用。研究人员表示,他们其目的是希望帮助社区提高效率的同时,通过自动收集用户反馈,反过来帮助他们提高模型的准确性。

          语言模型解决逻辑问题,真的靠谱吗?

          对于这项研究成果,Twitter上引起了不少网友和大佬们的关注讨论。其中也有部分人对GPT-f在数学定理方面的应用表示了质疑。

          如一位网友表示,不要高估GPT-f,神经网络是很好的模式发现者,但它也只是一个模式发现者,而不是算法的发现者。

          GPT家族又壮大了!OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          还有一位AI软件公司CEO,美国通用人工智能会议主席Ben Goertzel怎直接发文称,GPT-f 是一个在不理解的情况下指导定理证明的奇怪实验。

          GPT家族又壮大了!OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          在他看来,与GPT的核心缺点一样,GPT-f在理解数学方面并不比GPT-2或GPT-3的能力更强。”另外,就像GPT-3不是实现真正人类语言能力的正确研究方向一样,GPT-f也不是实现真正人类(更不用超过人类)的数学定理证明的正确研究方向。

          Ben Goertzel还专门撰写了一篇博客表达自己的观点。

          GPT家族又壮大了!OpenAI首次推出数学定理推理模型GPT-f,23个推导结果被专业数据库收录

          博客地址:https://multiverseaccordingtoben.blogspot.com/2020/09/gpt-f-one-more-funky-experiment-in.html

          不过,他也表示,从总体背景来看,GPT-f 在ATP方面应用是有意义的进展,这项研究与该领域其他专家正在进行的大量研究进展相符。

          事实上,基于 Transformer架构的GPT-3模型虽然在文本生成方面具有强大性能,但其始终未通过图灵测试,而且它在简单的数学推理方面存在明显的缺陷。

          对于同样基于Transformer模型的GPT-f也难免陷入这样的质疑,即语言模型是真正理解了数学定理之间的逻辑关系,还是只是这一模型只是简单理解了语意?

          AI 数据 人工智能
          上一篇:人工智能在制造业的5大用例 下一篇:微软和合作伙伴正在努力缩小限制访问AI的数据沙漠
          评论
          取消
          暂无评论,快去成为第一个评论的人吧

          更多资讯推荐

          人工智能如何应用于数据中心的物理安全

          机器学习和人工智能被吹捧为解决数据中心问题的万能药。虽然大部分都是炒作和毫无根据的乐观主义,但人工智能工具在某些领域已经是有用和实用的。这些领域包括数据中心物理安全,人工智能在三个方面发挥着重要作用:图像和声音识别、异常检测和预测分析。

          Cassie ·? 1天前
          科技创新让AI电力员工全国多地上岗

          比人力快60倍的输电线路巡查图像“识别员”、可媲美经验老手的监控视频“质检员”、3秒内就能各界面快速响应的变压器“风控员”……一批电力领域的“新员工”正在全国多地上岗。

          佚名 ·? 1天前
          中国研究者开发AI系统,平均3秒内识别新冠肺炎和普通感冒

          秋冬季节也是其他呼吸道疾病的高发期,这让新冠肺炎的鉴别、诊断和治疗变得更加困难。近期,《自然》子刊《自然通讯》发布的论文显示,中国研究员已开发一种基于深度学习的人工智能系统,可用来快速地区分新冠肺炎和其他呼吸道疾病。

          周姝祺 ·? 1天前
          疫情下非洲正在全面的连通性建设,投资方向清晰明确

          要帮助非洲真正通过电信及数据骨干网络的普及迎来腾飞,本地数据及人工智能产业的崛起也将一大关键前提。

          佚名 ·? 2天前
          机器人有同理心吗?情感AI的可用性有多少?

          说起便携AI应用,很多人会率先想到Siri、Alexa或Google Assistant等语音助手,他们不但可以设置计时器,播放歌曲或轻松查看天气,但要进行真正的人机对话,要如何才能实现?

          曾几何时6161 ·? 2天前
          人工智能发展越来越快,将来人工智能会不会取代人类的位置?

          人工智能的发展就好比人类进化一样,不过这个过程更短。人类用智慧创造了人工智能,而人工智能将会是一个超越人类智慧的存在,因为人工智能一但有了独立的自我意识,就可以不断的学习进步,并且可以集人类的知识与智慧为己用。

          小陈i爱生活 ·? 2天前
          人工智能:从经典计算机到量子计算机,弱AI进阶到强AI时代?

          人工智能(Artificial Intelligence,缩写AI),通常指通过普通计算机程序来呈现人类智能的技术。计算机是为AI提供必要的技术基础,它决定人工智能的上限空间。人工智能分为弱人工智能和强人工智能,从弱AI进阶到强AI,代表着人类使用的经典计算机,过渡到量子计算机,强人工智能时代才能真正到来。

          秦七AI视界 ·? 2天前
          【干货】图神经网络的十大学习资源分享

          图神经网络(GNNs)是深度学习的一个相对较新的领域,从最近开始越来越流行。

          雷锋字幕组 ·? 2天前
          Copyright?2005-2020 51CTO.COM 版权所有 未经许可 请勿转载
          金沙js0888