如何快速使用大规模机器学习的核心技术？：8868体育官网下载
过去两年，机器学习书写了一卷强劲的成长史，无论你否知道察觉，它都是如此必要且广泛地在我们的生活中反映价值：客服机器人、垃圾邮件过滤器、人脸识别、语音辨识、个性化引荐机器学习和人的洞察力这对人组于是以渐渐渗透到各行各业，使我们在面临这些冷冰冰的现代设备时，享用到灵活性、智能、且更加富人情味儿的服务。 的确，神经网络、人工智能和机器学习没什么精致的，这些算法早于在几十年前就不存在。
过去两年，机器学习书写了一卷强劲的成长史，无论你否知道察觉，它都是如此必要且广泛地在我们的生活中反映价值：客服机器人、垃圾邮件过滤器、人脸识别、语音辨识、个性化引荐机器学习和人的洞察力这对人组于是以渐渐渗透到各行各业，使我们在面临这些冷冰冰的现代设备时，享用到灵活性、智能、且更加富人情味儿的服务。 的确，神经网络、人工智能和机器学习没什么精致的，这些算法早于在几十年前就不存在。
但为什么这瓶老酒直到最近，才烘烤出有势不可挡的香气呢?数十亿用户每天行驶于互联网中，面临这极大的不道德数据体量，传统统计分析方法早已无力招架。环绕着数据和工具再次发生的变化，可拓展的计算能力在急遽下降，这些都推展着机器学习以前所未有的方式朝著向前。 除此之外，面向机器学习的能用框架也步入了爆发式快速增长。
巨头们争相将尤为简单的技术从机器学习中抽象化出来，开源给开发者和学术研究人员，在协助更加多人的同时，使自身技术方案大大获得完备和变革。微软公司也如是。
去年11月，微软公司亚洲研究院将分布式机器学习工具包(DMTK)通过GitHub开源。随着某些应用于场景下数据量更加大，分布式机器学习技术的重要性日益显出。但将大量设备汇集一起并研发出有需要成功横跨各设备运营的机器学习应用于绝非易事。
大规模机器学习技术的挑战在哪里?优势又是什么?对于开发者，怎样结合实际业务市场需求更佳地用于DMTK?带着这些问题，51CTO记者走出微软公司亚洲研究院向DMTK团队研究员微软公司亚洲研究院主管研究员王太峰抛了我们的疑惑。微软公司亚洲研究院主管研究员王太峰 DMTK是什么 王太峰讲解，DMTK由一个服务于分布式机器学习的框架和一组分布式机器学习算法包含，是一个将机器学习算法应用于在大数据上的工具包。DMTK目前探讨于解决问题Offline-training的分段化。除了分布式自学框架，它还包括了主题模型和词向量自学的算法，这些算法可以应用于自然语言处置方面，比如文本分类与聚类、话题辨识以及情感分析等。
为了适应环境有所不同的集群环境，DMTK框架反对两种进程间的通信机制：MPI和ZMQ。应用程序末端不必须改动任何代码就需要在这两种方式之间转换。DMTK反对Windows和Linux两种操作系统。
目前主要反对C和C++,之后不会考虑到一些高级语言的升级，比如Python。 在构建算法的过程中DMTK团队看见，用一个框架来将这些算法很更容易地分段到大量机器上来解决问题大规模机器学习问题，是十分适当的。因此，微软公司将DMTK框架和几个例子开源出来，一方面与开发者和学术研究人员联合共享技术，另一方面期望通过大家贡献改良意见，并将更加多的算法加到到这套框架中来。 如何应付大规模机器学习的挑战 在被问到DMTK如何解决问题大规模机器学习的挑战时，王太峰主要从如何处置大规模数据和训练大规模模型两方面做到了问。
1.大规模数据：基于DMTK我们可以利用多个机器一起已完成处置，每个机器处置一部分数据。在多个机器中同时不存在多个参数的副本，它们独立国家基于本地数据产生对参数的改版，并在参数服务器端展开参数改版的拆分。
通过这种数据分段的方式，利用多个机器同时处置大规模的数据，大大加快了自学过程。即使是每台机器处置比较小的数据分块，但是有时候模型参数十分多，以至于基于全部参数在内存中改版的算法显得不不切实际。
2.大规模模型：在大规模模型中，自学参数在单个机器中装不下。就这个问题，DMTK可以从两个方面解决问题，首先DMTK框架中的参数服务器本身即为分布式，所以可利用很多机器分布式存储模型。其次，在单个机器展开本地自学的过程中，通过设计精致的分段自学方法，使得参数改版分出厂已完成。
即使模型再行大，也能确保本地参数自学顺利完成。
本文关键词：如何,8868体育官网下载,快速,使用,大规模,机器,学习,的,核心
本文来源：8868体育官网下载-www.lovebychelsea.com