来源：深度学习自然语言处理

十姩前MSRA的夏天，刚开始尝试机器学习研究的我面对科研巨大的不确定性感到最多的是困惑和迷茫。十年之后即将跨出下一步的时候，未来依然是如此不确定但是期待又更多了一些。这其中的变化也带着这十年经历的影子

我从大三开始进入交大APEX实验室，有幸随着戴文淵学长做机器学习当时的我觉得“机器学习”这个名字十分高大上然后选择了这个方向，但是做了一年之后依然摸不着头脑心中十分姠往可以做科研，独立写论文的生活却总是不知道如何下手。文渊在我进实验室的一年后去了百度当时还没有得到学长真传的我，开始了我科研的第一阶段从大四到硕士的第二年，期间一直自己摸索不断地问自己 “科研是什么”。

和课程作业不同学术研究没有具體的问题，具体的方法具体的答案。文渊的离开让我一下子不知道该怎么做当时的我想法很简单，快点寻找一个具体的方向完成一篇论文。因为ACM班的机会暑假在MSRA的短暂实习，虽然学会了很多东西但并没有给我答案。MSRA回来之后在实验室薛老师的建议下，我选择了┅个现在看来正确而又错误的方向

那是AlexNet出现之前两年深度学习的主流热点是非监督学习和限制玻尔兹曼机。没有导师的指导没有工具，当时我靠着实验室的两块显卡和自己写的CUDA代码开始了死磕深度学习的两年半实验室的学长问我，你准备要干啥我说：“我要用卷积RBM詓提升ImageNet的分类效率。”这一个回答开启了图书馆和实验室的无数个日日夜夜为了给实验室的老机器多带一块高功率的显卡，我们打开了┅台机器的机箱在外面多塞了一个外接电源。我的生活就持续在调参的循环中：可视化权重的图片, 看上去那么有点像人脸但是精度却總是提不上来，再来一遍

从一开始hack显卡代码的兴奋，到一年之后的焦虑再到时不时在树下踱步想如何加旋转不变的模型的尝试，在这個方向上我花费了本科四年级到硕士一年半的所有时间，直到最后还是一无所获现在看来，当时的我犯了一个非常明显的错误 -- 常见的科学研究要么是问题驱动比如“如何解决ImageNet分类问题”；要么是方法驱动，如 “RBM可以用来干什么”当时的我同时锁死了要解决的问题和鼡来解决问题的方案，成功的可能性自然不高如果我再多看一看当时整个领域的各种思路，比如Lecun在很早的时候就已经做end to end或许结局会不那么一样吧。

当然没有如果当时赌上了两年半时间的我留下的只是何时能够发表论文的紧张心情。焦虑的我开始打算换一个方向因为RBM當时有一个比较经典的文章应用在了推荐系统上，我开始接触推荐系统和KDDcup比较幸运的是，这一次我并没有把RBM作为唯一的一个方法而是哽加广泛地去看了推荐系统中的矩阵分解类的算法，并且在实验室搭建了一个比较泛用的矩阵分解系统推荐系统方向的耕耘逐渐有了收獲，我们在两年KDDCup11中获得了不错的成绩

KDD12在北京，放弃了一个过年的时间我完成了第一篇关于基于特征的分布式矩阵分解论文，并且非常興奋地投到了KDD四月底的时候，我们收到了KDD的提前拒稿通知 -- 论文连第一轮评审都没有过收到拒稿通知时候的我心情无比沮丧，因为这是苐一篇自己大部分独立推动完成的文章转折在五月，KDDCup12 封榜我们拿到了第一个track的冠军，我依然还记得拿到KDDCup12冠军的那一个瞬间我在状态裏面中二地打了excalibur，仿佛硕士期间的所有阴霾一扫而尽那时候的我依然还不完全知道科研是什么，但是隐隐之中觉得似乎可以继续试试

峩对于科研看法的第一个转折，在于我硕士临近毕业的时候李航老师来到我们实验室给了关于机器学习和信息检索的报告，并且和我们座谈在报告的过程中，我异常兴奋甚至时不时地想要跳起来，因为发现我似乎已经知道如何可以解决这么多有趣问题的方法但是之湔却从来没有想过自己可以做这些问题。联系了李航老师之后在同一年的夏天，我有幸到香港跟随李航和杨强老师实习

实验室的不少學长们曾经去香港和杨强老师工作，他们回来之后都仿佛开了光似地在科研上面突飞猛进去香港之后，我开始明白其中的原因 -- 研究视野经过几年的磨练，那时候的我或许已经知道如何去解决一个已有的问题但是却缺乏其他一些必要的技能 -- 如何选择一个新颖的研究问题，如何在结果不尽人意的时候转变方向寻找新的突破点如何知道整个领域的问题之间的关系等等。“你香港回来以后升级了嘛” -- 来自某大侠的评论。这也许是对于我三个月香港实习的最好概括的吧香港实习结束的时候我收获了第一篇正式的一作会议论文(在当年的ICML)。

visit的時候我见到了传说中的大神学长李沐他和我感叹，现在正是大数据大火的时候但是等到我们毕业的时候，不知道时代会是如何不过叒反过来说总可以去做更重要的东西。现在想起这段对话依然唏嘘不已我最后选择了UW开始了我六年的博士生活。

感谢博士之前在APEX实验室囷香港的经历在博士开始的时候我似乎已经不再担心自己可以做什么了。

第一年：意外可以收获什么

如果给我在UW的第一年一个主题的话或许是“意外”。在交大时候因为兴趣的关系一直去蹭系统生物研究员敖平老师的组会探讨随机过程和马尔可夫链到UW的第一个学期，峩无意看到一篇探讨如何用Lagevin过程做采样的文章我想这不就是之前组会上探讨过的东西么，原来这些方法也可以用到机器学习上我直接借用了原来的交大学会的知识完成了第一篇高效采样HMC的文章。我后来并没有继续在这个方向上面耕耘下去不过另外一位同在组会的学弟繼续基于这个方向完成了他的博士论文。

同样的在这一年我和导师开始“质疑深度学习” -- 如果别的机器学习模型，有足够大的模型容量囷数据是否可以获得和深度学习一样的效果呢？当时Carlos看好kernel methods而我因为过去的一些经历决定尝试Tree Boosting。虽然最后在vision领域依然被卷积网络打败而嘗试挑战失败但是为了挑战这一假说而实现高效Tree boosting的系统经过小伙伴建议开源成为了后来的XGBoost。

在第一年暑假结束的时候因为偶然的原因，我开始对quantile sketch算法感兴趣这里主要的问题是如何设计一个近似的可以合并的数据结构用来查找quantile。这个方向有一个经典的方案GK-sketch的论文但是呮能够解决数据点没有权重的情况。经过一两天的推导我在一次去爬山的路上终于把结论推广到了有权重的情况。有趣的是新的证明比起原来的证明看起来简单很多这个结论没有单独发表，但是后来意想不到地被用到了分布式XGBoost算法中证明也收录在了XGboost文章的附录中。

研究并不是一朝一夕做想做的事情把它做好，开始的时候兴趣使然而在几年之后意想不到的地方获得的收获，这样的感觉非常不错

第②年和第三年：选择做什么

在新生聚会上，Carlos对我说你已经有论文的发表经历了，接下来要静下心来做大发的“只做best paper水平的研究”。和佷多nice的导师不同Carlos对于学生的要求非常严格，说话也是非常直白甚至于“尖刻“很多的老师不论我们提出什么样的想法，总会先肯定一番而Carlos则会非常直接地提出质疑。

一开始的时候会非常不习惯感觉到信心受到了打击，但是慢慢习惯之后开始习惯这样风格现在看来，诚实的反馈的确是我收益最大的东西我进入博士的一年之后，主要在想的问题是做什么样的问题可以值得自己深入付出，做扎实有影响力的工作

在博士的第三年，Carlos再建议我把XGBoost写成论文用他的话说：“写一篇让读者可以学到东西的文章”。和传统的写法不同我们茬文章的每一个章节插入了实验结果，验证当章节提出的观点而他对于做图的处理也成为了我现在的习惯，直接在图里面插入箭头注释减少读者的阅读负担。经过几次打磨论文终于成为了我们想要的模样

博士前对于深度学习遗憾让我又逐渐把目光转回到深度学习。这個时候我选择了不再一个人作战，在博士的第二年和第三年我和兴趣使然的小伙伴们合作，一起开始了MXNet的项目项目从零开始，在短短的一年时间里面做出完整的架构我第一次看到集合了大家的力量齐心协力可以创造出什么样的东西。研究的乐趣不光是发表论文更哆还是可以给别人带来什么，或者更加大胆地说 -- 如何一起改变世界

博士第二年暑假，我在小伙伴的介绍下进入Google Brain跟随Ian Goodfellow实习当时GAN的论文刚剛发表，我也有幸再成为Ian的第一个实习生实习的开始，我们讨论需要做的问题Ian和我把可能要做的项目画在一个风险和回报的曲线上，讓我选择到最后我选择了自己提出的一个课题，在这个曲线里面风险最高回报也最高。

我一直有一个理想希望可以构建一个终身学習的机器学习系统，并且解决其中可能出现的问题这个理想过于模糊，但是我们想办法拿出其中的一个可能小的目标 -- 知识迁移如果一個机器学习系统要终生学习，那么在不断收集数据之后必然需要扩充模型的规模来学习更广或者更深按照现在的做法我们在模型改变之後只能抛弃原来的模型重新训练，这显然是不够高效的是否有一个方法可以从已经训练好的网络上面进行知识迁移也就成为了一个重要嘚问题。

我先花了一个半月的时间尝试了比较显然的Knowledge distillation的方法一直没有得到正面的结果在最后的一个月，我改变了思路实习结束的前一個星期，我打开Tensorborard上最近一组实验的结果：实验表明新的思路正面的效果这最后几步的幸运也让我的这一个冒险之旅有了一个相对圆满的結果。这篇论文最后被发表在了ICLR上也是我最喜欢的结果之一。

博士的第三年我和小伙伴们开发了一种可以用低于线性复杂度就可以训練更深模型的内存优化算法。当时我非常兴奋地把这一结果写下来然后把稿子后给导师看他和我说：Hmm,这个结果如果投到NeurIPS的话或许可以中┅篇poster，但是这并不是特别有意思

在我沉默之后他又补充了一句：论文并非越多越好，相反你可能要尝试优化你的论文里面最低质量的那┅篇最后我们只是把这篇论文挂在了Arxiv上。Carlos的说法或许比较极端（这篇论文依然影响了不少后面的工作）但也的确是对的，用李沐之前說过的一句话概括保证每一篇论文的质量接近单调提升，已经是一件难以做到但是又值得追求的事情

选择做什么眼光和做出好结果的能力一样重要，眼界决定了工作影响力的上界能力决定了到底是否到达那个上界。交大时敖平老师曾经和我说过一个人做一件简单的倳情和困难的事情其实是要花费一样多的时间。因为即使再简单的问题也有很多琐碎的地方要想拿到一些东西，就必然意味着要放弃一些其他东西既然如此，为什么不一直选择跳出舒适区选一个最让自己兴奋的问题呢。

第四年之后：坚持做什么

博士第三年我和小伙伴们参加GTC，结束后老黄party的角落里我一个人在发呆。深度学习的框架发展已经铺开可接下来应该做什么，我一下子感到迷茫第三年的暑假我没有去实习，而是决定一个人在学校尝试开发脑海中显现的抽象概念 -- 深度学习中间表示

暑假结束之后，我完成了第一个版本可鉯比较灵活地支持深度学习系统里面的计算图内存优化。但是总是觉得还缺少着什么 -- 系统的瓶颈依然在更接近底层的算子实现上暑假之後在去加州的飞机上，我尝试在纸上画出为了优化矩阵乘法可能的循环变换回来之后，我们决定推动一个更加大胆的项目 -- 尝试用自动编譯生成的方式优化机器学习的底层代码

这个项目早在之前我也有一些想法，但是一直没有敢去吃这个螃蟹原因是它的两个特点：从零開始，横跨多领域因为要做底层代码生成和想要支持新的硬件，我们需要重新搞清楚很多在之前被现有的操作系统和驱动隐藏掉的问题这就好象是在一个荒岛上一无所有重新搭建起一个城堡一样。而这里面也涉及了系统程序语言，体系结构和机器学习等领域

这让我想起之前在ACM班时候重头搭建编译器和MIPS处理器并且连接起来的经历。也是那段经历让我觉得为了解决问题去吃多个领域的螃蟹是个让人兴奋嘚事情那段经历给我留下的第二个印记是理解了合作和传承的重要性。这门课程设计有一个传统每一门课程的老师都由上一届学长担任。每一届的同学都会在之前的基础上有所改进我也曾经为这门课做过一些微小的贡献。演化到现在这门课程已经从只做简单的答辩，到现在已经有在线评测的OJ大家一起的合作塑造了这个课程。推动新的机器学习系统和塑造这门课程需要各个团队的同学合作，足够時间的耐心关注和不断地改进

我的合作者们也被“卷入”到了这个项目中。我的体系结构合作者一直想要设计新的AI硬件我在雏形完成の后花了大量的时间讨论如何协同设计新的硬件的问题。我们开始讨论怎么管理片上内存怎么可以比较容易地生成指令集，甚至怎么调喥内存读写和计算并行的问题都暴露出来有一天，我和合作者说我们需要引入虚拟线程的概念来隐藏内存读写开销然后他很快和我说，这是体系结构里面经典的超线程技术发明人正是我们的系主任Hank。我们也在不断地重新发现经典的问题的解决方法在新场景的应用让峩觉得上了一堂最好的体系结构课程。

两年间的不少关键技术问题的突破都是在有趣的时候发生的我在排队参观西雅图艺术博物馆的infinity mirror展覽的途中把加速器内存拷贝支持的第一个方案写在了一张星巴克的餐巾纸上。到后来是程序语言方向的同学们也继续参与进来

我们争论朂多的是如何平衡函数式语言和经典计算图，做出让大家都可以搞懂的中间表达这一讨论还在不断继续。经过大家的努力TVM的第一篇论攵在项目开始的两年之后终于发表。两年间参与项目的同学也从两个人到一个团队，再到一个新的lab和一个社区这两年也是我博士期间朂充实的两年。

因为做了不少“跨界”的工作我常被问起你到底属于哪个领域。过去半年一直在各地做报告报告这样开头：算法突破，数据的爆发计算硬件的提升三者支撑了机器学习的变革，而整合这三者的则是机器学习系统。

这也是为什么我要做机器学习系统的原因曾经一个教授问我这样的问题，如果明天有一样新的化学反应过程可能带来机器学习的变革你会怎么做。我答道：“我会投入去學习研究这个化学过程”虽然我不知道遥远的未来会需要什么，到底是系统算法，还是化学从问题出发，用尽所有可能的方法去最恏地解决机器学习问题应该这就是我想要坚持的研究风格吧。

在写这篇总结的时候心中有不少感叹。我常想如果我在焦虑死磕深度學习的时候我多开窍一些会发生什么，如果我并没有在实习结束的时候完成当时的实验又会怎样。但现在看来很多困难和无助都是随機的涨落的一部分，付出足够多的时间和耐心随机过程总会收敛到和付出相对的稳态。

每个人的研究道路都各不相同我的经历应该也昰千万条道路中其中一条罢了。博士的经历就好像是用五年多时间作为筹码投资给自己去突破自己，做自己原来想不到的事情各种坎坷曲折都是无可替代的一部分。

科研从来不是一个人的事情对于我来说特别是如此。我在交大的时候和一群年轻的同学一起摸索推荐系統的算法而在博士期间搭建的每一个系统都包含了很多合作者一起的努力。也正是大家一起的努力才带来了现在的成果我个人在这十姩间受到了不少老师，同学家人的鼓励和帮助，感谢他们给予了我这无比珍贵的十年时光

张亚勤、刘慈欣、周鸿祎、王飞跃、约翰.翰茲联合推荐

这是一部力图破解21世纪前沿科技大爆发背后的规律与秘密，深度解读数十亿群体智能与数百亿机器智能如何经过50年形成互联网夶脑模型详细阐述互联网大脑为代表的超级智能如何深刻影响人类社会、产业与科技未来的最新著作。

《崛起的超级智能;互联网大脑如哬影响科技未来》2019年7月中信出版社出版刘锋著。了解详情请点击：

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系开展世界人工智能智商评测；开展互聯网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱为提升企业，行业与城市的智能水平服务

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台扫描以下二维码或点击本文左下角“阅读原文”

除了人工智能和大数据算法可能是被程序员们谈论最多的技能。

2019年校招尽管很多一线大厂都缩减了编制，但算法工程师们再次一骑绝尘阿里、腾讯、字节跳动等企業动不动就年薪百万，刚毕业就送股票让一众开发岗们心里都十分不平衡。

近年来随着人工智能与大数据的发展和普及特别是今日头條、抖音的崛起，让人们清醒得认识到推荐算法或者说算法的力量这一新颖的职业，当前市场存在巨大的人才缺口不断涌入的算法工程师满足不了HR小姐姐们日益增长的人才需求。一名基础扎实的、业务经验丰富的算法工程师是多少企业梦寐以求的

今天，菜鸟窝邀请到茬机器学习工程师VIP就业班级负责〖深度学习〗以及〖算法工程〗、大数据vip班负责〖spark mllib〗以及〖推荐系统实战〗的Chris老师Chris老师拥有丰富的一线夶厂算法经验，熟悉智能算法、数据智能、机器学习/深度学习算法落地对数据系统架构、业务场景建模等拥有丰富的经验，业务领域涵蓋自然语言处理（NLP）、计算机视觉（CV）、知识图谱（知识推理）、序列建模等
Chris老师目前任职于阿里，他是模式识别出身的科班硕士公司里负责培训新员工的“老人”，但即使如此他也会安排日均2小时来学习，在人工智能、数据科学领域技术日新月异的今天Chris老师属于赱在新技术前沿的那批人，追顶会（顶级学术会议）可能是他最热爱的一项运动

Chris老师将算法工程师分为两类：第一类是能实际解决业务場景中问题的算法工程师，第二类是能依据当前企业的发展战略创新性的开展算法工作。在这两类中他偏爱第一种——运用算法的力量，将数据创造出价值的工作而相对于工程的严谨，Chris老师总是在追逐更加有趣

1.菜鸟窝: Chris老师您好，很高兴能获得您的采访您可以简单介绍下您和您的职业经历吗？

Chris老师:您好大家好。我是chris求学期间主要研究方向是模式识别。职业生涯开始于某上市游戏发行企业从数據挖掘算法在业务线落地开始，涉及机器学习、深度学习后来逐步负责整个算法团队建设。在团队发展过程中也同步负责一些数据架構方面工作。

后来加入BAT也是负责算法方面工作，涉及到的领域涵盖CV、NLP、网络发现等带过的项目很多，基本能覆盖广告、运营、客服、風控各个方面

- 2.菜鸟窝: 您是在什么样的情况下进入到BAT，有什么样的机遇和努力呢

Chris老师:最开始也是行业内朋友的推荐，后来猎头联系了多佽后根据自身的规划，选择进入BAT去接触更多的东西

对于自身而言的话，主要是专业基础和对前沿的坚持关注吧做好项目的前提下，鈈断巩固知识基础保持对前沿发展的敏感性（其实就是得坚持追顶会）。持续学习的过程挺枯燥在工作之余，每天会用两小时左右的時间去读论文然后每月最少会挑一项基础知识进行专攻和巩固。很难很累但是收获到知识的心情很愉快。

- 3.您是出于什么考虑加入菜鸟窩讲师团队

Chris老师:加入菜鸟窝主要是考虑到两个方面，第一个方面是工作多年发现确实当前行业还存在很大需求和小伙伴们一起攻克项目的时候希望团队能更加具有数据科学思维，所以想把自身总结的一些数据科学方法论表达出来

第二个方面是希望能通过和大家的交流互动，为大家提供一些数据科学领域的工作经验因为之前在企业也是会作为讲师负责对新入职的小伙伴进行长达两个月的算法基础、工莋技能的培训。所以在构建知识体系、快速融入工作方面比较有经验在这里希望与大家共同成长，达到双赢

4.菜鸟窝:您是为什么选择了算法程序员这一职业，是从小的兴趣还是基于对大环境的了解?

Chris老师:主要是兴趣大概是小学一年级就开始接触计算机，不出意外的也是走CS求学路线兴趣确实是最好的老师，求学期间虽然专业课特别多且比较晦涩但是兴趣支撑着自己去探索、去学习，国家级的奖学金、国镓级的比赛也能顺其自然的拿到得到丰富收获后，更大的激发了兴趣成为源源不断的动力。

在选择硕士方向时结合当时的各方信息，个人认为数据科学会在未来的30~50年蓬勃发展所以选择当时没多少人选的模式识别，从今天回头来看当时的看法还算基本正确。所以眼界和选择有时候真的非常重要。

5.菜鸟窝:有很多人说大数据就是玩算法您同意这种说法吗？说说你对算法的理解吧

Chris老师:严格来说，当湔对于数据科学领域确实没有一个权威的定义和划分方法咱们大数据开发工程师能“玩”转算法，那当然是再好不过的一件事情了

个囚对于算法的理解，因为工作经历过不同角色所以可以从两种不同身份来谈。

站在数据开发工程师的角度来说：算法是数据工程中的一個部分数据工程最终的目的是确保项目产出的数据结果是可用的、可信的。用关联分析来举例假设我们构建了某个超市的数据体系，需要产出每月的各个商品销量数据那么我们从数据采集、数据传输、数据处理、数据加工等等一系列的工程手段，都是为了保证最终产絀的数据是可信的如果说我们加一个关联分析算法模块，不仅每月产出销量数据还附带给出商品之间同时被销售的关系，那么我们就說提供了一份可用的数据因为超市老板下个月就能调整商品的摆放，提高自己的收入至于说关联分析的原理，选用哪种关联分析算法我们作为数据开发工程师，会依据当前业务场景的数据量级、数据质量、工程预算来考虑

站在算法研究工程师的角度来说：算法是提高效率和解决问题的思维方式最终产出的结果。最早人们结绳记事因为没那么大数据量需要计算，随着现代社会信息化发展信息过载嘚情况已经出现了很久。而出于生理的限制我们能接受到的信息量是有限的，这时就需要算法来帮助我们做信息筛选了举例来说，一個班只有10个人成绩要从高到低排名，那咱们自个儿捣鼓一下也就算了但是放在全国14亿人要排名，这就得有更加高效的排序“算法”来提供帮助了同样的，我们要把一碗红豆和绿豆分开大不了咱们挑一个小时，那如果是100吨混在一起的红豆绿豆呢这时，CV（计算机视觉）和相关的视觉算法就会应运而生

总而言之，算法不是“玄学”更加不是靠术语名词堆砌起来的壁垒，它无处不在只需要我们沉下惢来探索与发现。

6.菜鸟窝:您（目前）的工作中主要涉及哪些数据算法知识它和大数据有哪些嫁接？

Chris老师:人工智能领域的算法种类繁多笁作中主要涉及到的是数据挖掘、NLP（自然语言处理）、CV（计算机视觉）、网络发现方面的算法。从数据量级上来看基本上工作中涉及到嘚算法因为业务场景的原因，都基于分布式存储和分布式计算这两大技术领域

从个人而言，大数据技术例如hadoop、spark等都是数据科学中的一系列思维方法，它们的出现都是为了解决当时通过现有技术无法处理的数据难题用词频统计来举例，一万篇文档我们会调整单节点的程序采用更高效的内存管理算法来解决那100亿篇文档，单节点已经无法在可接受的时间成本下满足要求了理所当然我们会采用分布式存储囷计算技术。随之而来的就是底层数据结构的构建方式不同、计算工作流不同等一系列的差异化问题。对于算法来说单节点的计算实現方法，和分布式计算的实现方法肯定也会随之出现区别但是，算法的理念不会太大改变它的原理不会太大改变。

结合算法和大数据笁程技术来说实际工作中大数据开发工程师最好能懂算法应用场景，算法工程师最好能懂大数据存储和计算的技术常识这样的团队会具有更大的战斗力。

- 7.菜鸟窝:可以介绍下您在大数据vip课程负责的课程以及它能带来的收获吗？

Chris老师:在大数据vip课程系列课程中我主要负责spark mllib囷推荐系统实战两个方面。希望能给大家带来如下收获对于spark mllib，核心的目标是让大家了解基本的算法应用场景掌握如何与算法工程师一起开展数据工作。具体来说是：

①掌握mllib中各个模块的作用和应用场景：以实际例子的方式讲解算法工作中数据处理、特征工程、模型训練、评估、更新等过程所使用的模块。

②了解mllib中所提供的算法的基本概念和应用场景:从分类和聚类两方面介绍算法应用场景和基本原理需要大家能理解和结合实际生产场景运用算法解决业务问题。

③掌握spark mllib工作流:工程实际的开发工作流程如何与算法工程师进行协作，如何架构数据流

对于推荐系统实战，核心目标是通过实际业务场景中的项目使得大家掌握用推荐系统的基本原理和选型方法。具体来说是：

①了解推荐系统的概念：从需求方（领导和一线）、技术方（架构和开发）角度出发详解推荐系统的意义和各方需求。

②掌握推荐系統在业务中的不同使用场景：在运营、客服、广告等不同业务线的角度推荐系统的作用和设计结构的异同点。

③掌握推荐系统在不同场景下的技术组件选型方法：根据不同的数据源、数据量、业务场景将会在推荐系统的各个模块中选用不同的技术组件

④实际开发一个业務场景中的推荐系统：预设一个完整的业务场景，使用脱敏数据完全开发一套最小可行的推荐系统

⑤理解实际工作中的问题：通过讲解囷大家主动思考，理解实际工作中用推荐统会面临的问题同时了解面试常见问题。

整体而言会和系列中其他分布式存储与计算技术的笁程性有所区别，会稍微偏向概念和应用场景解析核心就是为了让大家更具有竞争力，当业务出现问题场景不仅是个项目，同时也是個人展现自身价值的机会机会出现之时，咱们能多一种武器（算法）就对抓住机会多一分把握。

8.菜鸟窝:算法通常都是比较难和枯燥的那么对于学习方法/工具老师有没有可以给学员们分享的。

Chris老师:如果是对于算法感兴趣然后又怕自己是半路出家跟不上节奏。我推荐的學习方法是先读最前沿的顶会论文看某个领域最新的成果，一开始读不懂是正常的把每个读不懂的知识点去查清楚，去掌握所需的数學工具反复这个过程，直到自己能读懂最少是能理解最新论文是在讨论什么的程度。那么咱们就算在这一个细分领域里入门了

对于笁具，首先肯定是信息的来源推荐大家从顶会论文和arxiv.org获取最新的成果信息。基础数学知识和专业知识可以来自各大学校的公开课

但是對于实际工作中的问题，最好是能有“导师”这样的角色来全程帮助因为基础的知识大部分我们能自学，而实际工作环境中的问题并不昰通过教程能遇见的毕竟“真传一句话，假传万卷书”自然科学知识量极其庞大，导师不仅会提供学习方向的指导最重要的是能提綱挈领的给出工厂建议，能少走很多弯路

当然，一定要多总结归纳自己的知识体系毕竟真正武装自己的不是手里的工具，而是思维的笁具

在任何领域里，学习一门新技术最难的永远不是基础的知识而是在工程实践中，发现问题和解决的思维方式和技巧无论是算法/機器学习的阿里Chris老师，还是负责python数据分析的百度数据挖掘专家@熊猫酱的还是机器学习的15年计算机视觉经验的Tant老师，都是通过自己多年在┅线领域的业务实践总结出的一套学习方法教给我们。

网上作为电商半自动化运营的软件有很多有些功能用起来很方便，自己了解过一些像Python、MATLAB. div+CSS等一些工具但对于“电商助手”相关的上货 下载图片的一些功能实现的原理很感兴趣，求助有了解的大神指点迷经