text: 确保资料品质的五个步骤。
  若要让机器学习（machinelearning）广泛应用且可创造获利，最大的障碍就是资料品质太差。「垃圾进，垃圾出」（garbage-in,garbage-out）这个犀利的观察，多年来一直困扰着分析和决策领域，但这对机器学习来说，更具有特殊的警惕意义。机器学习对品质的要求特別高，而品质差的资料有两次出现机会，第一次是用来训练预测模型的歷史资料，第二次则是那个模型在未来要做决策时所使用的新资料。
  为了用恰当的方式来训练预测模型，歷史资料必须符合特別广泛且高品质的标准。首先，资料必须是正确的：它必须正确、恰当地标示、已去除重复内容等。但你也必须有对的资料，也就是要有许多无偏误的资料，而且你打算开发的预测模型所需要输入的所有范围的资料，都必须包括在内。大多数的资料品质管控工作，只着重在上述两个标准的其中之一，但对机器学习来说，你必须同时採用这两个标准。
  只是在今日，大部分资料都不符合基本的「资料是正确的」标准。原因有很多，像是产生资料的人不了解该怎么做、沒有好好校准的衡量工具、过度复杂的流程、人为过失等。为弥补这些缺失，资料科学家在训练预测模型之前，会先清理这些资料。清理工作很耗时间（约占资料科学家80％的时间），而且单调乏味，这是他们最常抱怨的问题。即使做了这些努力，资料清理工作仍无法侦测并修正所有的错误，而且目前还沒有办法了解这对预测模型有什么影响。此外，资料不见得都能符合「要有对的资料」的标准，例如有报告指出人脸辨识与刑事司法体系里会出现资料偏误。
  日益困难的问题，不只需要更多资料，还需要更多元、更完整的资料，因而产生更多资料品质的问题。举例来说，IBM致力把机器学习应用到癌症治疗上，例如运用华生（Watson）系统，而手写的笔记和小范围内通行的缩写用法，让IBM这项努力变得更复杂。
  在执行方面，资料品质问题也一样造成麻烦。假设有一家公司打算透过机器学习计画来提高生产力。开发出预测模型的资料科学团队，虽然之前可能已经很认真地清理过训练用的资料，但之后实际运作时，预测模型仍可能因为品质差的资料而影响到成效。同样还是需要人力（而且是很多人力），来找出并修改错误。于是破坏了原先想提高生产力的期望。另外，随着机器学习技术普及到全公司，一个预测模型产出的结果，会输入另一个预测模型，一轮一轮持续下去，甚至传送到公司以外的地方。这情况的风险在于，在某一个步骤产生的微小错误，会一步步传递下去，在整个过程中造成更多错误，演变成更严重的错误。
  想解决以上这些担忧，必须实施一个做法积极、执行良好的品质计画，要投入的心力远超过日常业务所需。领导人必须盡全力推动以下五个步骤。
  首先，釐清你的目标，并评估是否有对的资料，可支援达成这些目标。假设有一家房屋贷款公司，希望把机器学习应用在他们的贷款流程中。他们该同意某件贷款吗？如果答案是肯定的，该採取哪些同意条款？使用机器学习想达成的目标，可能有以下这些：
  ●降低现有决策流程的成本。既然目标并不是做出更好的决定，现有的资料应该就足够了。
  ●排除现有决策流程中的偏误。这种偏误几乎一定会反映在现有资料里。应该要小心进行。
  ●改善决策流程，也就是减少核准不按期还款客户的贷款，并且核准先前曾拒绝核贷、但预测客户应该会还款的贷款申请。注意，尽管公司有很多贷款申请被拒的案例资料，但无法得知这些贷款申请若当初有通过，客户会不会缴贷款。处理这类分析时必须极为小心。
  如果既有资料无法达成这些目标，最好的解决之道就是找新的资料，或是缩小目标，或是两者同时进行。
  第二，在整个专案计画中，配置许多时间，来执行基本的资料品质管控。针对机器的训练，表示平均每投入一人花一个月时间建立预测模型，就会需要有一人平均花四个月时间清理资料，因为你必须衡量品质水准、评估来源、删去重复内容、清理训练资料，就跟你为重要的分析工作所做的准备一样。而针对执行面，最好能排除造成错误的根本原因，并盡量减少后续清理资料的工作。这样做很有益处，能消除隐藏的错误资料，也能节省营运作业的时间与金钱。盡快开始这项工作，而且应该在你希望推出预测模型之前六个月，就开始进行。
  第三，在准备训练资料时，做好流水纪录（audittrail）。原始的训练资料、训练时使用的资料，还有从前者到后者之间採取的所有步骤，都应该保留备份。这是明智的做法（虽然许多人不明智地沒有这么做），而且能协助你进行必要的流程改善，以便未来能使用预测模型来做决定。另外很重要的是，应该要了解模型中的偏误和限制，而流水纪录可以协助你找出它们。
  第四，在推出模型时，指派某个人（或团队）负责资料品质。这个人应该非常了解那些资料，包含资料的强项和弱点，而且有两个核心任务。首先，每天为新进来的资料设定并执行品质标准。如果资料品质不够好，就由人来做。第二，他们领导持续找出并排除错误的根源。这项工作之前就应该已经开始进行，而且要持续下去。
  最后，取得独立、严格的品质保证。这里所谓的品质保证，是指确保品质计画能产生所要结果的过程。其中的关键词是「独立」，所以这个工作应该由其他人来做，可以是内部的品质保证部门、其他部门的团队，或是有资格执行的第三方。
  就算採行前述五个步骤，你必定会发现你的资料仍不完美。你也许可以容忍预测模型里有一些微小的资料品质问题，像是在第15个最重要的变数里出现一个缺失值（missingvalue）。若要探索这个领域，在准备资料和训练模型时，你可以让资料科学家搭配经验最丰富的业务人员。商业分析平台Stratyfy是一家为人工智慧（artificialintelligence）带来透明度和责任的新创公司，该公司共同创办人萝拉．科恩豪瑟（LauraKornhauser）表示：「你应该盡快把你们负责业务的人员和资料科学家集合在一起。尤其业务人员一直都在处理品质差的资料，你必须把他们的专业知识，纳入你的预测模型里。」
  看来有很多事要做吧？沒错。不过，机器学习实在是威力强大，你必须学习运用它的威力。资料品质差，会导致这股威力遭到延迟、否定或误用，因此前述那么多的事情都是应该要做的。
  记住我的登入状态忘记密码?