将机器学习从实践转移到生产

随着对神经网络和深度学习的兴趣日益浓厚&＃xff0c;个人和
公司声称在其日常工作流程和产品中不断增加人工智能的采用率。

再加上AI研究的迅捷速度&＃xff0c;新一轮的流行浪潮显示了解决其中一些难题的巨大希望。

就是说&＃xff0c;我觉得这个领域在欣赏这些发展与随后部署它们以解决“现实世界”任务之间陷入了鸿沟。

已经出现了许多框架&＃xff0c;教程和指南&＃xff0c;以使机器学习民主化&＃xff0c;但是它们规定的步骤通常与需要解决的模糊问题不吻合。

这篇文章是一个问题的集合&＃xff08;有一些&＃xff08;甚至是错误的&＃xff09;
答案&＃xff09;在将机器学习应用于
生产。

垃圾进垃圾出

我有可靠的数据源吗&＃xff1f; 我从哪里获取数据集&＃xff1f;

在开始时&＃xff0c;大多数教程通常都包含定义明确的数据集。
无论是MNIST还是Wikipedia语料库&＃xff0c;或者是
在UCI机器学习存储库中 &＃xff0c;这些数据集通常不能代表您要解决的问题。

对于您的特定用例&＃xff0c;可能甚至不存在适当的数据集&＃xff0c;并且
建立数据集可能需要比您预期更长的时间。

例如&＃xff0c;在Semantics3&＃xff0c;我们解决了许多电子商务特定的问题&＃xff0c;从产品分类到产品匹配再到搜索
相关性 。 对于这些问题中的每一个&＃xff0c;我们必须仔细研究并花点时间
大量努力来生成高保真产品数据集。

在许多情况下&＃xff0c;即使您拥有所需的数据&＃xff0c;也可能需要大量&＃xff08;且昂贵 &＃xff09;的体力劳动来对数据进行分类&＃xff0c;注释和标记以进行培训。

将数据转换为输入

需要哪些预处理步骤&＃xff1f; 在与算法一起使用之前&＃xff0c;如何规范数据&＃xff1f;

这是通常独立于实际模型的又一个步骤&＃xff0c;在大多数教程中都被掩盖了。 当探索深度神经网络时&＃xff0c;这种遗漏显得更加明显&＃xff0c;在深度神经网络中&＃xff0c;将数据转换为可用的“输入”至关重要。

尽管存在一些用于图像的标准技术&＃xff0c;例如裁切&＃xff0c;缩放&＃xff0c;零中心和白化&＃xff0c;但是最终决定权仍然取决于每个任务所需的归一化级别。

使用文本时&＃xff0c;该字段变得更加混乱。 大写
重要&＃xff1f; 我应该使用令牌生成器吗&＃xff1f; 单词嵌入呢&＃xff1f; 我的词汇量和维度应多大&＃xff1f; 我应该使用预先训练的向量&＃xff0c;还是从头开始或分层&＃xff1f;

没有在所有情况下都适用的正确答案&＃xff0c;但与可用选项保持同步通常是成功的一半。 spaCy的创建者最近发表的一篇文章详细介绍了一种有趣的策略&＃xff0c;用于标准化文本的深度学习。

现在开始吧&＃xff1f;

我使用哪种语言/框架&＃xff1f; Python&＃xff0c;R&＃xff0c;Java&＃xff0c;C &＃43;&＃43;&＃xff1f; Caffe&＃xff0c;Torch&＃xff0c;Theano&＃xff0c;Tensorflow&＃xff0c;DL4J&＃xff1f;

这可能是最自以为是的问题。 我是
仅出于完整性考虑&＃xff0c;在此处包括本节&＃xff0c;很高兴为您指出可用于做出此决定的 各种 其他 资源 。

虽然每个人的评估标准可能不同&＃xff0c;但我的
只是简化了自定义&＃xff0c;原型制作和测试。 在这方面&＃xff0c;我更倾向于从scikit-learn开始&＃xff0c;并在我的深度学习项目中使用Keras 。

其他问题&＃xff0c;例如我应该使用哪种技术&＃xff1f; 我应该使用深
或浅层模型&＃xff0c;CNN / RNN / LSTM呢&＃xff1f; 同样&＃xff0c;有很多资源可以帮助您做出决策&＃xff0c;这也许是最多的
人们谈论“使用”机器学习时讨论的方面。

训练模式

如何训练我的模型&＃xff1f; 我应该购买GPU&＃xff0c;自定义硬件还是ec2&＃xff08;现货&＃xff09;实例&＃xff1f; 我可以并行化它们以提高速度吗&＃xff1f;

随着模型复杂性的不断提高&＃xff0c;以及对处理的需求不断增加
功率&＃xff0c;这是生产过程中不可避免的问题。

十亿参数的网络可能会保证其出色的性能
TB级的数据集&＃xff0c;但是大多数人都无法承受训练仍在进行中数周的等待。

即使使用更简单的模型&＃xff0c;跨实例构建&＃xff0c;训练&＃xff0c;整理和拆除任务所需的基础架构和工具也可能令人生畏。

将时间花在计划基础架构 &＃xff0c;标准化设置和尽早定义工作流程上可以为您构建的每个其他模型节省宝贵的时间。

没有系统是孤岛

我需要进行批量或实时预测吗&＃xff1f; 嵌入式模型或接口&＃xff1f; RPC还是REST&＃xff1f;

除非它与您的生产系统的其余部分连接&＃xff0c;否则您的99&＃xff05;验证准确性模型没有太大用处。 这里的决定
至少部分由您的用例驱动。

将简单的权重直接打包到您的应用程序中的模型可能会令人满意地执行&＃xff0c;而更复杂的模型可能需要与集中式重型服务器进行通信。

在我们的案例中&＃xff0c;我们的大多数生产系统都批量离线执行任务&＃xff0c;而少数生产系统则通过基于HTTP的JSON-RPC进行实时预测。

知道这些问题的答案也可能会限制
构建模型时应考虑的架构。 建立一个复杂的模型&＃xff0c;只是为了以后知道它不能部署在您的内部
移动应用程序是一场灾难&＃xff0c;可以轻松避免。

监控表现

如何跟踪我的预测&＃xff1f; 是否将结果记录到数据库&＃xff1f; 网上学习呢&＃xff1f;

在构建&＃xff0c;训练并将模型部署到生产中之后&＃xff0c;任务是
除非您已经安装了监视系统&＃xff0c;否则仍然无法完成。 确保模型成功的关键因素是能够测量和量化其性能。 在这个领域有许多问题值得回答。

我的模型如何影响整体系统性能&＃xff1f; 我要哪个号码
测量&＃xff1f; 该模型是否正确处理了所有可能的输入和方案&＃xff1f;

过去使用过Postgres&＃xff0c;我更喜欢使用它来监视我的模型。 事实证明&＃xff0c;定期保存生产统计信息&＃xff08;数据样本&＃xff0c;预测结果&＃xff0c;异常值&＃xff09;对于在部署过程中执行分析&＃xff08;和错误事后验算&＃xff09;非常有用。

要考虑的另一个重要方面是在线学习要求
您的模型。 您的模型应该动态学习新功能吗&＃xff1f; 当气垫板成为现实时&＃xff0c;产品分类程序应该将其放置在“ 车辆 &＃xff0c; 玩具”中还是将其保留为未分类状态 &＃xff1f; 同样&＃xff0c;这些是在构建系统时值得辩论的重要问题。

包起来

这篇文章提出的问题多于答案&＃xff0c;但这确实是重点。 随着新技术&＃xff0c;小区和层以及网络体系结构的许多进步&＃xff0c;错过森林比以往更容易。

从业人员需要对端到端部署进行更多讨论&＃xff0c;以推动该领域的发展并使真正的大众化机器学习民主化。

最初发布在 engineering.semantics3.com上 。

From: https://hackernoon.com/moving-machine-learning-from-practice-to-production-a476451161e5