19䃊算了崁簏师总结柾解学习项目成功落太秀亇条秘诀

大数据枇乘掛权转佽俪，嬏琑的卖萌剋

作者：姾䖇刀刀

1. 敏捷开发（ Velocity ）
2. 系统验证（ Validation ）
3. 多个版本（ Versioning ）

受访者 P11：我往往会从一个已经存在的模型开始训练，因为这意味着更快速的迭代。通常，从我们的经验来看，数据能够帮助突破瓶颈......显然这并不是说“永远不会修改模型”，只是这不应该是我们在处理实际问题时的第一步。

受访者 P11：将模型的表现喚么 KPI 暹一件霋帵重䦁や事。但这件事的重点是，你需要指出真正重要的是什么。坦白地说我认为这才是人们进行 AI 工作的方法。不是简单的：“嘿！让我们搞点实验整点好炠的 precision 和 recall 给老板展示吧！”而是：“嘿，让我们讨论下每个人各自负责的业务指标吧！”

受诋而 P7：...所以戋匌以通姇剓朅硽窆帀告诉别中模剈殘枙为什下ﾠ在生产版境中）下㙍。那么我能不能提前避免此类问题呢？应该不行。那么我的分析算是有用的吗？可能不是。

• 不科学的训练集设置可能会导致数据泄露等问题；
• 开发时极度依赖 Jupyter Notebookﾠ需要花费精力进行 pipeline 重构迁移；
• 不太好做 code review，因为可能存在丗亗响脐袋的損佳。

受访者 P18：产品的指标是会随着公姸规划而变化的。也许之前公司关心的是多少收益率，但现在可能他们更希望有更多的装机量。公司和产品的目标一直在变，如何将其量化䀍挡埯皇指标也是亙个问题。

受访者 P1：我记得有一个 PR，它添加了许多数据增强相关的代码和资源。但如果不是当时有人在代码审查中因为好奇随手点开了数据加载的源码，之后几乎不可能发现其实数据中的 ground truth 被翻转过了。如果这个问题没被识别，那么也许最后模型的准确率只会稍稍下跌。

受访者 P1：还有个例子，我们的 AI 团队花费了大量的精力和成本用于优化模型，但是最终产品的表现却几乎没有什么提升。所有人都很沮丧，直到一个非 AI 团队的人在工作流中调整了一个不影响模型的参数，这个产品的运行一下子变得顺畅很多。没有人知道为什么。

[1] [Twitter] Operationalizing Machine Learning: An Interview Study, https://twitter.com/sh_reya/status/1572273917640970241?s=21&t=aSP2MK4BndRVjpQAEvYLeQ

[2] [Paper] Operationalizing Machine Learning: An Interview Study, https://arxiv.org/abs/2209.09125

点「在看」的人都变好看了哦！