NLP，吹爆与落地

作者 | zhpmatrix 

整理 | NewBeeNLP

周末分享一篇旧文&＃xff0c;聊聊一些软技术方面的&＃xff0c;关于NLP场景和技术上的问题。由于样本有限&＃xff0c;以下思考仅代表个人「过拟合观点」&＃xff0c;欢迎讨论交流 

故事是这样的...

“卧槽&＃xff0c;这届标注人员不行啊&＃xff0c;打标一致性不足50%&＃xff0c;搞个锤子&＃xff01;”&＃xff0c;隔壁工位的老吴面部通红&＃xff0c;愤愤吐槽着。听道&＃xff0c;带着厚厚黑色眼镜框的小李凑上来&＃xff0c;“有可能这个打标任务太难了&＃xff1f;”。“说多了都是泪&＃xff0c;上次我的一个标注任务&＃xff0c;一个标注同学给所有样本都打了正标签&＃xff01;”&＃xff0c;对面老王补充道。这时&＃xff0c;慢慢走过来一个身型微胖的人&＃xff0c;用力拍打着老吴的肩膀&＃xff0c;“兄弟&＃xff0c;我要基于你的数据做模型&＃xff0c;求你千万不要挖坑埋我&＃xff0c;我还木有妹子呢…”

“哎……“&＃xff0c;老吴长长地叹了一口气&＃xff0c;起身泡枸杞菊花茶去了。

上述场景应该对大多数工业界NLP团队来说&＃xff0c;应该都挺熟悉的吧。虽说不知道何方大佬说的“NLP是人工智能皇冠上的明珠”&＃xff0c;但是依然存在很多类似这样的问题&＃xff0c;“为什么NLP领域难出独角兽&＃xff1f;”等。当写下这段文字时&＃xff0c;作为CV领域的Face&＃43;&＃43;正在准备上市。

这篇博客想从场景和技术上聊一聊最近的一些观察和思考&＃xff0c;尝试回答一下上面的问题。

"缺乏相对独立且足够大的场景"

这句话是吕正东说的&＃xff0c;个人表示非常同意。比如&＃xff0c;CV领域的安防就是一个符合上述两个条件的场景。杭州的海康&＃xff0c;宇视&＃xff0c;大华正是安防三巨头。当然&＃xff0c;这样的场景需要添加一个外部条件&＃xff0c;“中国特色”。国内产品的海外市场化&＃xff0c;需要去“中国特色”。这是另外一个问题了。

那么&＃xff0c;NLP领域有没有接近上述条件的场景&＃xff1f;

1. 机器翻译。可以用独立的方式提供服务&＃xff0c;比如提供在线实时多语种的翻译功能。比如翻译专用的硬件产品。

2. 对话系统。智能客服&＃xff0c;对话机器人&＃xff08;用软的方式呈现能力&＃xff09;&＃xff0c;智能音箱类&＃xff08;用硬的方式呈现能力&＃xff09;。

但是&＃xff0c;你真的需要一个机器翻译的硬件吗&＃xff1f;你经常和小冰谈人生聊理想&＃xff1f;遇到问题和一个客服机器人扯淡半天&＃xff0c;还不停地问你&＃xff0c;你要解决的是问题是A/B/C?

其实&＃xff0c;我是不需要的。这里谈的是独立但不大的问题。

但从另外一个方面讲&＃xff0c;搜索&＃xff0c;广告和推荐满足非独立但场景足够大&＃xff0c;是头部公司的现金牛业务。这里&＃xff0c;NLP更多地担当整个技术链条中的一个环节。个人的一个观点&＃xff0c;在这些场景下&＃xff0c;工程要求远大于算法要求。

通过对比&＃xff0c;就可以看到。为什么强调独立&＃xff1f;和大业务耦合在一块儿&＃xff0c;脱离了头部公司&＃xff0c;玩儿个锤子。要玩儿&＃xff0c;得先建立一个大盘子&＃xff0c;这个能力不是所有团队都具有的。为什么强调场景足够大&＃xff1f;不大&＃xff0c;怎么融资、生存&＃xff1f;

当满足上述两个条件时&＃xff0c;可以直接做出面向C端的产品。不严格地讲&＃xff0c;现在多数国内NLP创业公司打着做面向C端的产品&＃xff0c;实际上是面向B端&＃xff0c;且这种面向B端的能力无法规模化扩展。要知道&＃xff0c;不是所有团队都有拿到大B的能力。实际上&＃xff0c;B还是C本来也是一个大问题&＃xff0c;是一种选择&＃xff0c;并非哪种一定是最优的。只不过个人立场一直在C端而已。

但是&＃xff0c;为什么会造成缺乏相对独立且足够大的场景的问题&＃xff1f;这里想表达的一个观点是&＃xff1a;虽然场景&＃xff08;这里基本等同了需求&＃xff09;与技术本来没有直接的关系&＃xff0c;但是技术的突破会带来更有想象力的场景。

因此&＃xff0c;这里的结论是&＃xff1a;NLP的技术成熟度还不足以支撑满足上述条件的场景。

到底技术上欠了哪些债&＃xff1f;

1. 认知层面上的数据标注问题。

在文章开头描述的场景几乎是一个NLP团队每天都会遇到的&＃xff0c;问一个算法工程师做什么最花时间&＃xff1f;一般回答可能都是处理数据。在数据处理之前&＃xff0c;需要数据标注&＃xff0c;那么如何设计一个科学友好的标注指南可能就是一个非常重要的问题。由于大多数NLP问题是认知层面的问题&＃xff0c;因此主观性就比较强。对于同样的输入&＃xff0c;不同背景和经历的标注者的认知不同&＃xff0c;因此得到的数据标签也就不同。而对于DL场景下的模型训练&＃xff0c;Data Hungry和Data Unefficient几乎是一个无法避免的问题。

主观性导致的标注不一致&＃xff0c;标注昂贵。老吴困晕在厕所。这几乎是工业界做NLP经常会遇到的第一个重要且难度较高的问题。对学术界刷公有数据集的读者来说&＃xff0c;这个问题不存在的。

1. 部分问题缺乏科学有效的评估指标。

BLEU的出现极大地推动了机器翻译的进展。但是对于一些任务&＃xff0c;现行指标包括BLEU等仍旧不是对于相应任务的最佳指标&＃xff0c;特别对于生成类任务。因此&＃xff0c;多数时候&＃xff0c;发现模型指标比较好的时候&＃xff0c;预测结果较差&＃xff0c;不一定是过拟合呀。

在现在绝大多数生成类任务的论文中&＃xff0c;都会包括人类评估指标&＃xff0c;目的是人肉评估生成文本的质量。对于黑心团队&＃xff0c;去你大爷的。

1. 模型&＃xff0c;策略的进展问题。

假设有了&＃xff08;1&＃xff09;和&＃xff08;2&＃xff09;问题的解决&＃xff0c;剩下的靠&＃xff08;3&＃xff09;就行了。多数学术界的工作目前都围绕在&＃xff08;3&＃xff09;来开展。虽然BERT流给NLP的发展带来了新一轮春天&＃xff08;个人围绕BERT做了很多工作&＃xff09;&＃xff0c;但是不得不承认&＃xff0c;目前绝大多数模型&＃xff0c;仍旧是黑盒模型&＃xff0c;解释性不强。数据驱动的模型&＃xff0c;多数情况下需要对特殊样本进行hotfix&＃xff0c;但这种hotfix目前尚不能直接反馈在模型中。模型不够&＃xff0c;规则来补。没写够一万条规则的人工智能工程师不是好工程师。

上述三者&＃xff0c;均需要大量人力&＃xff01;所以&＃xff0c;“有多少人力&＃xff0c;就有多少智能”不是一句空话。回到场景下&＃xff0c;这也是限制2B产品规模化扩展的一个方面。

技术不行&＃xff0c;咋办&＃xff1f;

用好的设计拟补算法的不足&＃xff0c;是我司老板的一个观点&＃xff0c;也是个人目前比较认同的观点。比如&＃xff0c;在纠错场景下&＃xff0c;由直接替换模型认为的错误文本改为推荐正确替换文本&＃xff0c;将决定权交给人而非机器。但是&＃xff0c;显然并非所有场景都可以用产品设计上的长处来拟补模型的短处。做不好模型&＃xff0c;产品妹子和设计小哥都会来揍你的呀&＃xff01;他们就想问问&＃xff0c;“怎么用好的设计拟补算法的不足&＃xff1f;”&＃xff0c;逃。

只见一产品妹子轻轻地走过来&＃xff0c;“hi&＃xff0c;小哥哥&＃xff0c;小哥哥&＃xff01;你把这个需求做一下吧&＃xff0c;根据用户手机壳颜色变换APP主题颜色&＃xff01;”

总结一下上面讨论的问题。没有理想的独立且大的场景&＃xff0c;技术上似乎还不太行。不管怎样&＃xff0c;在给定一个小场景下&＃xff0c;似乎总还是可以用产品设计上的长处掩盖技术不行的短处。

对于国内目前的一些NLP领域创业公司&＃xff0c;挂“羊头”这种事是必须的&＃xff0c;资本应该不太会直接给“狗头”买账。不过&＃xff0c;卖“狗肉”也是必须的&＃xff0c;这是短期落地的一个可行方式&＃xff0c;先活着&＃xff0c;“羊肉”转正才有可能。

作为一个NLP技术从业人员&＃xff0c;当然希望NLP无论在技术上还是在商业上都能取得成功。对于目前的NLP领域的创业公司&＃xff0c;也保持有最大的敬意&＃xff0c;他们是变革的引领者。”世之奇伟&＃xff0c;瑰怪&＃xff0c;非常之观&＃xff0c;常在于险远。“如果这个世界到处都是CV的创业公司&＃xff0c;那会多么无趣呀。

最后&＃xff0c;真心祝愿“二十一世纪是生物的世纪”的落寞不会出现在“NLP是人工智能皇冠上的明珠”上。

推荐阅读

• 硅谷顶级VC发声&＃xff1a;AI技术公司毛利实在太低&＃xff0c;人工和算力成本太高^[1]

• 知乎&＃xff1a;为什么nlp没有像cv四小龙一样的创业公司&＃xff1f;^[2]

• 知乎&＃xff1a;NLP究竟能有哪些真正有意义的应用场景&＃xff1f;^[3]

• 知乎&＃xff1a;nlp到底还有多大的发展空间&＃xff1f;^[4]

• 张俊林&＃xff1a;对NLP以及推荐系统未来发展趋势的看法^[5]

一起交流

想和你一起学习进步&＃xff01;『NewBeeNLP』目前已经建立了多个不同方向交流群&＃xff08;机器学习 / 深度学习 / 自然语言处理 / 搜索推荐 / 图网络 / 面试交流 / 等&＃xff09;&＃xff0c;名额有限&＃xff0c;赶紧添加下方微信加入一起讨论交流吧&＃xff01;&＃xff08;注意一定要备注信息才能通过&＃xff09;

本文参考资料

[1]

硅谷顶级VC发声&＃xff1a;AI技术公司毛利实在太低&＃xff0c;人工和算力成本太高: http://suo.im/62CPdy

知乎&＃xff1a;为什么nlp没有像cv四小龙一样的创业公司&＃xff1f;: https://www.zhihu.com/question/353060902/answer/952984073

知乎&＃xff1a;NLP究竟能有哪些真正有意义的应用场景&＃xff1f;: https://www.zhihu.com/question/264459321

知乎&＃xff1a;nlp到底还有多大的发展空间&＃xff1f;: https://www.zhihu.com/question/340682366/answer/792111030

张俊林&＃xff1a;对NLP以及推荐系统未来发展趋势的看法: https://zhuanlan.zhihu.com/p/79677478

- END -

我从吴恩达AI For Everyone中学到的十个重要AI观 2020-03-25

太难啦&＃xff01;面试官盘点NLP近五年招聘动态 2020-03-19

小破号月度干货总结 2020-03-07