机器学习真实案例研究：基于文本描述的交易聚类

作者&＃xff1a;Ravindra Reddy Tamma 翻译&＃xff1a;方星轩. 校对&＃xff1a;欧阳锦

本文约2200字&＃xff0c;建议阅读5分钟。

本文为大家介绍了在日常的电子交易中对用户的交易信息进行聚类分析和建模&＃xff0c;提供了用户分析的思路和建议。

我们正生活在数字技术时代。还记得你上次去到没有PayTM或BHIM UPI的商店是什么时候吗&＃xff1f;很显然&＃xff0c;这些数字交易技术已迅速成为我们日常生活的关键部分。

数字技术不仅是个人&＃xff0c;也是各大金融机构的核心。依托着可靠的后台运行系统&＃xff0c;执行多种选项的支付交易或资金转帐&＃xff08;例如&＃xff0c;网上银行&＃xff0c;ATM&＃xff0c;信用卡或借记卡&＃xff0c;UPI&＃xff0c;POS机等&＃xff09;是一件非常顺利的事。

对于我们进行的每笔交易&＃xff0c;都会针对它生成一个适当的描述消息&＃xff0c;如下所示&＃xff1a;

在本文中&＃xff0c;我们将讨论一个金融机构的实际使用案例&＃xff0c;该案例使用-聚类clustering&＃xff08;一种流行的机器学习算法&＃xff09;来为其客户群定制其产品。

本案例研究的动机

作为一家金融机构&＃xff0c;始终根据客户的兴趣为他们量身定制报价&＃xff0c;并以此来吸引现有客户群是很重要的事。对于任何金融机构而言&＃xff0c;把握全方位的客户信息是一项重大挑战。

Twitter&＃xff0c;WhatsApp&＃xff0c;Facebook等社交媒体平台已成为描述客户兴趣和偏好的主要信息来源。金融机构使用第三方来源的数据通常会付出巨大的成本。即使如此&＃xff0c;将社交媒体帐户映射到每一个客户也非常困难。

那么我们该如何解决呢&＃xff1f;

“A partial solution to the above problem can be addressed by using in-house transaction data available with the institution”

“上述问题的部分解决方案可以通过使用该机构提供的内部交易数据来解决”

我们可以根据交易描述消息将客户执行的交易分为不同的类别。此方法可用于标记是否进行了食品&＃xff0c;运动&＃xff0c;衣服&＃xff0c;账单支付&＃xff0c;家庭&＃xff0c;其他等类别的交易。如果客户的大部分交易都出现在特定类别中&＃xff0c;那么我们可以对他/她的交易偏好有更好的预估。

这是我们采取的方法

来了解我们如何处理此问题&＃xff0c;并为之找出解决方案时而采取的关键步骤吧。

• 确定主题数量

我们从所有交易开始&＃xff0c;将其描述消息映射到每个客户。首先&＃xff0c;我们有一项重要的任务&＃xff0c;即确定集群&＃xff08;clusters&＃xff09;&＃xff08;或&＃xff09;类别&＃xff08;catergories&＃xff09;&＃xff08;或&＃xff09;主题&＃xff08;topics&＃xff09;的数量。为了实现这个目标&＃xff0c;我们使用主题建模&＃xff08; Topic Modelling&＃xff09;。

Topic Modelling

https://www.analyticsvidhya.com/blog/2018/10/stepwise-guide-topic-modeling-latent-semantic-analysis/

主题建模是一种对文档进行无监督分类的方法&＃xff0c;即便我们不确定要查找的内容&＃xff0c;它也可以找到适合的项目组。它主要使用狄利克雷分布&＃xff08;LDA&＃xff09;来拟合主题模型。

它将每个文档&＃xff08;即交易&＃xff09;视为主题的混合&＃xff0c;而将每个主题视为文字的混合。举个例子&＃xff1a;预算一词可能出现在电影主题和政治主题中。该LDA的基本假设是&＃xff0c;样本中的每个观察值来自可以被生成统计模型解释的任意未知分布中。

主题建模可以解决我们的问题。这里有一种生成统计模型&＃xff0c;该统计模型已经生成了交易描述中的所有文字&＃xff0c;这些文字来自未知的任意分布&＃xff08;即未知的组或主题&＃xff09;。我们尝试估计/建立一个统计模型&＃xff0c;以便预测一个单词属于特定主题的概率。

• 主题连贯

我们已经通过手动查看各个主题中的热门关键字来确定主题总数&＃xff0c;这可能有点主题不一致&＃xff0c;而且我们还需要一种主观的方法来评估正确的主题数量。那么&＃xff0c;我们使用主题连贯性&＃xff08; Topic Coherence&＃xff09;来确定正确的主题数。

Topic Coherence

https://rare-technologies.com/what-is-topic-coherence/

主题连贯性应用于该主题的前N个单词。它被定义为主题中单词的成对相似度得分的平均值/中位数。好的模型会产生连贯的主题&＃xff0c;即主题连贯得分高的主题。

好的主题是可以用短标签描述的。因此&＃xff0c;这就是主题一致性方法所捕获的内容&＃xff1a;

是时候聚类了&＃xff01;

我们已经确定了主题/群集的总数&＃xff08;在我们的案例中为7个主题&＃xff09;。我们应该开始将每个交易描述消息分配给主题。在将文档分配给主题时&＃xff0c;仅依靠主题建模可能无法产生准确的结果。

在这里&＃xff0c;我们使用主题建模的输出以及其他一些功能&＃xff0c;使用 K-Means clustering对交易描述消息进行聚类&＃xff0c;我们将主要为K-Means集群构建功能集。

K-Means clustering

https://www.analyticsvidhya.com/blog/2019/08/comprehensive-guide-k-means-clustering/

特征&＃xff1a;

• 基本特征

- 字数&＃xff0c;位数&＃xff0c;特殊符号数

- 最长数字序列长度&＃xff0c;数字-字符比

- 平均&＃xff0c;最长字长等

- 交易的周&＃xff0c;日和月&＃xff0c;当前日期&＃xff0c;周末交易等

- 每月最后5天或每月前5天执行的交易

- 公众假期和节日交易等

• 查找功能–使用行业中的顶级品牌和常用名词作为查找名称。计算与特定行业相关的交易描述中的单词数。

- 食品&＃xff1a;蔬菜&＃xff0c;多米诺骨牌Dominos&＃xff08;披萨品牌&＃xff09;&＃xff0c;FreshDirect&＃xff08;美国的在线食品杂货商&＃xff09;&＃xff0c;赛百味等

- 体育&＃xff1a;棒球&＃xff0c;阿迪达斯&＃xff0c;足球&＃xff0c;防滑钉等

- 卫生&＃xff1a;药房&＃xff0c;医院&＃xff0c;体育馆等

- Bill&＃xff06;EMI&＃xff1a;政策&＃xff0c;能源&＃xff0c;声明&＃xff0c;时间表&＃xff0c;取款&＃xff0c;电话等。

- 娱乐&＃xff1a;Netflix&＃xff0c;Prime节目&＃xff0c;Spotify&＃xff0c;Soundcloud&＃xff0c;酒吧

- 电子商务&＃xff1a;亚马逊&＃xff0c;沃尔玛&＃xff0c;eBay&＃xff0c;Ticketmaster等

• 其他&＃xff1a;Uber&＃xff0c;Airbus&＃xff0c;打包机等

主题建模功能

对使用TF-IDF方法生成的DTM矩阵的一元模型和二元模型执行主题建模。对于每个主题的交易描述的unigram一元模型和bigram 二元模型DTM矩阵&＃xff0c;我们使其获得2组7种的不同概率。

最后的想法

每个交易描述大约有30个功能&＃xff0c;我们执行K-Means聚类将每个交易描述分配给7个集群之一。

结果表明&＃xff0c;聚类中心附近的观测结果大多标有正确的主题。少量错误的主题标签被分配在距离聚类中心较远的观察点。在手动查看的350个交易描述中&＃xff0c;大约240个&＃xff08;准确率为69&＃xff05;&＃xff09;交易描述已正确标记了适当的主题。

现在&＃xff0c;我们至少可以对内部客户的偏好和兴趣进行基本估算。我们可以通过发送定制的要约和选项使内部客户参与并改善业务。

尽管使用主题建模的方法相对新颖&＃xff0c;实际上&＃xff0c;大多数的信用卡的发行商都会使用对客户交易的兴趣进行分类。例如&＃xff0c;美国运通公司一直在使用这种方法为其客户创建兴趣图。这样的兴趣图不仅将交易分为食物&＃xff0c;旅行等主要类别&＃xff0c;而且还创建了诸如泰国美食迷&＃xff0c;野生动物爱好者等的细分。所有这些分类都仅仅基于交易数据的丰富性&＃xff01;

关于作者

Ravindra Reddy Tamma –数据科学家&＃xff08;Actify数据实验室&＃xff09;

Ravindra是Actify Data Labs的机器学习专家。他的专长包括信用风险分析&＃xff0c;应用程序欺诈建模&＃xff0c;OCR&＃xff0c;文本挖掘以及将模型部署为API。他与贷方广泛合作&＃xff0c;以开发应用程序&＃xff0c;行为和收款记分卡。

Ravindra还使用非结构化征信机构标头信息为印度的无抵押贷款开发了国家级应用程序欺诈模型。除信用风险外&＃xff0c;Ravindra在OCR&＃xff0c;图像分析和文本挖掘方面拥有深厚的专业知识。Ravindra还在自动化生产数据管道和将机器学习模型部署为可扩展的API方面具有丰富的专业知识。

原本标题&＃xff1a;

Real-World Machine Learning Case Study: Clustering Transactions Based on Text Descriptions

译者简介:方星轩&＃xff0c;美国东北大学数据分析研究生在读&＃xff0c;本科毕业于美国莫瑞州立大学商学院。对利用数据来进行市场和企业内的分析有着浓厚的兴趣&＃xff0c;对机器学习AI领域充满好奇。喜欢篮球&＃xff0c;吉他&＃xff0c;旅行&＃xff0c;希望能够结交朋友分享故事&＃xff0c;拓宽视野&＃xff0c;客观的看待世事万物。

转自&＃xff1a;数据派THU 公众号&＃xff1b;

版权声明&＃xff1a;本号内容部分来自互联网&＃xff0c;转载请注明原文链接和作者&＃xff0c;如有侵权或出处有误请和我们联系。

END

合作请加QQ&＃xff1a;365242293  

数据分析&＃xff08;ID : ecshujufenxi &＃xff09;互联网科技与数据圈自己的微信&＃xff0c;也是WeMedia自媒体联盟成员之一&＃xff0c;WeMedia联盟覆盖5000万人群。