如今,商业智能解决方案的发展和演变非常迅速,因此今天适用的方案可能明天就需要调整。从自然语言处理到数据保险的崛起,我们访问了客户和 Tableau 员工,请他们定义 2018 年可能最具影响力的 10 大趋势。无论您是数据达人还是 IT 高手,又或是正在建立商业智能系统的高管,这些趋势都能帮助您确定战略优先级,让您的组织更上一层楼。
2018 年商业智能 10 大趋势
值得一提的是,本次的商业智能 10 大趋势,同样邀请您的参与。你可以对下文罗列的所有趋势进行评价,分成 5 个等级,分别为:太冷门、冷门、一般、热门、大热门。复制下方链接至浏览器即可进行评价。
https://www.tableau.com/zh-cn/reports/business-intelligence-trends
觉得 10 大趋势还不够?Tableau 邀请你评选出第 11 大趋势!我们提供了 4 个潜力趋势,同时还提供给您插入自己想法的机会!现在就来投票吧~复制下方链接至浏览器可参与第 11 大趋势投票:
https://www.tableau.com/forms/bi-trends
近年来,大众文化让人们很不看好机器学习的作用。但随着研究和技术的不断完善,机器学习正在迅速成为分析师的有益补充。事实上,机器学习是分析师的终极助手。
假设需要快速查看价格变化对给定产品带来的影响。为此,您需要对数据运行线性回归运算。在 Excel、R 或 Tableau 问世之前,您不得不手动执行所有运算,整个过程需要花费数小时之久。得益于机器学习,您现在可以在几分钟甚至几秒钟内看到产品的消费情况。作为分析师,您无需进行如此繁重的工作,您可以继续研究后续问题 - 高消费量的月份是因外在因素(例如假期)造成的吗?是新产品造成的吗?还是因为新闻报导影响了产品购买或产品认知?您没有去考虑的是,您多么希望自己能花更多的时间来完善回归模型。
当您需要协助来解答问题时,机器学习可以帮助您揭开一块块掩盖真相的岩石。—— 员工软件工程师
机器学习可以从两方面帮助分析师。第一方面是效率。在上述示例中,分析师没有将宝贵的时间花费在基础数学运算上。他现在有更多的时间来考虑业务影响和后续的逻辑步骤。第二方面,它可以帮助分析师开拓并继续使用其数据分析流程,因为他们不用再停下来处理数字,而是可以继续提出下一个问题。正如软件工程师 Ryan Atallah 所说,“当你需要帮助来获得答案时,机器学习能帮助你对海量数据进行刨根问底式的分析。”
不可否认,机器学习具有协助分析师的潜力,但重要的是要认识到,当拥有确定无误的结果时,就应该接受这些结果。Tableau 的产品经理 Andrew Vigneault 表示:“面对主观数据时,机器学习表现得并没有那么好。”例如,对客户进行产品满意度调查时,机器学习无法始终提取定性字词。
此外,分析师需要了解数据的成功指标,以便用可操作的方式理解数据的含义。换句话说,输入到机器中不会使输出具有意义。只有人才能理解是否应用了正确的上下文数量 - 这意味着机器学习无法独立完成,因为机器学习不理解模型和正在进行的输入/输出。
虽然有人担忧我们可能会被机器学习所取代,但机器学习实际上对分析师们大有裨益,能使他们更高效、更准确、对业务更具影响力。不要害怕机器学习技术,而应该积极迎接它所带来的机会。
IDC 预测,到 2020 年,AI 和机器学习系统带来的收入总计将达到 460 亿美元。
2020 年,AI 将创造 230 万个工作岗位,同时淘汰 180 万个工作岗位,总体而言将促进就业。(Gartner)
随着分析行业不断寻求熟练的数据工作者,组织也希望能够提升其分析团队的水平,我们可能拥有大量的人才可供选用。我们非常清楚,人文学科和讲述故事促进了数据分析行业的发展。这并不令人惊讶。令人惊讶的是,从前专门由 IT 和高级用户完成的创建分析仪表板等技术工作,正在被熟悉讲述故事技能(一种主要来源于人文学科的技能组合)的用户所接管。此外,组织更重视聘用能够通过人文学和说服力(而不仅仅是分析本身)使用数据和见解来影响变革和推动转型的员工。
随着技术平台变得越来越易于使用,人们对技术专长的重视程度有所降低。每个人都可以轻松处理数据,无需曾经要求的高深技术技能。拥有更广泛技能的人员(包括人文学者)在缺少数据工作者的行业和组织中汇集,并形成影响力。随着更多的组织将数据分析作为业务重点,这些人文学科数据管理员将帮助公司认识到,支持广大员工自主进行数据分析会带来竞争优势。
我们看到,雇佣新一代的数据工作者已成为大势所趋。我们还注意到,一些技术型公司由有着人文学科教育背景的创始人领导或深受其影响。这包括 Slack、LinkedIn、PayPal、Pinterest 和其他几家高绩效技术公司的创始人和高管。
构建仪表板和进行分析需要一定的技能,但这里面还包含一些无法传授的东西 -- 这就是如何使用数据来讲述故事。—— Jenny Richards , Tableau 数据大师
将人文学科引入技术主导型公司的一个强有力的例子来自 Scott Hartley 的最新著作《模糊性与技术专家》(the Fuzzy and the Techie)。Nissan 聘请人类学博士 Melissa Cefkin 领导公司对人机交互的研究,特别是无人驾驶汽车与人类之间的交互。目前,无人驾驶车辆技术取得了较大的进展,但在混合人机环境时仍面临着重重障碍。以十字路口停车为例,人类通常会根据实际情况进行分析判断,这种能力几乎无法传授给机器。为了帮助应对这种情况,Cefkin 的任务是利用她的人类学背景知识来识别人类行为的模式,从而更好地向这些无人驾驶汽车传授人类遵循的模式,同时也将这些模式传达给乘车人。
随着分析发展过程中的人文成分增多,科学成分减少,分析的重点已经从简单的数据传递转变为精心制作数据驱动型故事,这些故事将无一例外地帮助制定决策。组织以前所未有的规模积极接纳数据,这种顺势而为意味着要更加强调讲述故事和表述数据。我们正处在讲述数据故事的黄金时代,在您的组织中的某处,可能就有数据故事讲述者正等待着为您揭开下一次重大发现。
语言艺术专业毕业生正以比技术专业毕业生快 10% 的速度加入技术领域劳动力。(LinkedIn)
财富 500 强企业的 CEO 有 1/3 拥有语言艺术学位。(Fast Company)
2018 年,我们会看到自然语言处理 (NLP) 变得越发流行、复杂、无处不在。随着开发人员和工程师不断完善自身对 NLP 的理解,将 NLP 整合到尚未实现的领域的情况也会增长。Amazon Alexa、Google Home 和 Microsoft Cortana 的日益普及,已经养成了人们的一种期望,即他们可以与自己的软件谈话并且软件能够明白该做什么。例如,通过说出命令:“Alexa,播放‘Yellow Submarine(黄色潜水艇)’”,您就可以在厨房中一边准备晚餐一边欣赏披头士乐队的演奏了。同样的概念也被应用于数据,因而每个人都能更容易地提出问题并分析自己现有的数据。
Gartner 预计到 2020 年,50% 的分析查询都将通过搜索、NLP 或语音生成。这意味着突然之间,首席执行官可以更轻松地随时随地让他的移动设备告诉他:“纽约购买订书钉的客户带来的总销售额”,然后可以筛选“过去 30 天内的订单”,还可以按“项目所有者的部门”进行分组。或者,您孩子的校长可以提问:“今年学生的平均分是多少”,然后可以筛选“八年级学生”,并按“教师负责的科目”进行分组。NLP 能让人们提出更细微的数据问题,并获得相关的答案,从而得出更好的日常见解和决策。
[NLP] 可以为分析师开拓视野,让他们对于自己的能力更加自信。—— Brian Elrod ,Mortgage Investors Group 数据分析主管
同时,开发人员和工程师将在学习和了解人们如何使用 NLP 方面取得长足的进步。他们将研究人们如何提出问题,包括从即时满足(“哪个产品销量最好?”)到探索(“我不知道我的数据可以告诉我什么 - 我的部门表现如何?”)方面的问题。正如 Tableau 的资深软件工程师 Ryan Atallah 指出的那样:“这种行为与提问的背景环境息息相关。”如果最终用户在使用移动设备,那么他们更有可能提出需要即时满足的问题,而如果他们坐在办公桌后查看仪表板,则他们可能正在探索和研究更深层次的问题。
要看清 NLP 给分析领域带来的最大助益,就需要理解 NLP 能够增强的各种工作流。Tableau 的资深软件工程师 Vidya Setlur 同样认为“不明确性是一个难题”,因此理解工作流比输入具体的问题更加重要。当相同的数据问题存在多种提问方式时(例如“本季度销售额最高的销售代表是谁?”或“谁在本季度的销售额最高?”),最终用户不希望考虑提问的“正确”方式,他们只想要答案。
因而,机会不在于将 NLP 置于每一种情况中,而是使其可用于正确的工作流,从而让它成为使用者的后天习惯。
到 2019 年,日常工作涉及使用企业应用程序的工作者中,75% 可以得到智能个性化协助来增补其技能和专业知识。(IDC)
到 2021 年,50% 以上的企业每年在机器人与聊天机器人上的投入将超过传统移动应用开发。(Gartner)
如果您的组织正在探索和评估 2018 年的多重云策略,那么您并不孤单。首席产品官 Francois Ajenstat 说道:“组织正在加快将数据和核心应用程序迁移到云的步伐。”“无论是‘直接迁移’还是重构平台,我们都看到客户显著提高了采用云技术的速度。”
Gartner 最近的一项研究表明,“到 2019 年,多重云策略将成为 70% 企业的常用策略,而目前仅有不到 10% 的企业应用此策略。”客户也变得更加敏感,担心自己局限于单一旧版软件解决方案中,无法满足未来的需求。然而,通过使用类似的 API 和开放标准(如 Linux、Postgres、mysql 等),交换和迁移变得相对容易。
您的组织很可能也在评估数据中心的设计和运行方式。您的 IT 部门根据风险、复杂性、速度和成本来评估托管环境,所有这些因素增加了找到满足组织需求的单一解决方案的难度。
评估和实施多重云环境可帮助确定谁能为您的情况提供最佳性能和支持。根据《波士顿先驱报》报道,GE 重新整合了其云托管策略,同时利用 Microsoft Azure 和 Amazon Web Services,旨在了解最佳性能托管环境,并比较哪一份合同转交给客户后提供的成本最低。
对于为客户降低风险及增加选择和灵活性,这种多重云或混合云策略正越来越重要。—— Francois Ajenstat ,Tableau 首席产品官
但是,如果没有清楚意识到迁移至此类环境的优点和挑战,多重云的趋势就不会出现。虽然灵活性是一个加分项,但多重云环境将组织的工作负载分散到多个提供商,增加了间接成本。而且多重云环境迫使内部开发团队根据其必须支持的不同环境,去了解多个平台并准备额外的管控流程。
此外,多重云策略还可能会降低公司或组织的购买力。如果一家公司从多个提供商处购买所需产品,那么公司可获得的总量折扣将受到影响。这会使公司陷入花高价却只能买到更少产品的购买模式。
调查和统计数据(例如上述 Gartner 数据点)表明多重云采用率正在上升。但是,它并未表明某种特定平台的采用量。在许多的多重云案例中,组织使用单一提供商满足其大部分需求,而使用其他提供商满足其少部分的需求。但是,这些用例大多数落在了实现次要云托管环境上,这类环境用作主要云托管环境不可用或故障时的备份。
虽然 2018 年的多重云采用率正呈上升态势,但组织必须通过评估其策略是否能衡量每种云平台的采用量、内部使用情况、工作负载需求和实施成本的细微差别来采用策略。
到 2019 年,70% 的企业将实行多重云策略。(Gartner)
74% 的科技企业首席财务官认为,2017 年对其公司带来可衡量影响最大的会是云计算。(福布斯)
数据和分析正在成为每个组织的核心。这是无可争辩的。随着组织的发展,他们在将分析逐步提到更高的战略地位和责任水平。
过去,大多数商业智能工作都被安排给首席信息官 (CIO),其负责监管整个组织的数据资产的标准化、整合和管控情况,并需要提交一致性报告。这使得商业智能计划(数据管控、建立分析模型等)与 CIO 职权范围内的其他策略计划(如 IT 架构、系统安全或网络策略)互相竞争,并会时常抑制商业智能的成功和影响。
在某些情况下,由于获取见解的速度与数据的安全性和管控之间的矛盾,CIO 和业务人员之间会产生隔阂。为了通过分析投资从数据中获得可操作性见解,组织越发意识到需要建立高管问责制以创建分析文化。对于越来越多的组织而言,此问题的答案是任命首席数据官 (CDO) 或首席分析官 (CAO) 引导业务流程变革,克服文化障碍,并向组织各级传达分析的价值。这可以让 CIO 将战略重点更多的放到数据安全性等方面。
我的工作是提供工具和技术供团队成员利用。—— Peter Cregger , FNI 首席数据官
如今,组织纷纷任命 CDO 和/或 CAO 来负责业务影响和改进成果,这一事实也体现了现代组织中数据和分析的战略价值。高级主管们现在对于如何部署分析策略有了积极主动的对话。CDO 不再等待特定报告的请求,而是问:“我们如何预测或快速适应业务请求?”
为了最有效地在高管岗位下构建高效团队,组织正在投入更多资金和资源。据 Gartner 统计,80% 的大型企业将在 2020 年之前全面落实 CDO 办公室。目前,办公室中的平均员工人数是 38 人,但有 66% 的受访组织预计该办公室的预算拨款将会增长。
Tableau 的市场情报总监 Josh Parenteau 指出,CDO 角色的特点是“注重结果”。他表示:“这不仅仅是将数据放入数据仓库然后希望有人去使用它,数据部门负责定义使用的含义,并确保您能够从中获得价值。”这种结果导向是至关重要的,特别是其与 Gartner 2016 年 CDO 调查的前三个目标相一致,其中包括更高的客户亲密度、更大的竞争优势和更高的效率。这些目标正在推动 Wells Fargo、IBM、Aetna 和 Ancestry 等公司落实 CDO 制度,旨在将其数据策略提升到更高水平,使首席数据官在 2018 年成为业务的主角。
到 2019 年,90% 的大公司会设立 CDO 这一职位。(Gartner)
到 2020 年,50% 的领先组织将设立 CDO,这一职位在策略影响力和权威方面与 CIO 同等重要。
众包是数据管控的未来
现代商业智能套件已经从数据和内容锁定发展为授权业务用户随时随地使用受信任、受管控的数据获取见解。随着人们不断学习在更多情况下使用数据,他们对更好的管控模型的投入已经成为组织内的巨大力量。
认为自助式分析颠覆了商业智能的世界,这一说法所言甚轻。具体模式转移到了任何有能力创建分析的人员,引导提出和回答组织中的关键问题。管控方面正面临着同样的颠覆。随着自助式分析的发展壮大,有价值的观点和信息的渠道开始启发实施管控的新型创新方式。
管控既要使用集体的智慧为正确的人获取正确的数据,同时也要对错误的人锁定数据。—— Ellie Fields ,Tableau 高级开发总监
管控既要使用集体的智慧为正确的人获取正确的数据,同时也要对错误的人锁定数据。
对于业务用户来说,他们最不想承担的责任就是数据的安全性。良好的管控政策允许业务用户提出和回答问题,同时允许他们在需要时找到所需的数据。
商业智能和分析策略将积极接纳新式管控模式:IT 部门和数据工程师将管理和准备受信赖的数据源,随着自助式服务成为主流,最终用户将可以自由探索受信任的安全数据。完全由 IT 控制的自上而下流程将被丢弃,以便支持将 IT 人才与最终用户相结合的协作开发流程。他们将共同确定最重要的数据,以管控和创建能最大限度发挥分析的业务价值而不影响安全性的规则和流程。
45% 的数据使用者称其报告基于的数据半数以上质量不够理想。(Collibra)
61% 的管理层人员表示,其公司的决策只有部分是或几乎不是数据驱动的。(PWC)
对于许多公司来说,数据是关键的业务资产。但是如何衡量这些数据的价值呢?数据丢失或被盗时会发生什么?正如我们近期目睹的重大数据泄露案例,对公司数据的威胁可能会带来严重危害,并可能对品牌造成无法弥补的损害。
Ponemon Institute 于 2017 年的一项研究表明,数据泄露的平均总成本预计为 362 万美元。
但是,各公司是否已尽其所能来保护和确保数据安全?网络安全保险市场是应对数据泄露而迅速发展壮大的行业之一。该行业的年度同比增长率为 30%,预计到 2020 年,行业的年度总签单保费收入将达到 56 亿美元。(AON)
网络和隐私保险涵盖了企业对客户的个人信息被黑客曝光或窃取导致数据泄露的责任。
然而,即使面临市场的增长和数据泄露的持续威胁,也只有 15% 的美国公司拥有涵盖数据泄露和网络安全的保单。而且,在投保的 15% 的美国公司中,大多数都是大型的著名金融机构。
您必须确定痛点在哪里。您的企业面临的真正风险是什么? —— Peter Cregger, FNI 首席数据官
对于金融机构而言,保单是一项明显的需求。但是,这一趋势将扩大到其他行业,因为没有人能够免受数据泄露的威胁。
Gartner 的分析师 Doug Laney 最近写了一本名为《信息经济学:如何利用、管理和衡量信息来获取竞争优势》(Infonomics: How to Monetize, Manage, and Measure Information for Competitive Advantage) 的书。他给出了不同的模型,用于说明各行各业的公司如何在非财务模型和财务模型中审查其数据的价值。
非财务模型侧重于数据的内在价值、业务价值和绩效价值。这些价值可以衡量公司的独特性、准确性、相关性、内部效率和对其使用情况的整体影响。
财务模型侧重于数据的成本价值、经济价值和市场价值。这些价值能够衡量获取数据的成本、内部管理数据的成本,以及销售或许可数据的价值。
数据作为商品意味着其价值只会增加,并最终就此原材料如何持续将公司推动到更高的高度和优势引发新的问题和对话。就像任何产品一样,如果可能被偷窃而又不用承担后果,那它有什么用呢?
据估计,数据泄露的平均总成本为 362 万美元。(Ponemon)
美国只有 15% 的公司拥有针对数据的保单。(Ponemon)
有件事是可以肯定的:如果您没有构建自己的所有图表,那么您将无法创建仪表板来了解当前正在尝试传达的故事。您可能还知道一个原则:如果您没有事先了解进入系统的数据类型以及从系统中获取数据的方法,则无法获得可靠的数据源。
在组织使用数据来做出更好的业务决策的过程中,数据工程师仍将是不可或缺的一部分。2013 至 2015 年间,数据工程师的数量增加了一倍以上。截至 2017 年 10 月,LinkedIn 招聘信息中有超过 2500 个“数据工程师”的空缺职位,反映出该专业的增长和持续需求。
数据工程师对于实现现代分析平台的自助使用至关重要。—— Francois Ajenstat , Tableau 首席产品官
那么这个角色的职责是什么,又为何如此重要?数据工程师负责设计、构建和管理企业的运营和分析数据库。换而言之,他们负责以一种可用于提供见解和决策的方式,从业务的基础系统中提取数据。随着数据速率和存储容量的增长,既掌握不同系统、架构的深厚技术知识,又了解业务需求的人员开始变得越来越重要。
然而,数据工程师一职需要独特的技能组合。他们需要了解数据中隐藏的信息,了解数据如何为业务用户所用。数据工程师还需要开发技术解决方案,让数据易于使用。
用 Tableau 的资深招聘人员 Michael Ashe 的话来说,“我不是新手。我从事技术招聘工作已经超过 17 年。数据和存储容量的持续增长不足为奇,我亲眼目睹这一切发生巨大的飞跃。数据总是需要调整。企业需要加入这一角色。他们需要深入了解特定数据以做出业务决策。作为企业的重要角色,数据工程师的需求绝对会继续增加。”
Gartner 2016 年的一项研究发现,由于数据质量差,受访组织平均每年将损失 970 万美元。
数据科学家和分析师可能有多达 80% 的时间花在清理和准备数据上。(TechRepublic)
有人表示,物联网 (IoT) 的普及推动了我们所见到的连接设备数量的大幅增长,这一说法过于保守。所有这些设备互相交互并捕获数据,带来一种更加互连的体验。事实上,Gartner 预测到 2020 年,消费者可使用的物联网设备数量将增加一倍多,“在线物联网设备将达到 204 亿台”。
即便有着如此高的增长量,物联网数据的用例和实现并没有按照预期的线路发展。公司存在安全性方面的顾虑,但大多数公司都没有合适的组织技能组合或内部技术基础结构与其他应用程序和平台来支持物联网数据。
大多数人在考虑位置或地理空间时,都会将其当作维度。我会进行这方面的分析……新趋势是,它正逐渐成为分析过程中的一项输入指标。—— Josh Parenteau ,Tableau 市场情报总监
我们看到的一个积极趋势是对物联网设备利用基于位置的数据,并从中获得一系列优势。这个称为“物位网”的子类别为物联网设备提供感知并传达其地理位置。通过了解物联网设备的位置,我们能添加情景,更好地了解正在发生的事情,以及我们预测将在特定位置发生的情况。
对于寻求捕获此数据集合的公司和组织,我们看到他们使用了不同的技术。例如,医院、商店和酒店已经开始使用低功耗蓝牙 (BLE) 技术提供室内定位服务。在这类用例中,GPS 通常很难提供情景位置。该技术可用于跟踪特定资产和人员,甚至与智能手表、胸卡或追踪器等移动设备进行交互,从而提供个性化体验。
由于与分析数据有关,基于位置的数据可被视为结果的输入与输出。如果数据可用,分析师可以将这些信息与分析结合起来,从而更好地了解正在发生的情况、发生的地点,以及在此情景环境中预期会发生的情况。
到 2020 年,IoT 端点将增加到 300 亿个。(IDC)
预计 IoT 会出现爆炸式增长,到 2020 年底将投入超过 5 亿美元。(Gartner)
北卡罗莱纳州立大学是第一家发起科学分析硕士计划的院校。科学分析硕士计划位于高级分析研究所 (IAA) 内,该研究所是一个数据中心,其使命是“培养全世界最优秀的分析从业人员,即掌握用于大规模数据建模的复杂方法和工具[并且]拥有解决高挑战性问题的激情的人才……”作为此类计划的开创者,北卡罗莱纳州计划预示着学术界显然将会深入涉足数据科学和分析课程领域。
今年早些时候,加利福尼亚州大学圣地亚哥分校首次增设了数据科学专业本科主修和辅修课程。他们没有就此止步。学校还制定了计划,利用校友捐款创建数据科学研究所。紧随其后,加州大学伯克利分校、加州大学戴维斯分校和加州大学圣克鲁斯分校也为学生增设了数据科学和分析课程,课程需求远超预期。为什么呢?
学生的作品屡屡出乎我的意料,他们凭借直觉查看数据并进行各种尝试,在此基础上就能够创建出一些可视化;这种能力让我惊叹。—— Robyn Rashke ,拉斯维加斯大学教授。
PwC 最近的一项研究表明,到 2021 年,69% 的雇主将要求应聘者掌握数据科学和分析技能。2017 年 Glassdoor 提供的报告称,“数据科学”连续第二年成为“顶尖职位”。随着雇主需求的增加,填补高水平数据行家缺口的紧迫性变得更加重要。但现实中存在差距。同一份 PwC 报告中指出,只有 23% 的大学毕业生具备在雇主需求层面上进行竞争的必要技能。麻省理工学院最近的一项调查发现,40% 的管理人员难以招聘到分析人才。
分析技能的硬性要求不再是一种加分项,而是必选项。2018 年,我们将开始看到更加严格的招聘门槛,这会确保学生具备成为现代劳动力的技能。随着各公司不断完善其数据以提取最大价值,对高度精通数据技能的劳动力的需求将持续存在并不断增长。
到 2021 年,69% 的用人单位会将数据科学和分析作为对应聘者的一组重要技能要求。(PWC)
麻省理工学院最近的一项调查发现,40% 的管理人员难以招聘到分析人才。(MIT)
这就是 Tableau 为您呈现的 2018 年商业智能 10 大趋势,粉丝们可以根据自己的想法,为这些趋势进行投票,投票链接:
https://www.tableau.com/zh-cn/reports/business-intelligence-trends#crowd-governance
赶快来投票吧~选出您觉得最热门的趋势!
推荐阅读(*点击标题查看原文)
Tableau 中国官方微信定期为您推送最新行业趋势、热点资讯、精彩活动等信息。立即订阅,官方信息一手掌控,更多精彩,更多新鲜,敬请期待!