热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

AMiner新功能:技术趋势分析—挖掘技术源头、近期热度和全局热度

来源:学术头条本文约2500字,建议阅读5分钟。本文介绍了AMiner新开放功能的应用。开放全新功能技术趋势分析近日,AMiner开放了一

640?wx_fmt=png

来源:学术头条

本文约2500字,建议阅读5分钟。

本文介绍了AMiner新开放功能的应用。


开放全新功能 技术趋势分析


近日,AMiner开放了一个全新功能,复制下方网址在浏览器打开,或点击文末阅读原文”查看~


技术趋势分析

http://trend.aminer.cn


该功能基于AMiner超过2亿篇论文数据进行深入挖掘,包括对技术来源、热度、发展趋势进行研究,进而预测未来的技术前景。


640?wx_fmt=png


技术趋势分析的方法


技术趋势分析描述了技术的出现、变迁和消亡的全过程,它可以帮助研究人员理解领域的研究历史和现状,快速识别研究的前沿热点问题。学者运用统计分析、模型构建、AHP等方法对技术发展路径进行了一系列研究,这些方法大多是偏重于专家德尔菲法的定性分析,重点在于指标的设定,缺乏定量数据分析。另有一些研究者利用专利主路径分析研究技术的变迁,然而较少考虑技术主题随着时间的继承、分裂和融合。基于数据挖掘的主题变迁通过挖掘深层次的科技文本语义信息,能够有效的解决这一问题。


主题变迁是指一个领域的研究主题的内容和热度随着时间变化的现象,通过识别并关联不同时间片的技术主题,探索和分析领域主题变迁并通过可视化的方式进行展示,可以从更全面的视角感知技术的演进,对于技术发展路径识别具有重要意义。


技术流程


基于科技知识图谱,AMiner以可视化的方式,对查询领域q的热度演化趋势进行总结。


具体而言,某一技术领域q的热度,可以定义为该技术相关术语集合T q = {t} 在y年中的所有文献内的词频数。在这一设定下,问题的关键在于如何定位一个技术领域所相关的术语集合。AMiner将领域术语集合定义为该领域内专家常用的关键词。其具体算法流程如下:


  • 根据输入的领域查询词q进行专家搜索,得到候选专家集合{A}q。

  • 对候选{A}q根据与q的相关度和该专家的权威度(见公式(6-1))进行排序。取出排序结果中的前K个专家{A}K q作为分析对象。

  • 获取{A}K q 中每位专家历年的研究成果,分别抽取关键词,构成术语集合T q。进而,技术趋势分析被转化为针对术语集合T q 热度的分析。


相关研究


主题识别


主题识别是指利对领域文献进行挖掘,以发现其中隐含的研究主题。随着文献爆发式增长,主题识别面临着文本维度高和数据类型复杂的挑战,传统的基于专家知识的定性方法不再适应现实情况,基于机器学习的自动化识别逐渐成为主流。目前研究人员针对自动主题识别提出了许多方法和模型,其中主题模型已经成为技术主题识别领域最常用的方法模型。


专家学者是科学研究的主体,一些杰出学者往往引领着学科的发展,可以通过挖掘杰出学者公开发表的科技文献,发现科学领域的主要研究主题以及主题之间的联系。一些关键词被某一学者在发表的文章中提及,可能表明这些关键词之间存在一定的关联关系;如果这些关键词被不同的作者提及,可能说明不同作者认可这些关键词之间的关联关系,可认为这些关键词能够构成研究主题。如果某个关键词在作者的文章中多次出现,可以表明作者对关键词所代表的研究主题做了大量研究,并间接说明作者对该领域具有一定的影响力。


主题关联和可视化


为了分析技术主题变迁,通常需要根据发表时间将文献划分到相应的时间片内,通过文本挖掘获得不同时间片上的主题,将这些主题关联起来是主题变迁的核心步骤,主题能否关联决定着主题之间是否存在变迁关系。崔凯等利用KL相对熵来度量主题之间差异性,李湘东等利用JS距离对期刊主题相似度进行衡量。为了便于直观了解技术发展路径,主题关联需要进行可视化展示,主题关联和可视化关系密不可分,可视化是为了更好的主题变迁分析,并可以展示技术发展路径。


现有的路径可视化工具众多,其中陈超美基于java开发出Citespace I和Citespace Ⅱ,这两款软件具有时序分割,同被引分析、时序网络可视化等功能。Susan Havre等推出ThemeRiver模型,用于反应文档主题强度信息的变化过程。微软亚洲研究院提出TextFlow方法,在海量文本分析中引入主题合并和分裂的信息。


具体分析


我们将为大家展示AMiner中技术趋势分析系统的Answer machine领域的界面截图。在该系统中,术语集合的热度被可视化地展示为Sorted Stream Graph的形式。


其中,图中的每个彩色分支表示一个术语,其宽度表示该术语在当年的热度,各分支在每一年份在图中按照其热度进行排序。


系统包括三个视图:技术源头、近期热度和全局热度,用于展示领域发展的开端和现状,以及相关领域热度的变化趋势。


640?wx_fmt=png

Answer machine 技术源头图


从图中可以观察到,综合来看,Answer machine 由language generation、knowledge engineering、text planning、text classification等领域演化而来。在1971年至1981年十年间,该领域的来源关键词主要是knowledge engineering,此后关键词逐渐多元化,language generation和text planning开始加入进来。


640?wx_fmt=png

Answer machine 全局热度图


全局热度展示了该领域相关术语在所有年份上的平均热度,综合来看,Answer machine 的全局热度包含了question answering、community question answering、machine translation和Neural Network等关键词。


我们还可以看出,machine translation这一概念自二十世纪九十年代开始兴起,但是于2000年前后热度下降。这是由于information retrieval、question answering和Support Vector Machine等技术与其竞争导致的。并且question answering在2001年至2010年间呈现爆发式地增长。


640?wx_fmt=png

Answer machine 近期热度图


上图为该领域近期热度,综合来看,近期Answer machine的热点集中在question answering、community question answering、machine translation和Neural Network等关键词,与全局热度图是相似的。


技术趋势分析这一功能可以帮助用户了解技术的来龙去脉,技术发展趋势。技术趋势的发展是科技工作者和科研管理部门必须要考虑的因素。实时的分析技术的发展趋势,了解领域动态,并且实时的分析趋势发展中各个国家的分析和对比,及时的了解学科发展状况,领跑,并跑还是跟跑。


640?wx_fmt=gif


我就想问大家有没有心动?想不想用?


网址:http://trend.aminer.cn

或点击“阅读原文”查看~


640?wx_fmt=jpeg

640?wx_fmt=jpeg



推荐阅读
  • 【转】强大的矩阵奇异值分解(SVD)及其应用
    在工程实践中,经常要对大矩阵进行计算,除了使用分布式处理方法以外,就是通过理论方法,对矩阵降维。一下文章,我在 ... [详细]
  • 使用Python构建网页版图像编辑器
    本文详细介绍了一款基于Python开发的网页版图像编辑工具,具备多种图像处理功能,如黑白转换、铅笔素描效果等。 ... [详细]
  • 本文提供了一个详尽的前端开发资源列表,涵盖了从基础入门到高级应用的各个方面,包括HTML5、CSS3、JavaScript框架及库、移动开发、API接口、工具与插件等。 ... [详细]
  • 本文介绍了Tomcat的基本操作,包括启动、关闭及首次访问的方法,并详细讲解了如何在IDEA中创建Web项目,配置Servlet及其映射,以及如何将项目部署到Tomcat。 ... [详细]
  • 笔记说明重学前端是程劭非(winter)【前手机淘宝前端负责人】在极客时间开的一个专栏,每天10分钟,重构你的前端知识体系& ... [详细]
  • 本文基于Java官方文档进行了适当修改,旨在介绍如何实现一个能够同时处理多个客户端请求的服务端程序。在前文中,我们探讨了单客户端访问的服务端实现,而本篇将深入讲解多客户端环境下的服务端设计与实现。 ... [详细]
  • 1、编写一个Java程序在屏幕上输出“你好!”。programmenameHelloworld.javapublicclassHelloworld{publicst ... [详细]
  • 本文回顾了作者在求职阿里和腾讯实习生过程中,从最初的迷茫到最后成功获得Offer的心路历程。文中不仅分享了个人的面试经历,还提供了宝贵的面试准备建议和技巧。 ... [详细]
  • Python3爬虫入门:pyspider的基本使用[python爬虫入门]
    Python学习网有大量免费的Python入门教程,欢迎大家来学习。本文主要通过爬取去哪儿网的旅游攻略来给大家介绍pyspid ... [详细]
  • ASP.NET 进度条实现详解
    本文介绍了如何在ASP.NET中使用HTML和JavaScript创建一个动态更新的进度条,并通过Default.aspx页面进行展示。 ... [详细]
  • H5技术实现经典游戏《贪吃蛇》
    本文将分享一个使用HTML5技术实现的经典小游戏——《贪吃蛇》。通过H5技术,我们将探讨如何构建这款游戏的两种主要玩法:积分闯关和无尽模式。 ... [详细]
  • Maven + Spring + MyBatis + MySQL 环境搭建与实例解析
    本文详细介绍如何使用MySQL数据库进行环境搭建,包括创建数据库表并插入示例数据。随后,逐步指导如何配置Maven项目,整合Spring框架与MyBatis,实现高效的数据访问。 ... [详细]
  • AI炼金术:KNN分类器的构建与应用
    本文介绍了如何使用Python及其相关库(如NumPy、scikit-learn和matplotlib)构建KNN分类器模型。通过详细的数据准备、模型训练及新样本预测的过程,展示KNN算法的实际操作步骤。 ... [详细]
  • 2017年软件开发领域的七大变革
    随着技术的不断进步,2017年对软件开发人员而言将充满挑战与机遇。本文探讨了开发人员需要适应的七个关键变化,包括人工智能、聊天机器人、容器技术、应用程序版本控制、云测试环境、大众开发者崛起以及系统管理的云迁移。 ... [详细]
  • 分享两个GitHub链接,今天看到的,超赞超赞不能更赞了,答应我一定要去看好吗~~~~不论是笔记还是github中分享的其它资源ÿ ... [详细]
author-avatar
雷神白中凌
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有