热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

邓超也学大数据大数据时代,推倒“数据烟囱”何以这么难

一直以来,科研数据都被视作生产者的“私产”,尽管越来越多的研究团体发现了数据共享的好处,可以通过开放数据访问和使用的合作,使其学科取得了重大进展,但大范围、海量科研数据的开放共享依然是多年以来一

一直以来,科研数据都被视作生产者的“私产”,尽管越来越多的研究团体发现了数据共享的好处,可以通过开放数据访问和使用的合作,使其学科取得了重大进展,但大范围、海量科研数据的开放共享依然是多年以来一块难以融化的“坚冰”。

  近日,中国科学院为纪念科学数据库建库30周年,正式对外宣布其“十二五”期间建成的科学数据云将面向科技界和企业研发人员免费开放共享。

  提起科学数据云不得不提到中科院科学数据库,作为中科院科学数据库重大工程项目的直接参与和组织管理者,原中科院科学数据库办公室主任李望平从1987年便参与到“中国科学院科学数据库及其信息系统项目”的建设中。

  “与现在社会上其他数据不同的是中科院科学数据库保存的大部分数据都是在长期的科研活动中产生的实验、观测和研究结果等科研数据,是国家的宝贵财富。”李望平告诉记者,科学数据库的建设是属于科学的基础性工作,要通过长期持续的数据积累才能展现出其内在的应用价值。

  多年来,中科院一直在推动科学数据库的共享和应用服务,目的就是让这批宝贵的科学数据资源为社会发挥更大的作用。

  从最初的14家建库单位、21个数据库,发展到“十二五”期间58家单位、1340个数据库,中科院科学数据库整合了从资源学科领域到植物学科领域等多领域数据库资源,提供共享数据量已从2.68GB增加到655TB,年均在线访问超过千万人次。名称也从最初的“中国科学院科学数据库及其信息系统”变成了“科技数据资源整合与共享工程”。

  “现在,中科院科学数据库已经实现由数据积累和软硬件建设向环境构建、工程化项目向持续化发展转变,以云服务模式为基础,形成了支持科研活动与科技创新的数据云,并从基础设施、数据资源、应用平台三大类服务的角度整合集成了各类资源和服务。”作为第四代科学数据库牵头单位和支撑单位主要学科带头人的黎建辉思考更多的是,如何运用迅速发展的信息技术推进中科院乃至我国的科研信息化和科技创新。

  “多年来,我们一直强调科学数据库要面向社会提供应用服务。”李望平透露,中科院科学数据库是最早实现在互联网上提供科学数据查询和数据下载服务的。

  “中科院数据云的开放更多的是一种引领,是一种率先行动,是一种为国家科技创新服务的必然。”在黎建辉看来,国家项目资助的科学工作者有义务通过创造和传播新知识,为公共谋福利,而关联数据是知识的固有成分。能够为已发表科学结论提供证据的数据,应以智能开放的形式同时公开。

  事实上,在开放共享的道路上,中科院一直在行动。以生物信息学分子数据分析环境、地理空间数据云、DViz大数据可视化等应用的推出,创新和发展了多学科领域数据、模型及云服务应用的技术手段与服务模式。

  2015年8月,中科院计算机网络信息中心成功申请并获批我国首批试点网络连续性出版物,创办《中国科学数据》期刊,推动科学数据出版与数据引用,进一步促进我国科学数据资源的开放与共享。

  在服务科研的同时,中科院数据云还面向社会需求不断加强产业化创新服务,提升拓展技术优势。在交通管理、食品安全、新材料研发等公共领域,与国家发改委、食药监总局、北京地税等三十多家企事业单位开展相关合作。

以下是小编根据大家需求整理的大数据培训机构

热烈庆祝尚学堂2016年5月28日线下云计算大数据分享大会圆满结束。

卢菁博士、许伟老师分享了关于推荐系统,大数据多维分析相关技术。我们一直在引领大数据新技术潮流,为云计算大数据技术布道

尚学堂云计算极限班

学习对象:

    本课程适合于有一定编程基础的学员(比如Java,python,c/c++),最好是JavaJava面向对象编程理解J2se里面的io多线程网络编程特别是从事过j2ee开发的程序员,特别适合于大专院校计算机专业的学生

 注:非计算机专业,无任何编程基础,报名参加我们的零基础大数据班。

第一阶段linux+搜索+hadoop体系

  Linux基础→shell编程→高并发架构→hadoop体系→HDFSmapreducehbasezookeeperhivelucene搜索→solr/solrcloudelasticsearch分布式搜索→CM+CDH集群管理→impalaoozieflumesqoop→项目实战一

第二阶段机器学习

  R语言→mahout→项目实战二

第三阶段storm流式计算

  kafkastormredis→项目实战三

第四阶段spark内存计算

  scala编程→spark corespark sqlspark streamingspark mllibspark graphx→项目实战四→python机器学习→spark python编程→项目实战五→项目实战六

第五阶段云计算平台

  dockerkvmopenstack云计算→就业指导

课程会有六大真实企业大型大数据项目,祝你成为大型项目(数据量大,并高发)顶级架构师!

国内首套kylin视频教程:大放送


国内首套tachyon视频教程大放送


链接: http://pan.baidu.com/s/1mh63Jg0密码: im32

线上公开课视频教程:50集-6000分钟精华大放送

免费每日仅限200名观众一起学习  唯一学习网址:https://ke.qq.com/course/93036

小编今天就给大家来来这么多了,以上内容都是自己亲自整理。

扫码加入可以和培训机构老师互动了解最新动态。

QQ群:CSDN推荐群: 523426240

 




推荐阅读
  • 一次上线事故,30岁+的程序员踩坑经验之谈
    本文主要介绍了一位30岁+的程序员在一次上线事故中踩坑的经验之谈。文章提到了在双十一活动期间,作为一个在线医疗项目,他们进行了优惠折扣活动的升级改造。然而,在上线前的最后一天,由于大量数据请求,导致部分接口出现问题。作者通过部署两台opentsdb来解决问题,但读数据的opentsdb仍然经常假死。作者只能查询最近24小时的数据。这次事故给他带来了很多教训和经验。 ... [详细]
  • Java和JavaScript是什么关系?java跟javaScript都是编程语言,只是java跟javaScript没有什么太大关系,一个是脚本语言(前端语言),一个是面向对象 ... [详细]
  • 本文介绍了在sqoop1.4.*版本中,如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件,并重新编译,可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码,重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]
  • 深入理解Java虚拟机的并发编程与性能优化
    本文主要介绍了Java内存模型与线程的相关概念,探讨了并发编程在服务端应用中的重要性。同时,介绍了Java语言和虚拟机提供的工具,帮助开发人员处理并发方面的问题,提高程序的并发能力和性能优化。文章指出,充分利用计算机处理器的能力和协调线程之间的并发操作是提高服务端程序性能的关键。 ... [详细]
  • ejava,刘聪dejava
    本文目录一览:1、什么是Java?2、java ... [详细]
  •     这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cy ... [详细]
  • Hadoop2.6.0 + 云centos +伪分布式只谈部署
    3.0.3玩不好,现将2.6.0tar.gz上传到usr,chmod-Rhadoop:hadophadoop-2.6.0,rm掉3.0.32.在etcp ... [详细]
  • importorg.apache.hadoop.hdfs.DistributedFileSystem;导入方法依赖的package包类privatevoidtestHSyncOpe ... [详细]
  • 什么是大数据lambda架构
    一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ... [详细]
  • mapreduce源码分析总结
    这篇文章总结的非常到位,故而转之一MapReduce概述MapReduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的ÿ ... [详细]
  • 《Spark核心技术与高级应用》——1.2节Spark的重要扩展
    本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第1章,第1.2节Spark的重要扩展,作者于俊向海代其锋马海平,更多章节内容可以访问云栖社区“华章社区”公众号查看1. ... [详细]
  • 开发笔记:Spark Java API 之 CountVectorizer
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了SparkJavaAPI之CountVectorizer相关的知识,希望对你有一定的参考价值。 ... [详细]
  • Kylin 单节点安装
    软件环境Hadoop:2.7,3.1(sincev2.5)Hive:0.13-1.2.1HBase:1.1,2.0(sincev2.5)Spark(optional)2.3.0K ... [详细]
  • Azkaban(三)Azkaban的使用
    界面介绍首页有四个菜单projects:最重要的部分,创建一个工程,所有flows将在工程中运行。scheduling:显示定时任务executing:显示当前运行的任务histo ... [详细]
  • Java开发实战讲解!字节跳动三场技术面+HR面
    二、回顾整理阿里面试题基本就这样了,还有一些零星的问题想不起来了,答案也整理出来了。自我介绍JVM如何加载一个类的过程,双亲委派模型中有 ... [详细]
author-avatar
mobiledu2502883317
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有