热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

唯品会分布式强一致日志存储系统VDL正式对外开源

VDL(VipDistributedLog)的定位是高吞吐、低延时的分布式日志存储,而多副本、强一致

VDL简介

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL(Vip Distributed Log)的定位是高吞吐、低延时的分布式日志存储,而多副本、强一致性是其关键特征。 这里的Log不是指syslog或者log4j产生的用于跟踪或者问题分析的应用程序日志。Log贯穿于互联网企业应用开发的方方面面,从DB的存储引擎、DB的复制、分布式一致性算法到消息系统,本质上都是Log的存储和分发。

外部应用通过Kafka协议来发送数据到VDL,VDL通过Raft协议来保证数据的强一致和高可靠。客户端通过Kafka协议来消费VDL中的数据。

VDL主要功能

唯品会分布式强一致日志存储系统 VDL 正式对外开源

支持kafka协议生产和消费数据,对用户来说VDL就是一个kafka消息系统。

部署运维简单,不依赖于其他外部组件。

数据强一致,服务高可用,raft协议保证。

保证线性读一致性。

VDL应用场景

唯品会分布式强一致日志存储系统 VDL 正式对外开源

从应用场景来看,VDL可应用于以下几类场景:

●复制状态机(Replicated State Machine)

这一类应用主要使用VDL作为事务日志。 比如用于存储 MySQL 的Binlog,形成统一的Binlog服务层,简化数据库的备份、恢复、实例重建、failover等高频流程。

消息队列、消息发布订阅、流计算 

这一类应用主要使用VDL来存储和传递消息。 我们可以基于VDL实现消息发布/订阅系统;同时也可以作为Storm/Spark的输入和输出,用于实时流计算的场景。

数据复制

这一类应用主要使用VDL来进行数据复制。这个数据复制可能发生在本地机房,也可能是跨机房。我们可以基于VDL构建强一致的数据库技术方案。

如何加入VDL讨论群

唯品会分布式强一致日志存储系统 VDL 正式对外开源

使用有问题?想直接和作者交流?没关系,扫描下方二维码加入VDL官方微信讨论群。

唯品会分布式强一致日志存储系统 VDL 正式对外开源

扫描二维码加入微信群,12月6日前有效

前100名加群免审核、免邀请(扫描上方群二维码即可)。

100名后因管理需要,将开启进群验证,可先扫描下方个人二维码或搜索微信号viptech128[唯技术],备注VDL,添加好友后进入讨论组(如有添加好友异常请稍后再试,或在公众号后台留言“VDL+您的微信号”,工作人员会统一添加好友入群)。

唯品会分布式强一致日志存储系统 VDL 正式对外开源

扫描二维码添加唯技术好友

如何向VDL贡献代码

唯品会分布式强一致日志存储系统 VDL 正式对外开源

所有报Bug、建议与咨询,请在 GITHUB Issues发起;所有代码提交,请走Pull Request流程。开发人员会及时回复和处理。对于优秀建议和Pull Request代码提交也会给予奖励。 点击阅读原文即可进入GITHUB界面,感谢关注。

推荐阅读

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL:唯品会强一致、高可用、高性能分布式日志存储介绍(产品篇)

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL:唯品会强一致、高可用、高性能分布式日志存储(实现篇)

唯品会分布式强一致日志存储系统 VDL 正式对外开源

VDL:唯品会强一致、高可用、高性能分布式日志存储 (质量篇)

唯品会分布式强一致日志存储系统 VDL 正式对外开源

从零开发一个单机存储引擎-以VDL Logstore设计为例


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 我们


推荐阅读
  • 云原生边缘计算之KubeEdge简介及功能特点
    本文介绍了云原生边缘计算中的KubeEdge系统,该系统是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于Kubernetes构建,并为网络应用程序提供基础架构支持。同时,KubeEdge具有离线模式、基于Kubernetes的节点、群集、应用程序和设备管理、资源优化等特点。此外,KubeEdge还支持跨平台工作,在私有、公共和混合云中都可以运行。同时,KubeEdge还提供数据管理和数据分析管道引擎的支持。最后,本文还介绍了KubeEdge系统生成证书的方法。 ... [详细]
  • Android中高级面试必知必会,积累总结
    本文介绍了Android中高级面试的必知必会内容,并总结了相关经验。文章指出,如今的Android市场对开发人员的要求更高,需要更专业的人才。同时,文章还给出了针对Android岗位的职责和要求,并提供了简历突出的建议。 ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • 解决Cydia数据库错误:could not open file /var/lib/dpkg/status 的方法
    本文介绍了解决iOS系统中Cydia数据库错误的方法。通过使用苹果电脑上的Impactor工具和NewTerm软件,以及ifunbox工具和终端命令,可以解决该问题。具体步骤包括下载所需工具、连接手机到电脑、安装NewTerm、下载ifunbox并注册Dropbox账号、下载并解压lib.zip文件、将lib文件夹拖入Books文件夹中,并将lib文件夹拷贝到/var/目录下。以上方法适用于已经越狱且出现Cydia数据库错误的iPhone手机。 ... [详细]
  • 本文介绍了高校天文共享平台的开发过程中的思考和规划。该平台旨在为高校学生提供天象预报、科普知识、观测活动、图片分享等功能。文章分析了项目的技术栈选择、网站前端布局、业务流程、数据库结构等方面,并总结了项目存在的问题,如前后端未分离、代码混乱等。作者表示希望通过记录和规划,能够理清思路,进一步完善该平台。 ... [详细]
  • 分享css中提升优先级属性!important的用法总结
    web前端|css教程css!importantweb前端-css教程本文分享css中提升优先级属性!important的用法总结微信门店展示源码,vscode如何管理站点,ubu ... [详细]
  • MySQL数据库锁机制及其应用(数据库锁的概念)
    本文介绍了MySQL数据库锁机制及其应用。数据库锁是计算机协调多个进程或线程并发访问某一资源的机制,在数据库中,数据是一种供许多用户共享的资源,如何保证数据并发访问的一致性和有效性是数据库必须解决的问题。MySQL的锁机制相对简单,不同的存储引擎支持不同的锁机制,主要包括表级锁、行级锁和页面锁。本文详细介绍了MySQL表级锁的锁模式和特点,以及行级锁和页面锁的特点和应用场景。同时还讨论了锁冲突对数据库并发访问性能的影响。 ... [详细]
  • 云原生应用最佳开发实践之十二原则(12factor)
    目录简介一、基准代码二、依赖三、配置四、后端配置五、构建、发布、运行六、进程七、端口绑定八、并发九、易处理十、开发与线上环境等价十一、日志十二、进程管理当 ... [详细]
  • 什么是大数据lambda架构
    一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ... [详细]
  • 你知道Kafka和Redis的各自优缺点吗?一文带你优化选择,不走弯路 ... [详细]
  • bat大牛带你深度剖析android 十大开源框架_请收好!5大领域,21个必知的机器学习开源工具...
    全文共3744字,预计学习时长7分钟本文将介绍21个你可能没使用过的机器学习开源工具。每个开源工具都为数据科学家处理数据库提供了不同角度。本文将重点介绍五种机器学习的 ... [详细]
  • 探索MLlib机器学习
    公众号后台回复关键词:pyspark,获取本项目github地址。MLlib是Spark的机器学习库,包括以下主要功能。实用工具ÿ ... [详细]
  • 马蜂窝数据总监分享:从数仓到数据中台,大数据演进技术选型最优解
    大家好,今天分享的议题主要包括几大内容:带大家回顾一下大数据在国内的发展,从传统数仓到当前数据中台的演进过程;我个人认为数 ... [详细]
  • 企业数据应用挑战及元数据管理的重要性
    本文主要介绍了企业在日常经营管理过程中面临的数据应用挑战,包括数据找不到、数据读不懂、数据不可信等问题。针对这些挑战,通过元数据管理可以实现数据的可见、可懂、可用,帮助业务快速获取所需数据。文章提出了“灵魂”三问——元数据是什么、有什么用、又该怎么管,强调了元数据管理在企业数据治理中的基础和前提作用。 ... [详细]
  • 本文介绍了操作系统的定义和功能,包括操作系统的本质、用户界面以及系统调用的分类。同时还介绍了进程和线程的区别,包括进程和线程的定义和作用。 ... [详细]
author-avatar
脸皮乃身外之物
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有