热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

百万级PV网站最低成本的架构和部署以及大数据量的存储设计与优化

这个题目好像有点大,涉及的东西好像有点多!随着市场的发展,现在越来越多的平台都要求具备大访问量、大数据量的高效处理能力但是具体是什么样的呢?主要有两大问题:1、如何解决大访问量的问题,简单之:快...
这个题目好像有点大,涉及的东西好像有点多!
随着市场的发展,现在越来越多的平台都要求具备大访问量、大数据量的高效处理能力 但是具体是什么样的呢?
主要有两大问题:
1、如何解决大访问量的问题,简单之:快、稳定、安全?
2、如何解决如此大的访问量所带来的大量数据的处理和存储?

涉及到:
1、系统
2、硬件

应用场景: 1、购物类 2、社区类

这个问题涉及到的知识比较多,涉及到的经验也会很丰富 我不知道我们这个社区有没有类型的问题,但是我只是希望大家来分享一下自己的经验和想法

回复内容:

这个题目好像有点大,涉及的东西好像有点多!
随着市场的发展,现在越来越多的平台都要求具备大访问量、大数据量的高效处理能力 但是具体是什么样的呢?
主要有两大问题:
1、如何解决大访问量的问题,简单之:快、稳定、安全?
2、如何解决如此大的访问量所带来的大量数据的处理和存储?

涉及到:
1、系统
2、硬件

应用场景: 1、购物类 2、社区类

这个问题涉及到的知识比较多,涉及到的经验也会很丰富 我不知道我们这个社区有没有类型的问题,但是我只是希望大家来分享一下自己的经验和想法

我建议你考虑几个问题

  • 动态请求有什么特点
  • 及时性要求高么
  • 对一致性的要求搞么
  • 对数据丢失能容忍么
  • 消息类的请求多么
  • 读写的比例,读写的各种场景是什么
  • 图片多么,有大量的文件下载么
  • 对安全性要求高么
  • 涉及到金钱的问题么

把这些问题想明白了,再来考虑架构和硬件的问题

请先说明应用场景、需求,否则就很空洞

比如,如果只是服务静态文件,一台破机器足够了

现在完全没有必要自己维护硬件,直接采取成熟的弹性计算PaaS即可,剩下的就是程序的问题了

社区的feed是头疼的事。电商类订单和数据挖掘是最头疼的。 数据的存储现在成本太低廉了,千把块钱,几块NTB的硬盘自建raid。跟机房商量好带宽一切都好说。再不济,咱还有NAS。数据库这块儿可以用SSD,性能杠杠的。 硬件现在都好说,反倒程序、软件该好好研究鸟,数据量上来了,分表;访问量上来了,多服务器就是。不过程序写的2,再好的服务器也是白搭。

推荐阅读
  • 本文探讨了Java中有效停止线程的多种方法,包括使用标志位、中断机制及处理阻塞I/O操作等,旨在帮助开发者避免使用已废弃的危险方法,确保线程安全和程序稳定性。 ... [详细]
  • 最新进展:作为最接近官方声明的信息源,本文吸引了大量关注。若需获取最新动态,请访问:lkhill.com/ccie-version-5-update ... [详细]
  • 利用Cookie实现用户登录状态的持久化
    本文探讨了如何使用Cookie技术在Web应用中实现用户登录状态的持久化,包括Cookie的基本概念、优势及主要操作方法,并通过一个简单的Java Web项目示例展示了具体实现过程。 ... [详细]
  • 本文详细介绍了跨站脚本攻击(XSS)的基本概念、工作原理,并通过实际案例演示如何构建XSS漏洞的测试环境,以及探讨了XSS攻击的不同形式和防御策略。 ... [详细]
  • 本文探讨了在不同场景下如何高效且安全地存储Token,包括使用定时器刷新、数据库存储等方法,并针对个人开发者与第三方服务平台的不同需求提供了具体建议。 ... [详细]
  • 本文详细介绍了PHP中的几种超全局变量,包括$GLOBAL、$_SERVER、$_POST、$_GET等,并探讨了AJAX的工作原理及其优缺点。通过具体示例,帮助读者更好地理解和应用这些技术。 ... [详细]
  • 本文详细介绍了在PHP中如何获取和处理HTTP头部信息,包括通过cURL获取请求头信息、使用header函数发送响应头以及获取客户端HTTP头部的方法。同时,还探讨了PHP中$_SERVER变量的使用,以获取客户端和服务器的相关信息。 ... [详细]
  • 本文探讨了在使用 MyBatis 进行批量数据处理时遇到的参数绑定异常问题,并提供了详细的解决方案。 ... [详细]
  • 本文详细介绍了如何在Windows和Linux系统上配置Openfire服务器,包括安装步骤、数据库配置及端口映射等关键环节。 ... [详细]
  • 近期,微信公众平台上的HTML5游戏引起了广泛讨论,预示着HTML5游戏将迎来新的发展机遇。磊友科技的赵霏,作为一名HTML5技术的倡导者,分享了他在微信平台上开发HTML5游戏的经验和见解。 ... [详细]
  • SSAS入门指南:基础知识与核心概念解析
    ### SSAS入门指南:基础知识与核心概念解析Analysis Services 是一种专为决策支持和商业智能(BI)解决方案设计的数据引擎。该引擎能够为报告和客户端应用提供高效的分析数据,并支持在多维数据模型中构建高性能的分析应用。通过其强大的数据处理能力和灵活的数据建模功能,Analysis Services 成为了现代 BI 系统的重要组成部分。 ... [详细]
  • PHP开发人员薪资水平分析:工程师平均工资概况
    PHP开发人员薪资水平分析:工程师平均工资概况 ... [详细]
  • 在前一篇文章《Hadoop》系列之“踽踽独行”(二)中,我们详细探讨了云计算的核心概念。本章将重点转向物联网技术,全面解析其基本原理、应用场景及未来发展前景。通过深入分析物联网的架构和技术栈,我们将揭示其在智能城市、工业自动化和智能家居等领域的广泛应用潜力。此外,还将讨论物联网面临的挑战,如数据安全和隐私保护等问题,并展望其在未来技术融合中的重要角色。 ... [详细]
  • Python与R语言在功能和应用场景上各有优势。尽管R语言在统计分析和数据可视化方面具有更强的专业性,但Python作为一种通用编程语言,适用于更广泛的领域,包括Web开发、自动化脚本和机器学习等。对于初学者而言,Python的学习曲线更为平缓,上手更加容易。此外,Python拥有庞大的社区支持和丰富的第三方库,使其在实际应用中更具灵活性和扩展性。 ... [详细]
  • 初探Hadoop:第一章概览
    本文深入探讨了《Hadoop》第一章的内容,重点介绍了Hadoop的基本概念及其如何解决大数据处理中的关键挑战。 ... [详细]
author-avatar
曾wujcik_663
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有