网上商城项目实战之数据库设计
商品实体模块
tb_category 商品分类&＃xff1a; 在展示的时候&＃xff0c;需要用无限分类展示
商品分类->商品类型->商品属性
tb_goods商品表&＃xff0c;外键是商品分类&＃xff0c;和商品类型
商品->所属分类和类型->选到对应属性&＃xff0c;添加属性的值
tb_attr商品属性表
tb_value商品属性值表&＃xff0c;需要两个外键&＃xff0c;分别是属性和具体商品
一个大数据分析项目关键构成如下&＃xff1a;
数据清洗、数据融合
category&＃xff1a;分类&＃xff0c;更新&＃xff0c;插入&＃xff0c;删除
1.获取数据映射&＃xff08;pymysql: cursor游标&＃xff0c;读取&＃xff09;
2.增加数据(insert)
3.写入数据库&＃xff1a;(isWriteDb)
a.批量插入和更新、删除(sqlalchemy&＃xff1a;session对象&＃xff0c;)操作数据库
项目实践&＃xff1a;
1 离线数据处理&＃xff1a;项目内容为通过对网站访问日志的采集和清洗&＃xff0c;结合数据库中的结构化用户数据&＃xff0c;统计并展示网站的PV、UV情况&＃xff0c;以对网站的运行情况进行监控。通过此项目&＃xff0c;回顾并串联前面讲述的离线数据处理相关技术&＃xff0c;如&＃xff1a;FIune、Sqoop、Hive、Spark等&＃xff0c;了解和掌握PB级数据离线处理的一般过程和架构。
2 流式数据处理&＃xff1a;项目内容为通过对数据库交易数据修改的实时同步&＃xff0c;监控网站实时交易情况&＃xff0c;以提高网站交易情况监控的时效性&＃xff0c;降低网站运行的风险。 通过此项目&＃xff0c;回顾并串联前面讲述的实时数据处理相关技术&＃xff0c;如&＃xff1a;kafka、Spark、Streaning和HBase等&＃xff0c;了解和掌握实时数据处理的一般过程和架构。
5 系统运行情况仪表盘&＃xff1a; 通过对网站访问日志的采集和清洗&＃xff0c;结合数据库中的结构化用户数据&＃xff0c;统计并展示网站的PV&＃xff0c;UV情况&＃xff0c;以对网站的运行情况进行监控。通过此项目&＃xff0c;回顾并串联前面讲述的离线数据处理相关技术&＃xff0c;如Flume&＃xff0c;Sqoop&＃xff0c;Hive&＃xff0c;Spark等&＃xff0c;掌握PB级数据离线处理的一般过程和架构。
6 实时交易监控系统 &＃xff1a; 过对数据库交易数据修改的实时同步&＃xff0c;监控网站实时交易情况&＃xff0c;以提高网站交易情况监控的时效性&＃xff0c;降低网站运行的风险。通过此项目&＃xff0c;回顾并串联前面讲述的实时数据处理相关技术&＃xff0c;如Kafka&＃xff0c;Spark Streaming和HBase等&＃xff0c;掌握实时数据处理的一般过程和架构。
7 推荐系统理论与实战&＃xff1a; 讲解推荐系统的相关背景&＃xff0c;常用算法及通用架构&＃xff1b;基于公开数据集从零构建一个电影推荐系统。通过对公司实际推荐项目的剖析和根据真实数据搭建推荐系统的实操演练&＃xff0c;了解推荐系统的一般架构和常用算法
8 数据仓库搭建理论与实战&＃xff1a; 讲解数据仓库搭建的方法论&＃xff0c;常用建模理论&＃xff1b;以互金公司数据仓库搭建场景作为切入&＃xff0c;实例演示数据仓库搭建过程及技术架构。
9 分布式业务监控系统&＃xff1a; 讲解业务监控系统需求背景&＃xff0c;基于大数据的技术方案&＃xff1b;通过实例代码搭建完整的业务监控系统
说明&＃xff1a;上级类别ID为该表的外键&＃xff0c;并关联到本级类别ID&＃xff0c;这样就可以对产进行N中分类了&＃xff0c;这种设计思想十分灵活&＃xff0c;是无限分类中最常用到的。
cid, name, parent_id
![Spark中使用map或flatMap将DataSet[A]转换为DataSet[B]时Schema变为Binary的问题及解决方案](https://img6.php1.cn/3cdc5/9b0d/243/f27d40b3b7e4b51b.png)
京公网安备 11010802041100号