爬虫笔记：如何遍历json导出到列表中

前言

最近在做一个自动化爬取IT桔子投融资到mongodb&＃xff0c;然后自动导出我想要的字段到CSV发送邮件到指定邮箱。
其中&＃xff0c;如果做到遍历json这点确实难倒了我&＃xff0c;找了很多方法&＃xff0c;最终实现遍历效果。
原始数据如下

{&＃39;_id&＃39;: ObjectId(&＃39;5cbd1a8513405c7b215db28f&＃39;),&＃39;agg_time&＃39;: &＃39;2019-04-21&＃39;,&＃39;city&＃39;: &＃39;深圳&＃39;,&＃39;com_des&＃39;: &＃39;金斧子是国内专业的互联网财富管理机构&＃xff0c;为新时代的高净值人群提供专业、独立的互联网财富管理服务。金斧子致力于成为新时代高端投资者的百万理财专业平台。一方面&＃xff0c;金斧子根据市场动态&＃xff0c;不断寻找不同品类、不同策略的私募股权、纯多私募、量化对冲、并购定增、海外基金和固定收益等理财产品满足高净值客户多样化的资产配置需求。另一方面&＃xff0c;金斧子追求极致的互联网财富管理服务体验&＃xff0c;为客户提供便捷的搜索比价、净值查询、财富记账和线上线下相结合的路演服务。迄今为止&＃xff0c;金斧子累计资产管理规模已超300亿&＃xff0c;为30万&＃43;名新时代的高端投资者提供专业、独立的互联网财富管理服务。&＃39;,&＃39;com_id&＃39;: 3030,&＃39;com_registered_name&＃39;: &＃39;深圳市金斧子网络科技有限公司&＃39;,&＃39;com_scope&＃39;: &＃39;金融&＃39;,&＃39;com_sub_scope&＃39;: &＃39;理财&＃39;,&＃39;com_tag&＃39;: [{&＃39;tag_id&＃39;: 33,&＃39;tag_name&＃39;: &＃39;金融超市&＃39;},{&＃39;tag_id&＃39;: 116,&＃39;tag_name&＃39;: &＃39;垂直搜索&＃39;},{&＃39;tag_id&＃39;: 482,&＃39;tag_name&＃39;: &＃39;财富管理&＃39;},{&＃39;tag_id&＃39;: 609,&＃39;tag_name&＃39;: &＃39;金融&＃39;},{&＃39;tag_id&＃39;: 614,&＃39;tag_name&＃39;: &＃39;理财&＃39;},{&＃39;tag_id&＃39;: 615,&＃39;tag_name&＃39;: &＃39;基金&＃39;},{&＃39;tag_id&＃39;: 3453,&＃39;tag_name&＃39;: &＃39;资产管理&＃39;},{&＃39;tag_id&＃39;: 3572,&＃39;tag_name&＃39;: &＃39;理财平台&＃39;},{&＃39;tag_id&＃39;: 3753,&＃39;tag_name&＃39;: &＃39;量化交易&＃39;},{&＃39;tag_id&＃39;: 4005,&＃39;tag_name&＃39;: &＃39;海外投资&＃39;},{&＃39;tag_id&＃39;: 5000,&＃39;tag_name&＃39;: &＃39;连续获投&＃39;},{&＃39;tag_id&＃39;: 6927,&＃39;tag_name&＃39;: &＃39;金融机构&＃39;},{&＃39;tag_id&＃39;: 6928,&＃39;tag_name&＃39;: &＃39;投资理财&＃39;},{&＃39;tag_id&＃39;: 6930,&＃39;tag_name&＃39;: &＃39;综合金融服务&＃39;},{&＃39;tag_id&＃39;: 6944,&＃39;tag_name&＃39;: &＃39;高净值&＃39;}],&＃39;currency&＃39;: &＃39;人民币&＃39;,&＃39;day&＃39;: 21,&＃39;id&＃39;: 10403165,&＃39;investor&＃39;: [{&＃39;type_id&＃39;: 2,&＃39;name&＃39;: &＃39;正心谷创新资本&＃xff08;领投&＃xff09;&＃39;,&＃39;id&＃39;: 3213,&＃39;url&＃39;: &＃39;https: //www.itjuzi.com/investfirm/3213&＃39;,&＃39;type&＃39;: &＃39;领投&＃39;},{&＃39;type_id&＃39;: 2,&＃39;name&＃39;: &＃39;启诚资本&＃39;,&＃39;id&＃39;: 6869,&＃39;url&＃39;: &＃39;https: //www.itjuzi.com/investfirm/6869&＃39;,&＃39;type&＃39;: &＃39;跟投&＃39;}],&＃39;invse_des&＃39;: &＃39;金斧子是意见互联网财富管理机构&＃xff0c;为新时代的高净值人群提供专业、独立的互联网财富管理服务。近日&＃xff0c;在第三届私募大会上&＃xff0c;金斧子宣布获得1.72亿的Pre-D轮融资&＃xff0c;由正心谷创新资本领投,启诚资本跟投。&＃39;,&＃39;invse_title&＃39;: &＃39;金斧子获得1.72亿人民币D轮融资&＃xff0c;正心谷创新资本领投&＃xff0c;启诚资本参投&＃39;,&＃39;location&＃39;: &＃39;in&＃39;,&＃39;logo&＃39;: &＃39;https: //cdn.itjuzi.com/images/c3aa63802178dfd19af780cf653dbff5.png?imageView2/0/q/100&＃39;,&＃39;maxima&＃39;: False,&＃39;money&＃39;: &＃39;1.72亿人民币&＃39;,&＃39;money_num&＃39;: 17200,&＃39;month&＃39;: 4,&＃39;name&＃39;: &＃39;金斧子&＃39;,&＃39;nicorn&＃39;: False,&＃39;one_year&＃39;: True,&＃39;prov&＃39;: &＃39;广东&＃39;,&＃39;round&＃39;: &＃39;D轮&＃39;,&＃39;slogan&＃39;: &＃39;国内专业的互联网财富管理机构&＃39;,&＃39;term_tag&＃39;: [{&＃39;tag_id&＃39;: 33,&＃39;tag_name&＃39;: &＃39;金融超市&＃39;},{&＃39;tag_id&＃39;: 116,&＃39;tag_name&＃39;: &＃39;垂直搜索&＃39;},{&＃39;tag_id&＃39;: 482,&＃39;tag_name&＃39;: &＃39;财富管理&＃39;},{&＃39;tag_id&＃39;: 609,&＃39;tag_name&＃39;: &＃39;金融&＃39;},{&＃39;tag_id&＃39;: 614,&＃39;tag_name&＃39;: &＃39;理财&＃39;},{&＃39;tag_id&＃39;: 615,&＃39;tag_name&＃39;: &＃39;基金&＃39;},{&＃39;tag_id&＃39;: 3453,&＃39;tag_name&＃39;: &＃39;资产管理&＃39;},{&＃39;tag_id&＃39;: 3572,&＃39;tag_name&＃39;: &＃39;理财平台&＃39;},{&＃39;tag_id&＃39;: 3753,&＃39;tag_name&＃39;: &＃39;量化交易&＃39;},{&＃39;tag_id&＃39;: 4005,&＃39;tag_name&＃39;: &＃39;海外投资&＃39;},{&＃39;tag_id&＃39;: 5000,&＃39;tag_name&＃39;: &＃39;连续获投&＃39;},{&＃39;tag_id&＃39;: 6927,&＃39;tag_name&＃39;: &＃39;金融机构&＃39;},{&＃39;tag_id&＃39;: 6928,&＃39;tag_name&＃39;: &＃39;投资理财&＃39;},{&＃39;tag_id&＃39;: 6930,&＃39;tag_name&＃39;: &＃39;综合金融服务&＃39;},{&＃39;tag_id&＃39;: 6944,&＃39;tag_name&＃39;: &＃39;高净值&＃39;}],&＃39;time&＃39;: 1555776000,&＃39;two_year&＃39;: False,&＃39;valuation&＃39;: 86000,&＃39;well_known_enterprises&＃39;: True,&＃39;well_known_fa&＃39;: False,&＃39;well_known_wind_cast&＃39;: True,&＃39;year&＃39;: 2019
}


实现

这里我要导出的是investor中的name字段&＃xff0c;这个name字段可能有1个&＃xff0c;可能有两个。

company &＃61; [company.get(&＃39;name&＃39;) for company in row[&＃39;investor&＃39;]]


效果