主板市盈率、市净率及股息率的自动化抓取

思路概述：

1. 分析并理解中国指数有限公司网站上数据的存储结构。

2. 获取交易日期，并据此构建完整的网页链接。

3. 通过请求每个链接来获取相应的财务数据。

4. 将收集到的数据整理并保存为CSV格式的文件。

关键技术点：

1. 使用BeautifulSoup库进行网页解析，提取HTML标签中的内容。

2. 利用正则表达式从URL中提取日期信息。

3. 实现数据的持久化存储，确保数据的完整性和可用性。

4. 添加错误处理机制，提高程序的健壮性。

5. 记录程序运行的时间，评估效率。

示例代码如下：

# 导入必要的库
import tushare as ts
import datetime
import requests
from bs4 import BeautifulSoup
import csv
import re

# 获取交易日期
end_date = datetime.date.today()
data = ts.get_hist_data('000012', start='2015-01-01', end=str(end_date))
dates = list(data.index)

# 构建不同类型的URL
urls = [f'http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio?type=zy4&date={date}' for date in dates]
urls_3 = [f'http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio?type=zy3&date={date}' for date in dates]
urls_2 = [f'http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio?type=zy2&date={date}' for date in dates]
urls_1 = [f'http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio?type=zy1&date={date}' for date in dates]

# 请求网页
def get_html_text(url):
    try:
        respOnse= requests.get(url)
        response.raise_for_status()
        response.encoding = response.apparent_encoding
        return response.text
    except Exception as e:
        print(f'Error: {e}')
        return ''

# 解析网页并提取数据
def get_info(url):
    html = get_html_text(url)
    soup = BeautifulSoup(html, 'html.parser')
    td_elements = soup.find_all('td')
    date = re.findall(r'\d{4}-\d{2}-\d{2}', url)[0]
    if len(td_elements) == 48:
        return (date,) + tuple(td.string for td in td_elements)
    else:
        return (date,) + tuple([0.0] * 48)

# 保存数据到CSV文件
def save_to_csv(filename, info):
    with open(f'E:\download\{filename}.csv', 'a', newline='') as file:
        writer = csv.writer(file)
        writer.writerow(info)

# 主函数
def main():
    filenames = ['guxilv', 'shijinglv', 'gundongshiyinglv', 'jingtaishiyinglv']
    all_urls = [urls, urls_3, urls_2, urls_1]
    for filename, urls_list in zip(filenames, all_urls):
        count = 0
        print(f'开始抓取 {filename} 数据...')
        start_time = datetime.datetime.now()
        for url in urls_list:
            save_to_csv(filename, get_info(url))
            count += 1
        end_time = datetime.datetime.now()
        print(f'完成 {filename} 的抓取，共 {count * 48} 条数据已存入 E:\download\{filename}.csv 文件。耗时：{(end_time - start_time).seconds}秒')

if __name__ == '__main__':
    main()

上述代码展示了如何利用Python进行网络爬虫操作，从指定网站抓取主板市场的财务指标，并将结果保存至本地文件系统中，便于后续分析和使用。