pandas.read_html()读取网页表格类数据

目标网站
http://www.tianqihoubao.com/lishi/wanzhou/month/201101.html

表格类数据格式样子

大致网络结构

<table class="..." id="..." ...>
	 ...
     <tbody>
        <tr>
            <td>...</td>
        </tr>
        <tr>...</tr>
        <tr>...</tr>
        <tr>...</tr>
        <tr>...</tr>
        ...
        <tr>...</tr>
        <tr>...</tr>        
    </tbody>
</table>

<table></table> 表示整体表格
 <tr>...</tr>表示一行
 <td>...</td>表示某一格的数据

代码

从HTML文件读取数据

如上所示，Pandas可以直接用DataFrame生成HTML表格，同样可以读取HTML文件。read_html()函数解析HTML页面，寻找HTML表格。如果找到，就将其转换为可以直接用于数据分析的DataFrame对象。

即使只有一个表格，read_html()函数也会返回一个DataFrame列表

import pandas as pd

dates=[201901,201902,201903,201904,201905,201906,201907,201908,201909,201910,201911,201912]
print(dates)# 构造出日期序列  便于之后构造url

for i in range(len(dates)):
    df = pd.read_html(f'http://www.tianqihoubao.com/lishi/wanzhou/month/{dates[i]}.html', encoding='gbk', header=0)[0]
    print(df)
    if i == 0:
        df.to_csv('2019年万州天气预报数据.csv', mode='a+', index=False)     # mode='a+'追加写入
        i += 1
    else:
        df.to_csv('2019年万州天气预报数据.csv', mode='a+', index=False, header=False)
print('结束')

换一个网站
http://data.eastmoney.com/hsgt/top10.html

import pandas as pd
df = pd.read_html(f'http://data.eastmoney.com/hsgt/top10.html', encoding='gbk')[0]
print(df)

一些复杂网站无法读取。
能读取就读，不能读就尝试爬虫吧