其他
爬虫实战 | 爬取中国天气网
本文作者：张孟晗，中南财经政法大学统计与数学学院
本文编辑：赵一帆
技术总编：王子一
Stata&Python云端课程来啦！
为了感谢大家长久以来的支持和信任，爬虫俱乐部为大家送福利啦！！！Stata&Python特惠课程双双上线腾讯课堂～爬虫俱乐部推出了Python编程培训课程、Stata基础课程、Stata进阶课程、Stata文本分析、正则表达式、网络爬虫、基本字符串课程。报名课程即可加入答疑群，对报名有任何疑问欢迎在公众号后台和腾讯课堂留言哦。我们在这篇推文的最后提供了每门课程的课程二维码，大家有需要的话可以直接扫描二维码查看课程详情并进行购买哦~
俗话说“天有不测风云”，但随着现代科技的发展，让我们感觉到“天有可测风云”，如今天气预报能够准确预测未来一段时间的天气状况，为我们的生活出行带来了巨大的便利。那么今天就带大家爬取中国天气网的天气数据，存储到excel中，并演示一些简单的数据可视化。
import requestsfrom lxml import etree
url = "http://www.weather.com.cn/textFC/hb.shtml"#UA伪装以及防止referere检测headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.78", "Referer": "http://www.weather.com.cn/forecast/"}
all_url = requests.get(url=url,headers=headers).content.decode("utf-8") #获取页面源代码tree = etree.HTML(all_url) #实例化一个etree对象all_url = tree.xpath("//div[@class='contentboxTab2']//li/span/a/@href") #定位到href属性值提取网址all_url = ["http://www.weather.com.cn"+i for i in all_url] #补全网址url = "http://www.weather.com.cn/textFC/hb.shtml"data = requests.get(url=url,headers=headers).content.decode("utf-8")tree = etree.HTML(data)all_data = tree.xpath("//div[@class='hanml']/div[@class='conMidtab'][1]//table") #定位到table标签,所有tag标签被存放在列表中list = []
for i in all_data: detail_data = i.xpath(".//tr")[2:] for index,j in enumerate(detail_data): if index == 0: #第一个城市单独处理 dic = {} #所有属性先存入一个字典中，再统一存入一个列表中 city = j.xpath(".//td[2]/a/text()")[0] dic["city"] = city hitemp = int(j.xpath(".//td[5]//text()")[0]) dic["hitemp"] = hitemp lotemp = int(j.xpath(".//td[8]//text()")[0]) dic["lotemp"] = lotemp list.append(dic) else: #其他城市正常处理 dic = {} city = j.xpath(".//td[1]/a/text()")[0] dic["city"] = city hitemp = int(j.xpath(".//td[4]//text()")[0]) dic["hitemp"] = hitemp lotemp = int(j.xpath(".//td[7]//text()")[0]) dic["lotemp"] = lotemp list.append(dic)import pandas as pd
df = pd.DataFrame(list)df.to_excel("./tianqi.xlsx",index=None)import matplotlib.pyplot as plt
plt.rcParams["font.sans-serif"] = ["STsong"] #设置图像上可以显示中文df = df.sort_values(by="lotemp",ascending=True)[:11] #按照最低气温排序，并按照升序排序，取排名前11个城市city_name = df["city"]lotemp = df["lotemp"]
plt.figure(figsize=(20,8),dpi=80) #设置图像相关参数plt.bar(city_name, lotemp)plt.show()import pandas as pdimport requestsfrom lxml import etreeimport re
url = "http://www.weather.com.cn/textFC/hb.shtml"headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.78", "Referer": "http://www.weather.com.cn/forecast/"}
all_url = requests.get(url=url,headers=headers).content.decode("utf-8") #获取页面源代码tree = etree.HTML(all_url) #实例化一个etree对象all_url = tree.xpath("//div[@class='contentboxTab2']//li/span/a/@href") #定位到href属性值提取网址all_url = ["http://www.weather.com.cn"+i for i in all_url] #补全网址for url in all_url[:7]: data = requests.get(url=url, headers=headers).content.decode("utf-8") tree = etree.HTML(data) all_data = tree.xpath("//div[@class='hanml']/div[@class='conMidtab'][1]//table") # 定位到table标签,所有tag标签被存放在列表中 list = [] for i in all_data: detail_data = i.xpath(".//tr")[2:] for index, j in enumerate(detail_data): if index == 0: # 第一个城市单独处理 dic = {} # 所有属性先存入一个字典中，再统一存入一个列表中 city = j.xpath(".//td[2]/a/text()")[0] dic["city"] = city hitemp = int(j.xpath(".//td[5]//text()")[0]) dic["hitemp"] = hitemp lotemp = int(j.xpath(".//td[8]//text()")[0]) dic["lotemp"] = lotemp list.append(dic) else: # 其他城市正常处理 dic = {} city = j.xpath(".//td[1]/a/text()")[0] dic["city"] = city hitemp = int(j.xpath(".//td[4]//text()")[0]) dic["hitemp"] = hitemp lotemp = int(j.xpath(".//td[7]//text()")[0]) dic["lotemp"] = lotemp list.append(dic) name = re.findall("textFC/(.*).shtml",url) df = pd.DataFrame(list) df.to_excel(f"./{name}.xlsx", index=None)腾讯课堂课程二维码
对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！
往期推文推荐
爬虫实战 | 爬取东方财富网经济数据——以居民消费价格指数（CPI）为例
Seminar|媒体关联董事对融资和外部治理的影响 神奇的组内交叉合并 PDF分章节转TXT并实现可视化——以胡景北知青日记1971至1978年为例万物皆可开——shellout妙用
无处不在的系列配置项|从零开始的Pyecharts（三）
使用Python制作自动聊天机器人
fillin一下，平衡回来~
order命令——快速改变变量顺序的利器 Ajax应用场景——以获取雪球网港股代码及公司名称为例播放列表中的歌单排行
在Stata中轻松运用program编写命令
Meta Analysis in Stata17芒果TV视频弹幕爬取之《我在他乡挺好的》
Stata中的判断神器——confirm命令
cngdf——名义GDP与实际GDP之间的摆渡船最近《扫黑风暴》有点火爆！我从豆瓣评论中发现了这些……
随机森林-Random Forest
复原之神--preserve&restore
合并，“纵”享新丝滑：frameappend & xframeappend什么是全局配置项？|从零开始的Pyecharts（二）帮你拿下数据可视化|从零开始的Pyecharts
Stata助力疫情打卡管理——是谁没有接龙呢？
这十年，《金融研究》的编委和读者偏爱哪些研究话题和文章?【案例展示】Python与数据库交互
学好这一手，英语词典常在手玩转Stata中的数学函数
用spmap看中国空气质量戳穿围城面具：安利&劝退一个专业
走进图文并茂的攻略世界
玩转word文档“大变身”——wordconvert
关于我们
微信公众号“Stata and Python数据分析”分享实用的Stata、Python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。
武汉字符串数据科技有限公司一直为广大用户提供数据采集和分析的服务工作，如果您有这方面的需求，请发邮件到statatraining@163.com，或者直接联系我们的数据中台总工程司海涛先生，电话：18203668525，wechat: super4ht。海涛先生曾长期在香港大学从事研究工作，现为知名985大学的博士生，爬虫俱乐部网络爬虫技术和正则表达式的课程负责人。
此外，欢迎大家踊跃投稿，介绍一些关于Stata和Python的数据处理和分析技巧。
投稿邮箱：statatraining@163.com投稿要求：
1）必须原创，禁止抄袭；
2）必须准确，详细，有例子，有截图；
注意事项：
1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。