当前位置：首页>二手房>爬虫 | Python爬取某平台二手房数据

爬虫 | Python爬取某平台二手房数据

2026-02-02 08:59:23

点击上方"蓝字"，关注"Python当打之年"

后台回复"1"，领取众多Python学习资料

大家好，我是欧K~

本期给大家分享一下如何用python爬取某平台杭州二手房数据，包含行政区、标题、房屋信息（户型、楼层、朝向、年份）、地址、地铁、房价（总价、单价）等几部分信息，希望对大家有所帮助，如有疑问或者需要改进的地方可以联系小编。

可视化部分见：

【Pandas+Pyecharts | 杭州市二手房数据分析可视化】

所有内容仅供参考，不做他用。

1. 网页分析

目标网址(房天下：https://hz.esf.fang.com)，分析区域信息和二手房房屋信息：

如果不分区域的话一共是100页数据。

接下来，按 F12 或者右键选择审查元素，搜索行政区：拱墅

这里我们可以看到所有行政区列表数据。

接下来搜索第一条信息望江 · 海潮御品公寓：

同样这里可以看到房屋信息的各项数据。

那么我们可以根据行政区来爬取整个杭州市的数据了，根据行政区爬取数据会相对多一些。

2. 爬取数据

2.1 导入模块

import timeimport requestsimport pandas as pd

2.2 请求网页数据

defget_data(cookies,headers,filepath):    screen_dict = get_region()    adrs = list(screen_dict.keys())    print(adrs)for adr in adrs:        print(f'当前爬取行政区：{adr} 第 1 页 ')        url_1 = f'https://hz.esf.fang.com{screen_dict[adr]}i31/'        print(url_1)        onepageinfo,pages = get_first_page(url_1,cookies,headers,adr)if onepageinfo:            insert2excel(filepath,onepageinfo)

2.3 解析数据

defget_onepage(url_one,cookies,headers,adr):    response = requests.get(url_one, cookies=cookies, headers=headers)    soup = BeautifulSoup(response.text,'html.parser')    house_list = shop_list.find_all('dl')    onepageinfo = []for shop in house_list:        tit_shop = shop.find_all(attrs={'class':'tit_shop'})[0].text        tel_shop = shop.find_all(attrs={'class':'tel_shop'})[0].text        add_shop = shop.find_all(attrs={'class':'add_shop'})[0].text        label = shop.find_all(attrs={'class':'label'})[0].text        price_right = shop.find_all(attrs={'class':'price_right'})[0].text

2.4 获取总页数

这里需要注意，每个行政区数据量不一样，也就是页数不一样，所以需要先解析出来当前行政区有多少页数据：

soup = BeautifulSoup(response.text,'html.parser')pages = int(re.findall('共(\d+)页',soup.find_all(attrs={'class':'page_al'})[0].text)[0])

2.5 保存文件

def insert2excel(filepath,allinfo):if not os.path.exists(filepath):        tableTitle = ['行政区','标题','房屋信息','地址','地铁','房价']        wb = Workbook()ws = wb.activews.title = 'sheet1'ws.append(tableTitle)        wb.save(filepath)        time.sleep(3)    wb = load_workbook(filepath)ws = wb.activews.title = 'sheet1'for info in allinfo:ws.append(info)    wb.save(filepath)