博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python爬虫学习之大批量抓取京东商品id和标签
阅读量:5251 次
发布时间:2019-06-14

本文共 1550 字,大约阅读时间需要 5 分钟。

Python在世界脚本语言排行榜中名列前茅,也是多领域选择使用的语言,掌握Python技术增加就业选择,今天与大家分享一下python爬虫大批量抓取京东商品id和标签。

Python在世界脚本语言排行榜中名列前茅,也是多领域选择使用的语言,掌握Python技术增加就业选择,今天与大家分享一下python爬虫大批量抓取京东商品id和标签

Python在世界脚本语言排行榜中名列前茅,也是多领域选择使用的语言,掌握Python技术增加就业选择,今天与大家分享一下python爬虫大批量抓取京东商品id和标签

源码

1 ''' 2 在学习过程中有什么不懂得可以加我的 3 python学习交流扣扣qun,934109170 4 群里有不错的学习教程、开发工具与电子书籍。 5 与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容。 6 ''' 7 import requests 8 import re 9 import pandas as pd10  11 def get_data():12     jj_url1 = 'http://search.jd.com/s_new.php?keyword=%E5%AE%B6%E5%B1%85%E7%94%A8%E5%93%81&enc=utf-8&qrst=1&rt=1&stop=1&pt=1&vt=2&sttr=1&offset=6&page='13     jj_url2 = '&s=53&click=0'14     bt_ = []15     _id = []16     url_list = []17     for i in range(1, 10, 2):18         jj_url = jj_url1 + str(i) + jj_url219         url_list.append(jj_url)20         html = requests.get(jj_url).content.decode('utf-8')21         reg1 = re.compile('')23         bt = re.findall(reg1, html)24         id_ = re.findall(reg2, html)25         bt_.extend(bt)26         _id.extend(id_)27     return bt_, _id28  29 def split_str(_id):30     zid = []31     for _ in _id:32         zid.append(_.split('_')[2])33     return zid34  35 def save_data(zid, bt_):36     data = pd.DataFrame({37             '标题': bt_,38             'ID': zid39             })40     data.to_excel('./家居用品.xlsx', index=False)41  42 def start_main():43     bt_, _id = get_data()44     zid = split_str(_id)45     save_data(zid, bt_)46  47 if __name__ == '__main__':48     start_main()

 

转载于:https://www.cnblogs.com/xiaoyiq/p/11381058.html

你可能感兴趣的文章
《礼仪73》、《处事22计》、《心态24条》、《伤心50句》、《学会长大20》
查看>>
T-SQL中的十大注意事项
查看>>
mysql下的sqlmode详解
查看>>
文本超出隱藏
查看>>
关于网络传输字节顺序的问题: hton? or ntoh?
查看>>
ActionScript3(AS3)类库学习之(十)——DisplayObject等显示对象基类
查看>>
使用docker配置laravel5.5环境
查看>>
每天CookBook之Python-088
查看>>
eclipse Android项目 DDMS db文件 导出 Failed to pull selection null 问题
查看>>
JS 惰性函数 的简单案例
查看>>
简述python中的@staticmethod作用及用法
查看>>
RabbitMQ入门(3)——发布/订阅(Publish/Subscribe)
查看>>
学习python第二天 流程判断
查看>>
学习Lua笔记_02(第二章 类型与值)
查看>>
R数据分析(一)
查看>>
java学习-基础知识第十一天--综合练习
查看>>
asp.net常用函数
查看>>
C语言 · 素数判断
查看>>
CentOS6.8部署MongoDB集群及支持auth认证
查看>>
给JFinal添加 Sqlite 数据库支持
查看>>