DDR爱好者之家 Design By 杰米
在以上两篇文章中已经介绍到了 Python 爬虫和 MongoDB , 那么下面我就将爬虫爬下来的数据存到 MongoDB 中去,首先来介绍一下我们将要爬取的网站, readfree 网站,这个网站非常的好,我们只需要每天签到就可以免费下载三本书,良心网站,下面我就将该网站上的每日推荐书籍爬下来。
利用上面几篇文章介绍的方法,我们很容易的就可以在网页的源代码中寻找到书籍的姓名和书籍作者的信息。
找到之后我们复制 XPath ,然后进行提取即可。源代码如下所示
# coding=utf-8 import re import requests from lxml import etree import pymongo import sys reload(sys) sys.setdefaultencoding('utf-8') def getpages(url, total): nowpage = int(re.search('(\d+)', url, re.S).group(1)) urls = [] for i in range(nowpage, total + 1): link = re.sub('(\d+)', '%s' % i, url, re.S) urls.append(link) return urls def spider(url): html = requests.get(url) selector = etree.HTML(html.text) book_name = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/a/text()') book_author = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/div/a/text()') saveinfo(book_name, book_author) def saveinfo(book_name, book_author): connection = pymongo.MongoClient() BookDB = connection.BookDB BookTable = BookDB.books length = len(book_name) for i in range(0, length): books = {} books['name'] = str(book_name[i]).replace('\n','') books['author'] = str(book_author[i]).replace('\n','') BookTable.insert_one(books) if __name__ == '__main__': url = 'http://readfree.me/shuffle/"theimg" src="/UploadFiles/2021-04-09/201692295339582.png">好了,就这样,如果发现代码哪里存在错误或者说有可以改善的地方,希望留言给我,感谢。
DDR爱好者之家 Design By 杰米
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
DDR爱好者之家 Design By 杰米
暂无评论...
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。
更新日志
2024年05月16日
2024年05月16日
- 孙露《情调私语+我的歌》3CD[WAV+CUE][1.6G]
- 陈宁《你忙我忙+青春未央+那天晚上》3CD[WAV+CUE][1.5G]
- 黑帝斯哈迪斯2全武器和工具介绍 黑帝斯哈迪斯2全武器和工具图文指南
- 黑帝斯哈迪斯2流派玩法推荐 黑帝斯哈迪斯太难了怎么玩
- 黑帝斯哈迪斯2流派推荐 黑帝斯哈迪斯2雷冰法阵流构筑分享
- 林忆莲1999-铿锵玫瑰(豪华版)[滚石][WAV+CUE]
- [In-AkustikINAK7505]ReferenceSoundCheck(2014)[GermanyHQCD][WAV+CUE]
- 林淑蓉1990-古典新情2CD[名冠日本版国语][WAV+CUE]
- 黑帝斯哈迪斯2流派玩法推荐 黑帝斯哈迪斯太难了怎么玩
- 黑帝斯哈迪斯2流派推荐 黑帝斯哈迪斯2雷冰法阵流构筑分享
- 鸣潮秧秧声骸怎么选择 秧秧声骸搭配及词条选择攻略
- 藍井エイル《AUBE》[WAV+CUE]
- 潘盈.1993-旧情绵绵【名将】【WAV+CUE】
- 谭小环.1997-自主【BMG】【WAV+CUE】
- 张震岳《精选 滚石SACD系列》首批限量编号 [SACD ISO][1.1G]