Python爬虫-爬取古诗
2023年8月19日发(作者：2017中国海洋大学历年录取分数线)
着急的近义词-
Python爬⾍-爬取古诗今天学习了⼀些简单的爬⾍知识，并应⽤这些知识撸了⼀爬取古诗的程序主要使⽤的第三⽅库：requests，bs4直接上代码： :# -*- coding:utf-8 -*-# rt sysimport bs4import requestsimport refrom poem import Poemdef getPoem(poemText): p = Poem(poemText) return pdef page_turning(): global poem_url_0, page, poem_url poem_url = poem_url_0 + '&page=' + str(page) page += 1poem_url_0 = '/shiwens/?tstr=&astr=&cstr=&xstr=%e8%af%97'page = 1poem_url = ''page_turning()def spider(): global poem_url poem_html = (poem_url) # 获取⽹页原始HTML⽂档 # print(poem_html) # 返回⼀个Response对象 soup = fulSoup(poem_, '') # bs4 解析HTML⽂档 textareaTag_lst = _all('textarea') # 获取古诗⽂本的标签 poemText_ptn = e(r'>(.[^w]*?《[u4e00-u9fa5·]+?》.+?aspx)<') # 产⽣⼀个对古诗⽂本的匹配⽅法 poemText_lst = poemText_l(str(textareaTag_lst)) # 提取古诗⽂本，⽣成⽂本列表 poem_lst = list(map(getPoem, poemText_lst)) print('共爬取到 %d ⾸古诗词:' % poem_lst[0].poemCout) for p in poem_lst: print('#%2d %s' % (, )) print('#0 爬取下⼀页') print('#-1 重新爬取') print('#-2 退出') while True: num = int(input('输⼊编号查看对应详细内容或进⾏其他操作:')) if num - 1 in range(len(poemText_lst)): poem_lst[num - 1].showPoem() elif num == 0: page_turning() spider() elif num == -1: spider() elif num == -2: () else: print('错误:输⼊的号码有误.')spider() :# -*- coding:utf-8 -*-# rt timedef text_write_in_file(text, file_name): with open(file_name, 'a', encoding='UTF-8') as f: (text) ()class Poem: poemCout = 0 file_name = input('保存数据到⽂件(eg: ):') def __init__(self, poemText): """ :param poemText: 爬取到的 poem 源⽂本 """ ut += 1 = ut xt = poemText Andtitle = '' = '' = '' = '' = '' = {'index': , 'title': , 'author': , 'poem': , 'url': } oemText() uthorAndTitle() xtToDict() print('%s 第%2d⾸古诗词被爬取' % (me("%Y-%m-%d %H:%M:%S", ime()), )) # ut text_write_in_file(str() + 'n', _name) print('%s已保存到%s' % (, _name)) def splitPoemText(self): cup = ('——') if len(cup) == 2: = cup[0] Andtitle = cup[1] else: = cup[0] Andtitle = '佚名《⽆题》' def splitAuthorAndTitle(self): titleStart = ('《') titleEnd = ('》') = Andtitle[titleStart:titleEnd + 1] = Andtitle[:titleStart] = Andtitle[titleEnd + 1:] def poemTextToDict(self): = {'index': , 'title': , 'author': , 'poem': , 'url': } def showPoem(self): print() print() for w in : print(w, end='') if w in '。！？': print() print('原⽂链接:', )运⾏ ："D:Program Files (x86)" "D:/Users/Yinlong Zheng/Projects/PycharmProjects/pythonProject3/Python_NOTE/code/python 爬⾍/爬取古诗词/"保存数据到⽂件(eg: ):2022-01-19 18:57:40 第 1⾸古诗词被爬取《将进酒》已保存到2022-01-19 18:57:40 第 2⾸古诗词被爬取《长恨歌》已保存到2022-01-19 18:57:40 第 3⾸古诗词被爬取《关雎》已保存到2022-01-19 18:57:40 第 4⾸古诗词被爬取《春江花⽉夜》已保存到2022-01-19 18:57:40 第 5⾸古诗词被爬取《春望》已保存到2022-01-19 18:57:40 第 6⾸古诗词被爬取《⽊兰诗》已保存到2022-01-19 18:57:40 第 7⾸古诗词被爬取《⾏路难·其⼀》已保存到2022-01-19 18:57:40 第 8⾸古诗词被爬取《蜀道难》已保存到2022-01-19 18:57:40 第 9⾸古诗词被爬取《蒹葭》已保存到2022-01-19 18:57:40 第10⾸古诗词被爬取《元⽇》已保存到共爬取到 10 ⾸古诗词:# 1 《将进酒》# 2 《长恨歌》# 3 《关雎》# 4 《春江花⽉夜》# 5 《春望》# 6 《⽊兰诗》# 7 《⾏路难·其⼀》# 8 《蜀道难》# 9 《蒹葭》#10 《元⽇》#0 爬取下⼀页#-1 重新爬取#-2 退出输⼊编号查看对应详细内容或进⾏其他操作:02022-01-19 18:58:10 第11⾸古诗词被爬取《琵琶⾏》已保存到2022-01-19 18:58:10 第12⾸古诗词被爬取《步出夏门⾏·观沧海》已保存到2022-01-19 18:58:10 第13⾸古诗词被爬取《茅屋为秋风所破歌》已保存到2022-01-19 18:58:10 第14⾸古诗词被爬取《短歌⾏》已保存到2022-01-19 18:58:10 第15⾸古诗词被爬取《登⾼》已保存到2022-01-19 18:58:10 第16⾸古诗词被爬取《⼭居秋暝》已保存到2022-01-19 18:58:10 第17⾸古诗词被爬取《⽩雪歌送武判官归京》已保存到2022-01-19 18:58:10 第18⾸古诗词被爬取《静夜思》已保存到2022-01-19 18:58:10 第19⾸古诗词被爬取《钱塘湖春⾏》已保存到2022-01-19 18:58:10 第20⾸古诗词被爬取《⽆题·相见时难别亦难》已保存到共爬取到 20 ⾸古诗词:#11 《琵琶⾏》#12 《步出夏门⾏·观沧海》#13 《茅屋为秋风所破歌》#14 《短歌⾏》#15 《登⾼》#16 《⼭居秋暝》#17 《⽩雪歌送武判官归京》#18 《静夜思》#19 《钱塘湖春⾏》#20 《⽆题·相见时难别亦难》#0 爬取下⼀页#-1 重新爬取#-2 退出输⼊编号查看对应详细内容或进⾏其他操作:-2进程已结束，退出代码为 0爬取到的数据：{'index': 1, 'title': '《将进酒》', 'author': '唐代·李⽩', 'poem': '君不见黄河之⽔天上来，奔流到海不复回。君不见⾼堂明镜悲⽩发，朝如青丝暮成雪。⼈⽣得意须尽欢，莫使⾦樽空对⽉。天⽣我材必有⽤，千⾦散尽还复来。烹⽺宰⽜且为乐，会须{'index': 2, 'title': '《长恨歌》', 'author': '唐代·⽩居易', 'poem': '汉皇重⾊思倾国，御宇多年求不得。杨家有⼥初长成，养在深闺⼈未识。天⽣丽质难⾃弃，⼀朝选在君王侧。回眸⼀笑百媚⽣，六宫粉黛⽆颜⾊。春寒赐浴华清池，温泉⽔滑洗凝脂{'index': 3, 'title': '《关雎》', 'author': '先秦·佚名', 'poem': '关关雎鸠，在河之洲。窈窕淑⼥，君⼦好逑。参差荇菜，左右流之。窈窕淑⼥，寤寐求之。求之不得，寤寐思服。悠哉悠哉，辗转反侧。参差荇菜，左右采之。窈窕淑⼥，琴瑟友之。参{'index': 4, 'title': '《春江花⽉夜》', 'author': '唐代·张若虚', 'poem': '春江潮⽔连海平，海上明⽉共潮⽣。滟滟随波千万⾥，何处春江⽆⽉明！江流宛转绕芳甸，⽉照花林皆似霰。空⾥流霜不觉飞，汀上⽩沙看不见。江天⼀⾊⽆纤尘，皎皎空中孤{'index': 5, 'title': '《春望》', 'author': '唐代·杜甫', 'poem': '国破⼭河在，城春草⽊深。感时花溅泪，恨别鸟惊⼼。烽⽕连三⽉，家书抵万⾦。⽩头搔更短，浑欲不胜簪。', 'url': '/shiwenv_'}{'index': 6, 'title': '《⽊兰诗》', 'author': '南北朝·乐府诗集', 'poem': '唧唧复唧唧，⽊兰当户织。不闻机杼声，唯闻⼥叹息。(唯 ⼀作：惟)问⼥何所思，问⼥何所忆。⼥亦⽆所思，⼥亦⽆所忆。昨夜见军帖，可汗⼤点兵，军书⼗⼆卷，卷卷有爷名。{'index': 7, 'title': '《⾏路难·其⼀》', 'author': '唐代·李⽩', 'poem': '⾦樽清酒⽃⼗千，⽟盘珍羞直万钱。(羞 同：馐；直 同：值)停杯投箸不能⾷，拔剑四顾⼼茫然。欲渡黄河冰塞川，将登太⾏雪满⼭。(雪满⼭ ⼀作：雪暗天)闲来垂钓碧溪上，忽复{'index': 8, 'title': '《蜀道难》', 'author': '唐代·李⽩', 'poem': '噫吁嚱，危乎⾼哉！蜀道之难，难于上青天！蚕丛及鱼凫，开国何茫然！尔来四万⼋千岁，不与秦塞通⼈烟。西当太⽩有鸟道，可以横绝峨眉巅。地崩⼭摧壮⼠死，然后天梯⽯栈相钩{'index': 9, 'title': '《蒹葭》', 'author': '先秦·佚名', 'poem': '蒹葭苍苍，⽩露为霜。所谓伊⼈，在⽔⼀⽅。溯洄从之，道阻且长。溯游从之，宛在⽔中央。蒹葭萋萋，⽩露未晞。所谓伊⼈，在⽔之湄。溯洄从之，道阻且跻。溯游从之，宛在⽔中坻{'index': 10, 'title': '《元⽇》', 'author': '宋代·王安⽯', 'poem': '爆⽵声中⼀岁除，春风送暖⼊屠苏。千门万户曈曈⽇，总把新桃换旧符。', 'url': '/shiwenv_'}{'index': 11, 'title': '《琵琶⾏》', 'author': '唐代·⽩居易', 'poem': '元和⼗年，予左迁九江郡司马。明年秋，送客湓浦⼝，闻⾈中夜弹琵琶者，听其⾳，铮铮然有京都声。问其⼈，本长安倡⼥，尝学琵琶于穆、曹⼆善才，年长⾊衰，委⾝为贾⼈妇。{'index': 12, 'title': '《步出夏门⾏·观沧海》', 'author': '两汉·曹操', 'poem': '东临碣⽯，以观沧海。⽔何澹澹，⼭岛竦峙。树⽊丛⽣，百草丰茂。秋风萧瑟，洪波涌起。⽇⽉之⾏，若出其中；星汉灿烂，若出其⾥。幸甚⾄哉，歌以咏志。', 'url': 'http{'index': 13, 'title': '《茅屋为秋风所破歌》', 'author': '唐代·杜甫', 'poem': '⼋⽉秋⾼风怒号，卷我屋上三重茅。茅飞渡江洒江郊，⾼者挂罥长林梢，下者飘转沉塘坳。南村童欺我⽼⽆⼒，忍能对⾯为盗贼。公然抱茅⼊⽵去，唇焦⼝燥呼不得，归{'index': 14, 'title': '《短歌⾏》', 'author': '两汉·曹操', 'poem': '对酒当歌，⼈⽣⼏何！譬如朝露，去⽇苦多。慨当以慷，忧思难忘。何以解忧？唯有杜康。(唯 ⼀作：惟)青青⼦衿，悠悠我⼼。但为君故，沉吟⾄今。呦呦⿅鸣，⾷野之苹。我有嘉宾{'index': 15, 'title': '《登⾼》', 'author': '唐代·杜甫', 'poem': '风急天⾼猿啸哀，渚清沙⽩鸟飞回。⽆边落⽊萧萧下，不尽长江滚滚来。万⾥悲秋常作客，百年多病独登台。艰难苦恨繁霜鬓，潦倒新停浊酒杯。', 'url': '/shiwenv{'index': 16, 'title': '《⼭居秋暝》', 'author': '唐代·王维', 'poem': '空⼭新⾬后，天⽓晚来秋。明⽉松间照，清泉⽯上流。⽵喧归浣⼥，莲动下渔⾈。随意春芳歇，王孙⾃可留。', 'url': '/shiwenv_'}{'index': 17, 'title': '《⽩雪歌送武判官归京》', 'author': '唐代·岑参', 'poem': '北风卷地⽩草折，胡天⼋⽉即飞雪。忽如⼀夜春风来，千树万树梨花开。散⼊珠帘湿罗幕，狐裘不暖锦衾薄。将军⾓⼸不得控，都护铁⾐冷难着。(难着 ⼀作：犹著)瀚海{'index': 18, 'title': '《静夜思》', 'author': '唐代·李⽩', 'poem': '床前明⽉光，疑是地上霜。举头望明⽉，低头思故乡。', 'url': '/shiwenv_'}{'index': 19, 'title': '《钱塘湖春⾏》', 'author': '唐代·⽩居易', 'poem': '孤⼭寺北贾亭西，⽔⾯初平云脚低。⼏处早莺争暖树，谁家新燕啄春泥。乱花渐欲迷⼈眼，浅草才能没马蹄。最爱湖东⾏不⾜，绿杨阴⾥⽩沙堤。', 'url': 'en.c{'index': 20, 'title': '《⽆题·相见时难别亦难》', 'author': '唐代·李商隐', 'poem': '相见时难别亦难，东风⽆⼒百花残。春蚕到死丝⽅尽，蜡炬成灰泪始⼲。晓镜但愁云鬓改，夜吟应觉⽉光寒。蓬⼭此去⽆多路，青鸟殷勤为探看。(蓬⼭ ⼀作：蓬莱)',
郑州市最新消息-
