本文共 1241 字，大约阅读时间需要 4 分钟。

python爬虫实战之图灵社区图书信息的爬取

程序的描述

• 目标
  • 获取图灵社区（https://www.ituring.com.cn/book）中40本图书的书名
  • 将获取的信息以列表的形式输出到屏幕上，并加上相关的序号
• 描述：
  • 获取翻页接口
  • 获取相关信息的位置
• 技术路线：requests——BeautifulSoup库

准备工作

• 获取翻页的关键字

自然而然地就看见关键字是page，修改&page就可以翻页

• 获取书名和作者地在网页中的信息

  • 自然而然地看见，有四个书名，从形式上来看，三个用字符串保存，一个用标签保存。所以这里采用标签式，而用标签，重点在于分析清楚标签之间地彼此架构关系，通过对比发现< h4 > … < /h4 >，所有地h4标签里面都是书名

程序编写

• 第一步，确定步骤，并将所有的步骤

  • 提交网页的url，循环获取页面 getHTMLText（）
  • 对于每个页面，提取每本图书的名称getNAME（）
  • 将信息输出到屏幕上 printBOOKLIST（）
  • 采用main函数将所有的函数连接起来

• 第二步，逐步完善

from bs4 import BeautifulSoupimport requests# 获取相关的网址def getHTML(url):    r = requests.get(url,timeout = 30)    r.raise_for_status()    r.encoding = r.apparent_encoding    return r.text# 对网页的text内容进行分析def paesrHTML(text,ilt):    soup = BeautifulSoup(text,'html.parser')    for i in soup('h4'):        ilt.append(i.string)# 将分析的内容进行输出def printMessage(ilt):    text = '{:<10}\t{:<10}'    print(text.format("序号","书名"))    count = 1    for i in ilt:        print(text.format(count,i))        count += 1def main():    url = "https://www.ituring.com.cn/book?tab=book&sort=hot&page="    page = 0    ilt = list()    for i in range(4):        text = getHTML(url + str(i))        paesrHTML(text,ilt)    printMessage(ilt)main()

总结

• 虽然很简单，而且有点搓，但是毕竟是第一次独立的编写爬虫软件，发现很多东西并没有融会贯通，写的时候还是会看很多的参考信息

转载地址：http://rrgpb.baihongyu.com/