分享一段自己写的python爬取网站图片的代码

Python是一种功能强大的编程语言，可以用来实现各种各样的任务，包括爬取图片。下面是使用Python进行图片爬取的简单步骤：

一、选择一个合适的网站：首先需要选择一个包含图片的网站，可以通过网站上的图片URL进行爬取。常见的图片网站包括Flickr、Instagram、Pinterest等。
二、确定爬取方式：可以使用第三方库（例如BeautifulSoup）来解析网页内容，然后查找并提取图片链接。也可以使用网络爬虫框架（例如Scrapy）进行图片爬取。
三、编写Python代码：使用Python编写爬取图片的代码，可以使用requests库进行网页请求，使用urllib库或者wget库来下载图片。还可以使用Pillow库对图片进行处理和调整。
四、存储图片：在爬取图片后，需要将其存储在本地或者云端，可以使用Python的文件操作或者云存储服务来实现。

以下是我自己写的一段代码，希望对各位道友有用：

#coding:gbk
import requests
from bs4 import BeautifulSoup
import os
import urllib
for a in range(10):
    resp=requests.get('http://www.netbian.com/s/chaogaoqing/index_' + str(a) + '.htm') #请求百度首页
    print(resp) #打印请求结果的状态码
    print(resp.content) #打印请求到的网页源码
    bsobj=BeautifulSoup(resp.content,'lxml') #将网页源码构造成BeautifulSoup对象，方便操作
    a_list=bsobj.find_all('img') #获取网页中的所有img标签对象
    text=[] # 创建一个空列表
    for img in a_list:
        src=img.get('src') #获取img标签对象的src属性，即这个对象指向的链接地址
        from urllib.request import urlretrieve
        os.makedirs('image/', exist_ok=True)
        #text= text + src+'\n' #加入到字符串中，并换行
        text.append(src)
    for x in range(len(text)):
        i= text[x]
        IMAGE_URL = i
        if a == 1:
            print(a)
            urlretrieve(IMAGE_URL, filename="image/" + str(x + 1) +".png")
        elif a == 2:
            urlretrieve(IMAGE_URL, filename="image/" + str(x + 1) + "1" + ".png")
        elif a == 3:
            urlretrieve(IMAGE_URL, filename="image/" + str(x + 1) + "2" + ".png")
        elif a == 4:
            urlretrieve(IMAGE_URL, filename="image/" + str(x + 1 )+ "3" + ".png")
        elif a == 5:
            urlretrieve(IMAGE_URL, filename="image/" + str(x + 1) + "4" + ".png")
        elif a == 6:
            urlretrieve(IMAGE_URL, filename="image/" + str(x + 1) + "5" + ".png")
        elif a == 7:
            urlretrieve(IMAGE_URL, filename="image/" + str(x + 1) + "6" + ".png")
        elif a == 8:
            urlretrieve(IMAGE_URL, filename="image/" + str(x + 1) + "7" + ".png")
        else :
            urlretrieve(IMAGE_URL, filename="image/" + str(x + 1) + "8" + ".png")
#with open('url.txt','a') as f: #在当前路径下，以写的方式打开一个名为'url.txt'，如果不存在则创建
    #f.write(text) #将text里的数据写入到文本中
print("\n")
print('网页中的图片已下载完毕')

分享一段自己写的python爬取网站图片的代码

相关推荐

共有 0 条评论

点击这里取消回复。

归档

分类