美女視頻如何無水印下載？python帶你批量采集（含完整源碼）

發布時間：2023-07-03 00:27:25 作者：網友整理

環境介紹：

Python/ target=_blank class=infotextkey>Python 3.8 解釋器
pycharm 2021專業版 >>> 激活碼編輯器
谷歌瀏覽器

谷歌驅動
selenium >>> 驅動 >>> 瀏覽器

模塊使用：

采集一個視頻

requests >>> pip install requests
re

采集多個視頻

selenium >>> pip install selenium==3.141.0 (3.141.0)
指定模塊版本去安裝使用這個模塊安裝瀏覽器驅動
time

如果安裝python第三方模塊:

win + R 輸入 cmd 點擊確定, 輸入安裝命令 pip install 模塊名 (pip install requests) 回車
在pycharm中點擊Terminal(終端) 輸入安裝命令

如何配置pycharm里面的python解釋器?

選擇file(文件) >>> setting(設置) >>> Project(項目) >>> python interpreter(python解釋器)
點擊齒輪, 選擇add
添加python安裝路徑

pycharm如何安裝插件?

選擇file(文件) >>> setting(設置) >>> Plugins(插件)
點擊 Marketplace 輸入想要安裝的插件名字比如:翻譯插件輸入 translation / 漢化插件輸入 Chinese
選擇相應的插件點擊 install(安裝) 即可
安裝成功之后是會彈出重啟pycharm的選項點擊確定, 重啟即可生效

案例基本流程思路:

解答、源碼、教程、資料點擊「鏈接」免費領取

一. 分析數據來源

確定自己需求 , 我們采集的內容是什么? 采集那個網站... 先采集一個視頻, 然后再去采集多個視頻
通過開發者工具進行抓包分析..

I. 開發者工具網頁瀏覽器自帶, F12 或者鼠標右鍵點擊檢查選?.NETwork

II. 刷新網頁....讓網頁數據內容重新完整加載一遍 <找視頻數據內容>

III. 通過network下面的media里面找到視頻url地址

IV. 不夠.. >>> 分析這個視頻url地址從哪里來的... 通過抓包分析, 得到url地址通過一次編碼

二. 代碼實現的步驟爬蟲基本四大步驟....

發送請求, 對于剛剛分析得到url地址發送請求 https://www.douyin.com/video/7086835442330504488
獲取數據, 獲取服務器返回響應數據
解析數據, 提取我們想要視頻url地址以及視頻標題
保存數據, 把視頻內容保存在本地文件夾

代碼

導入模塊

import requests  # 導入數據請求模塊 第三方模塊 pip install requests
import re  # 導入正則表達式模塊  內置模塊

from selenium import webdriver
import time  # 時間模塊

selenium
用selenium模塊用驅動<瀏覽器>操作瀏覽器

人怎么去操作瀏覽器, 怎么去寫代碼

打開瀏覽器
webdriver.Chrome(executable_path="chromedriver") 括號里面是需要加驅動路徑
如果你驅動放在和代碼一個文件夾里面, 可以不用寫路徑
或者你的驅動放在python安裝目錄里面也可以不用寫路徑
其他位置, 都需要在指定路徑位置輸入網址查看網頁內容

requests請求數據,獲取服務器返回數據內容 selenium你可以直接根據元素面板去定位數據內容

爬蟲模擬瀏覽器對于url地址發送請求, 最后獲取服務返回響應數據

發送請求:

確定url模擬偽裝
請求頭headers 是可以直接在開發者工具里面復制粘貼 request headers 直接復制
字典數據類型, 構建完整鍵值對形式
user-agent 用戶代理表示瀏覽器基本身份標識請求方式
狀態碼 200 表示請求成功... 但是不一定得到你想要的數據...

沒有得到你想要數據內容, 是什么原因導致的? <被反爬了> 為什么被反爬了因為你被識別出來你是爬蟲程序
比如說: 超市面試試吃老是你來吃東西<一直你是Ip請求快速>, 不給你吃了 <IP被封>

driver = webdriver.Chrome()  # 實例化一個瀏覽器對象
driver.get('https://www.douyin.com/user/MS4wLjABAAAAUXBNFnWLvl9T8ylgAbD1auR_o5FL3dF7ic0KMYN9_88')
driver.implicitly_wait(10)


def drop_down():
    for x in range(1, 30, 4):
        time.sleep(1)
        j = x / 9
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)

解答、資料、教程可加Q裙：261823976免費領
list_1 = [1, 2, 3, 4, 5, 6, 7]
list_1[1:]
drop_down()
lis = driver.find_elements_by_css_selector(
    'div.mwbaK9mv > div:nth-child(2) > ul .ECMy_Zdt')  # 通過 css 選擇器查找元素  獲取多個li標簽返回列表
# url_list = [li.find_element_by_css_selector('a').get_attribute('href') for li in lis]
for li in lis:
    try:
        time.sleep(1)
        url = li.find_element_by_css_selector('a').get_attribute('href')
        # url = 'https://www.douyin.com/video/7087141617865346304'  # 網址
        headers = {
            'cookie': 'douyin.com; ttcid=444dfe8e89ff4d99b0662076ad171c8775; ttwid=1%7CTnFKlrGi3lHjKf5bshFdP9Nwu_Vsiwo-TxvX9NISgj8%7C1642083887%7Cfbfa904ea2900763eb6ac090bdd09014d80840da1ca485bbfea193d5401b330e; MONITOR_WEB_ID=c27b9f4a-4917-4256-be93-e948308467e3; odin_tt=0510c3c4196f54b541a96ac64e8b585b3a755be85057da8a1f3fa068e3f7b75ca2de4345e2b856f1e7b3f9455d86079731fe7d07a9f10890f26855d3674858e1; passport_csrf_token=e0b90cb756903c370592bd558c2b0cf5; passport_csrf_token_default=e0b90cb756903c370592bd558c2b0cf5; s_v_web_id=verify_l268jj46_kc7yYkD6_YHWW_4x4v_9snI_EDE0zro77uRn; AVATAR_FULL_LOGIN_GUIDE_COUNT=1; AVATAR_FULL_LOGIN_GUIDE_TIMESTAMP=1650982839652; AVATAR_FULL_LOGIN_GUIDE_ITA_COUNT=1; AVATAR_FULL_LOGIN_GUIDE_ITA_TIMESTAMP=1650982839652; __ac_nonce=0627ba36600d465d72261; __ac_signature=_02B4Z6wo00f01zrB8EAAAIDCWcswKSh.eLM65fTAAKzW8srQpmSjmL6YX9IsdmMSL4a9EBuyJvIwNMROqFQktniG-Ur-UDPK6wHInC8QKqRYUmyGnflwUXLpKzPgVt2FtREyprGmCDAZLrIpcc; douyin.com; strategyABtestKey=1652269927.635; AB_LOGIN_GUIDE_TIMESTAMP=1652269927510; AVATAR_LOGIN_GUIDE_COUNT=1; _tea_utm_cache_2285=undefined; _tea_utm_cache_6383=undefined; _tea_utm_cache_1300=undefined; pwa_guide_count=3; IS_HIDE_THEME_CHANGE=1; THEME_STAY_TIME=299808; msToken=XGPVAVUHDi9iTEQRjdXuQ0YyetxhHq0c9EH1dLLpttanbCXsNSD0DRxwk9oUB0vZ7LB9vKd-ABi2kAkzj2lCn1x98lJ4iTFbf260RcLav-G4QkhNyq8qV9i3oEJRyc8t; home_can_add_dy_2_desktop=1; msToken=3ALqenaebbJHw7kQDiDG6aRAgVYm5WM1pVGqmyyidbGgYpWRWKn-wQ9tcjoxWrHvwcqoYAx3tQ4IGE1qixdq2ei_fPrirMeeI6HeooU3sGR2wyWQ2OAAh2RejVJOrmpA; tt_scid=Gp0q0JW0LDreTqplgpajIZNHCB0.p1NcVv0hhZBgaGDw4SFxkXGlXfKafiCVmWAWc537',
            'user-agent': 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
        }
        response = requests.get(url=url, headers=headers)
        # print(url)
        # <Response [200]> 響應對象 200 狀態碼 表示請求成功 response.text 獲取響應對象文本數據
        # print(response.text)
        """
        數據解析, 提取我們想要數據內容
            re正則表達式 <在付費課程 2.5個小時的內容講解完>
        re.findall() 調用re模塊里面findall方法 去查詢匹配數據
            找到所有 >>> 從什么地方去找什么樣數據 (.*?) 表示你想要數據內容, 通配符, 可以匹配任意字符(除了換行符以外)
        """
        title = re.findall('<title data-react-helmet="true">(.*?)</title>', response.text, re.S)[0]
        title = re.sub(r'[/:*?"<>|n]', '', title)
        video_url = re.findall('src(.*?)%22%7D%2C%7B%22src', response.text)[0]  # 編碼的內容獲取
        video_url_1 = requests.utils.unquote(video_url).replace('":"', 'https:')  # 解碼
        # 編碼 requests.utils.quote
        # 就業工作 1 接單賺錢 2
        # print(title)
        # print(video_url)
        # print(video_url_1)
        video_content = requests.get(url=video_url_1, headers=headers).content  # 發送請求獲取二進制數據內容
        解答、資料、教程可加Q裙：261823976免費領
        with open('img\' + title + '.mp4', mode='wb') as f:
            f.write(video_content)  # 寫入內容
            print('正在保存: ', title)
    except Exception as e:
        print(e)