預備任務:
(1)電話(安卓、ios 都可以) 安卓模仿器,今日重要以安卓模仿器為主,操縱過程一致。
( 2 ) 抓包器具:Fdel 下載地址:
s.telerik.donloadfdler
(3)編程器具:pycharm
一、fdler 部署
在 tools 中的 options 中,依照圖中勾選后點擊 Actions
抉擇許可監控長途鏈接,端口可以隨便建置,只要別重復就行,默認 8888
二、安卓模仿器 電話部署
首要察看本機的 IP:在 cmd 中輸入 ipconfig,銘記這個 IP
電話部署:部署已連結的 WiFi,代辦抉擇手動,然后輸入上圖 ip 端口號為 8888
模仿器部署:建置中長按已連結 ifi,代辦抉擇手動,然后輸入上圖 ip 端口號為 8888
證書名稱隨意設,可能還需求建置一個鎖屏密鑰。
三、抖音抓包
打開抖音,然后觀測 fdler 中所有的包
1、視頻數目,每個包中只有這麼幾個視頻,那如何抓取更多呢?
這時候需求借助模仿器的模仿鼠標翻頁,讓模仿器一直翻頁,這樣就不停會顯露 json 包了。
一種想法可以手動復制粘貼,不過這樣很 lo。
所以我們採用 fder 自帶的劇本,在里面增添條例,當視頻 json 包刷出來后主動保留 json 包。
自定義條例包:
鏈接:span.bau.s1mtUUMChzuSDZFYGSyUhCg
提取碼:7z0l
點擊條例劇本,然后將自定義條例放在如圖所示位置:
(1)第一行的址:
這個是從視頻包的 url洋基 運彩 中摘出來的,抖音會時不時除舊這個 url,所以不可用了也要去除舊:
例如此刻的已經和昨天差異了,牢記改動。
接下來在 pycharm 中寫劇本獲取 json 包里的視頻鏈接:
導包:
import os,json,requests
假裝頭:
headers = { ‘ User-Agent ’ ‘ Mozilla5.0 ( Windos NT 10.0; Win64; x64 ) AppleWebKit537.36 ( KHTML, like Gecko ) Chrome72.0.3626.119 Safari537.36 ’ }
邏輯代碼:
veos_世界大賽 運彩list = 運彩賠率計算os.listdir ( ‘CUsersHEXUDesktop 抖音數據爬取 抖音爬取資料 ra_data’ ) # 獲取文件夾內所有 json 包名
count = 1 # 計數,用來作為視頻名字
for veos in veos_list # 輪迴 jso運動彩券世足賠率n 列表,對每個 json 包進行操縱 a = open ( ‘. 抖音爬取資料 ra_data{}’.format ( veos ) ,encoding=’utf-8′ ) # 打開 json 包 content = json.load ( a ) [ ‘aeme_list’ ] # 掏出 json 包中所有視頻
for veo in content # 輪迴視頻列表,選取每個視頻 veo_url = veo [ ‘veo’ ] [ ‘play_addr’ ] [ ‘url_list’ ] [ 4 ] # 獲取視頻 url,每個視頻有 6 個 url,我選的第 5 個 veoMp4 = requests.request ( ‘get’,veo_url,headers=headers ) .content # 獲取視頻二進制代碼 ith open ( ‘. 抖音爬取資料 VEO{}.mp4′.format ( count ) ,’b’ ) as f # 以二進制方式寫入路徑,銘記要先創造路徑 f.ri運彩會員pttte ( veoMp4 ) # 寫入 print ( ‘ 視頻 {} 下載辦妥 ‘.format ( count ) ) # 下載提示 count += 1 # 計數 +1
本文來自精品專欄《爬蟲案例合集》