如何用Python抓取上海美團火鍋的數(shù)據(jù)？
2020-12-18 09:24
Python進階學習交流
關(guān)注
最近有個小伙伴在群里問美團數(shù)據(jù)怎么獲取，而且她只要火鍋數(shù)據(jù)，她在上海，只要求抓上海美團火鍋的數(shù)據(jù)，而且要求也不高，只要100條，想做個簡單的分析，相關(guān)的字段如下圖所示。
乍一看，這個問題還真的是蠻難的，畢竟美團也不是那么好抓，什么驗證碼，模擬登陸等一大堆拂面而來，嚇得小伙伴都倒地了。
通過F12查看，抓包，分析URL，找規(guī)律，等等操作。
不過白慌，今天小編給大家介紹一個小技巧，另辟蹊徑去搞定美團的數(shù)據(jù)，這里需要用到抓包工具Fiddler。講道理，之前我開始接觸網(wǎng)絡爬蟲的時候也沒有聽過這個東東，后來就慢慢知道了，而且它真的蠻實用的，建議大家都能學會用它。這個工具專門用于抓包，而且其安裝包也非常小，如下圖所示。
接下來，我們開始進行抓取信息。
1、在Fiddler的左側(cè)找到meituan網(wǎng)站的鏈接，如下圖所示。鏈接的左邊返回的response（響應）的文件類型，可以看到是JSON文件，爾后雙擊這一行鏈接。
分享
聲明：
本文由入駐維科號的作者撰寫，觀點僅代表作者本人，不代表OFweek立場。如有侵權(quán)或其他問題，請聯(lián)系舉報。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布：挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇，探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 “AI寒武紀”爆發(fā)至今，五類新物種登上歷史舞臺
- 4 降薪、加班、裁員三重暴擊，“AI四小龍”已折戟兩家
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD，AI含量差幾何？
- 6 光計算迎來商業(yè)化突破，但落地仍需時間
- 7 東陽光：2024年扭虧、一季度凈利大增，液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”，“淘寶們”終于不忍了？
- 10 優(yōu)必選：營收大增主靠小件，虧損繼續(xù)又逢關(guān)稅，能否乘機器人東風翻身？
