① scrapy框架+selenium實現豆瓣爬取熱門短評-哪吒之魔童降世
利用scrapy框架結合selenium工具，可以有效地爬取豆瓣電影《哪吒之魔童降世》的熱門短評數據，包括評論用戶、評分、評論內容、評論日期以及用戶地址。以下步驟描述了整個爬取過程：
一、數據獲取策略
首先，通過輸入電影名稱進入評論頁面，識別評論頁地址規律，利用subject和start、limit參數動態獲取多頁評論。限制爬取范圍為前220頁。
二、確定爬取指標
分析評論頁面得知，需要提取的欄位有評論用戶、評分、評論內容、評論日期以及用戶個人頁面鏈接。用戶地址需要在單獨獲取。
三、解析頁面結構
使用Chrome的開發者工具，發現評論信息存儲在特定的HTML標簽下，需注意評分和時間的判斷，以及特殊字元處理。用戶地址需通過額外的鏈接抓取。
四、構建scrapy框架
新建scrapy項目，修改items、xpath和pipelines文件，創建content_parse函數，並設置csv文件寫入。為獲取所有頁面數據，編寫獲取頁面函數。
五、實際爬取操作
在命令行中運行爬蟲，處理豆瓣的反爬蟲策略，包括使用隨機user-agent。通過獲取評論href鏈接，獲取城市信息並保存到csv中。
六、數據清洗
讀取和合並爬取的數據，處理缺失值，將評分轉換為數字，同時對城市數據進行清洗。
通過以上步驟，可以高效地獲取並整理《哪吒之魔童降世》的熱門短評數據，為後續分析提供基礎。
② ios版豆瓣為什麼沒有短評了
11 月 2 日，豆瓣電影官方發文回應了這一質疑，表示調整早在3年前已經開始，自2017年起，豆瓣電影不展示全部短評，自2020年4月份起，豆瓣讀書、豆瓣音樂已不展示全部短評，並非豆瓣電影獨有。調整原因是「為了在不影響用戶體驗的前提下反爬蟲、反水軍」。
豆瓣電影的廣播
豆瓣對 36 氪發來了官方回應，全文如下，未經刪減：
1）三年前的產品改動：部分短評展現機制是3年前上線的產品改動，目前已經書影音全產品線應用，經歷了一段時間長度才有個別用戶提出異議，已經說明了這個產品調整對絕大多數用戶使用體驗並不會造成明顯的影響；事實證明，幾年來豆瓣通過短評展示策略的調整，在優化短評消費體驗、清除水軍信息影響上，獲得了不錯的效果。
2）有限的評論展示：豆瓣目前展示的短評數量限制是計算絕大多數用戶短評閱讀數量後的統計結果，只有水軍才需要展示所有短評信息，通過分析比對數據，研究豆瓣反水軍策略，收集用戶評分評論信息，以便騷擾用戶，招募水軍；確保自己發的每一條都被收錄和展示，並用來截圖作為向上家證明可按條收費的依據，普通用戶並沒有這個使用需求。所以不展示全部了，截不了圖了，究竟傷了誰的利益是一目瞭然的。
3）評分演算法並沒有變：使用演算法優化「短評展示」的目的是把不可信的短評藏起來，讓他們完全被正常短評所替代，以盡可能降低水軍的短評對條目信息造成影響。而被識別的水軍賬號發布的短評也不會被刻意刪除，那等於告訴水軍這個無效賬號不可用，我們不會告知水軍這套關聯。因此，無論展示不展示全部「短評」，都有部分評論相關的打分是不會被計入條目評分的，這個「評分」的演算法從來沒變，與短評的展示機制毫無關系。
4）關於反水軍：作為一個在這方面積累了15年的團隊，豆瓣建立了系統、有效的反水軍機制。水軍行為雖然在不斷變化發展，豆瓣的反水軍反作弊措施也在不斷進化之中。概括地說，一方面，在大數據面前，水軍的群體行為特徵是很容易被演算法發現的，同時輔助用戶的「書影音檔案」，數據的異常波動很容易被識別和定位；另一方面，豆瓣評分的正常用戶規模越來越大，已經足夠大到在統計意義上屏蔽水軍可能造成的影響。那些聲稱能刷動豆瓣評分的水軍公司，實際上都是騙人的。買水軍「維護或控制評分」，花了錢，刷不動分，甚至可能激起用戶的反水行動，這類事件之前也層出不窮，豆瓣還需要處理後者的非正常打分，徒增工作量。真誠地希望買水軍者把這些錢花在別的地方或者更耐心地做好作品本身上。
5）影視作品爭議度：影視作品具有很大爭議是個社會現象，在具有爭議的條目下面，才會有不相關或不文明的短評被折疊或隱藏起來，以維護正常的討論氛圍，這是業界通用的做法。當然爭議度越大才會隱藏越多，如豆瓣電影公告所述。
另外，再次強調一下豆瓣評分從來沒有，以後也不會有任何形式在電影評分上的商業合作。凡是聲稱自己有辦法買到豆瓣分數或者收錢開分的，都是騙人的。
③ 豆瓣Python爬蟲：500條電影短評
豆瓣電影短評數量多樣，展示時僅限於500條。
如電影《囧媽》，評論總數達到117120條。
實際操作中，盡管爬取了500條評論，卻發現頁面顯示與實際評論總數不符，原因在於豆瓣系統只顯示前500條評論。
使用Python的requests和BeautifulSoup庫獲取網頁內容，csv庫進行數據存儲。
在獲取頁面時，最初僅使用user-agent設置，發現只能讀取11頁的評論，且讀取第12頁時出現錯誤。通過在瀏覽器中登錄並獲取cookie，問題得以解決。
對於評論數據的抓取，通過for循環定位到每個用戶，並獲取用戶名、評級、評論時間與短評信息。
評級信息需特別處理，通過span元素獲取。數據存儲採用列表存儲法，確保數據的完整性和准確性。
頁面翻頁通過分析元素結構，定位到'next'類元素，實現翻頁操作。代碼邏輯確保能准確獲取最後一頁評論。
數據存儲採用循環結構，確保數據的完整寫入。在實際操作中，成功抓取500條《囧媽》的評論。
總結操作流程與經驗，零基礎學習Python進行數據分析，面對問題和挑戰，通過不斷實踐和學習，最終實現目標。
感謝您的閱讀。