① scrapy框架+selenium实现豆瓣爬取热门短评-哪吒之魔童降世
利用scrapy框架结合selenium工具，可以有效地爬取豆瓣电影《哪吒之魔童降世》的热门短评数据，包括评论用户、评分、评论内容、评论日期以及用户地址。以下步骤描述了整个爬取过程：
一、数据获取策略
首先，通过输入电影名称进入评论页面，识别评论页地址规律，利用subject和start、limit参数动态获取多页评论。限制爬取范围为前220页。
二、确定爬取指标
分析评论页面得知，需要提取的字段有评论用户、评分、评论内容、评论日期以及用户个人页面链接。用户地址需要在单独获取。
三、解析页面结构
使用Chrome的开发者工具，发现评论信息存储在特定的HTML标签下，需注意评分和时间的判断，以及特殊字符处理。用户地址需通过额外的链接抓取。
四、构建scrapy框架
新建scrapy项目，修改items、xpath和pipelines文件，创建content_parse函数，并设置csv文件写入。为获取所有页面数据，编写获取页面函数。
五、实际爬取操作
在命令行中运行爬虫，处理豆瓣的反爬虫策略，包括使用随机user-agent。通过获取评论href链接，获取城市信息并保存到csv中。
六、数据清洗
读取和合并爬取的数据，处理缺失值，将评分转换为数字，同时对城市数据进行清洗。
通过以上步骤，可以高效地获取并整理《哪吒之魔童降世》的热门短评数据，为后续分析提供基础。
② ios版豆瓣为什么没有短评了
11 月 2 日，豆瓣电影官方发文回应了这一质疑，表示调整早在3年前已经开始，自2017年起，豆瓣电影不展示全部短评，自2020年4月份起，豆瓣读书、豆瓣音乐已不展示全部短评，并非豆瓣电影独有。调整原因是“为了在不影响用户体验的前提下反爬虫、反水军”。
豆瓣电影的广播
豆瓣对 36 氪发来了官方回应，全文如下，未经删减：
1）三年前的产品改动：部分短评展现机制是3年前上线的产品改动，目前已经书影音全产品线应用，经历了一段时间长度才有个别用户提出异议，已经说明了这个产品调整对绝大多数用户使用体验并不会造成明显的影响；事实证明，几年来豆瓣通过短评展示策略的调整，在优化短评消费体验、清除水军信息影响上，获得了不错的效果。
2）有限的评论展示：豆瓣目前展示的短评数量限制是计算绝大多数用户短评阅读数量后的统计结果，只有水军才需要展示所有短评信息，通过分析比对数据，研究豆瓣反水军策略，收集用户评分评论信息，以便骚扰用户，招募水军；确保自己发的每一条都被收录和展示，并用来截图作为向上家证明可按条收费的依据，普通用户并没有这个使用需求。所以不展示全部了，截不了图了，究竟伤了谁的利益是一目了然的。
3）评分算法并没有变：使用算法优化“短评展示”的目的是把不可信的短评藏起来，让他们完全被正常短评所替代，以尽可能降低水军的短评对条目信息造成影响。而被识别的水军账号发布的短评也不会被刻意删除，那等于告诉水军这个无效账号不可用，我们不会告知水军这套关联。因此，无论展示不展示全部“短评”，都有部分评论相关的打分是不会被计入条目评分的，这个“评分”的算法从来没变，与短评的展示机制毫无关系。
4）关于反水军：作为一个在这方面积累了15年的团队，豆瓣建立了系统、有效的反水军机制。水军行为虽然在不断变化发展，豆瓣的反水军反作弊措施也在不断进化之中。概括地说，一方面，在大数据面前，水军的群体行为特征是很容易被算法发现的，同时辅助用户的“书影音档案”，数据的异常波动很容易被识别和定位；另一方面，豆瓣评分的正常用户规模越来越大，已经足够大到在统计意义上屏蔽水军可能造成的影响。那些声称能刷动豆瓣评分的水军公司，实际上都是骗人的。买水军“维护或控制评分”，花了钱，刷不动分，甚至可能激起用户的反水行动，这类事件之前也层出不穷，豆瓣还需要处理后者的非正常打分，徒增工作量。真诚地希望买水军者把这些钱花在别的地方或者更耐心地做好作品本身上。
5）影视作品争议度：影视作品具有很大争议是个社会现象，在具有争议的条目下面，才会有不相关或不文明的短评被折叠或隐藏起来，以维护正常的讨论氛围，这是业界通用的做法。当然争议度越大才会隐藏越多，如豆瓣电影公告所述。
另外，再次强调一下豆瓣评分从来没有，以后也不会有任何形式在电影评分上的商业合作。凡是声称自己有办法买到豆瓣分数或者收钱开分的，都是骗人的。
③ 豆瓣Python爬虫：500条电影短评
豆瓣电影短评数量多样，展示时仅限于500条。
如电影《囧妈》，评论总数达到117120条。
实际操作中，尽管爬取了500条评论，却发现页面显示与实际评论总数不符，原因在于豆瓣系统只显示前500条评论。
使用Python的requests和BeautifulSoup库获取网页内容，csv库进行数据存储。
在获取页面时，最初仅使用user-agent设置，发现只能读取11页的评论，且读取第12页时出现错误。通过在浏览器中登录并获取cookie，问题得以解决。
对于评论数据的抓取，通过for循环定位到每个用户，并获取用户名、评级、评论时间与短评信息。
评级信息需特别处理，通过span元素获取。数据存储采用列表存储法，确保数据的完整性和准确性。
页面翻页通过分析元素结构，定位到'next'类元素，实现翻页操作。代码逻辑确保能准确获取最后一页评论。
数据存储采用循环结构，确保数据的完整写入。在实际操作中，成功抓取500条《囧妈》的评论。
总结操作流程与经验，零基础学习Python进行数据分析，面对问题和挑战，通过不断实践和学习，最终实现目标。
感谢您的阅读。