如果你想抓取数据,又懒得写代码了,可以试试 web scraper 抓取数据。如果你在使用 web scraper 抓取数据,很有可能碰到如下问题中的一个或者多个,而这些问题可能直接将你计划打乱,甚至让你放弃 web scraper 。
1、有时候我们想选择某个链接,但是鼠标点击就出触发页面跳转,如何处理?
2、分页数据或者滚动加载的数据,不能完全抓取,例如知乎和 twitter 等?
3、抓取的数据顺序和网页上的顺序不一致?
4、有些页面元素通过 web scraper 提供的 selector 选择器没办法选中?