快捷导航
        我想每天美女直播中国青年网新闻频道首页的新闻列表(http://news.youth.cn/), 如下图说示,


        没有翻页,只是页面下部有个“加载更多”,可以一直点下去。
        这种情况做美女直播规则和每天运行爬虫应该怎么弄?
        举报 使用道具
        | 回复

        共 3 个关于本帖的回复 最后回复于 2020-7-30 10:13

        沙发
        内容分析应用 高级会员 发表于 2020-7-30 10:09:27 | 只看该作者
        本帖最后由 内容分析应用 于 2020-7-30 10:17 编辑

        这个“加载更多”,就可以当作一个普通的翻页, 规则是一样的, 参考这篇教程:翻页美女直播列表
        不过有一点要注意:由于每页美女直播的内容都包含整个列表的新闻, 所有最后入库后的数据是有重复的, 可以根据title或者网址去重


        举报 使用道具
        板凳
        马涌河畔 中级会员 发表于 2020-7-30 10:10:50 | 只看该作者
        那爬的时候, 就一直点“加载更多”?  我每天执行点几次就够了
        举报 使用道具
        地板
        内容分析应用 高级会员 发表于 2020-7-30 10:13:20 | 只看该作者
        用爬虫群窗口美女直播就可以自定义翻页次数,参考这篇帖子:怎样控制翻页数量?
        举报 使用道具
        您需要登录后才可以回帖 登录 | 立即注册

        精彩推荐

        • 数据管家和集搜客网络爬虫超出配额是怎么回
        • 用GooSeeker数据管家能美女直播微博内容吗?
        • 怎样使用GooSeeker数据管家启动美女直播任务?
        • GooSeeker数据管家软件使用指导
        • 如何使用集搜客分词平台做社会网络图分析?

        热门用户

        GMT+8, 2020-9-27 07:52