Skip to content

有没有异步处理玩所有任务后保存所有处理后结果? #563

@lidaoyang

Description

@lidaoyang

在使用webmagic是遇到这样一个问题,就是处理网页数据后要保存到数据库,现在支持的addPipeline是没错处理玩一个网页就进行保存这样对数据是一种压力,我想要批量保存所有处理后的结果就不行了,
目前我采用的是没有使用addPipeline方法的,我是在等待同步run()执行完成后直接使用pipeline进行保存newsDBPipeline.process(newslist, news_contentlist);
但是我有多个爬虫就没办法异步执行了,不知道现在的版本里面有没有异步可以批量保存的接口?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions