DotnetSpider

DotnetSpider copied to clipboard

[](https://renovatebot.com) Welcome to [Renovate](https://togithub.com/renovatebot/renovate)! This is an onboarding PR to help you understand and configure settings before regular Pull Requests begin. 🚦 To activate Renovate, merge this Pull Request....

renovate[bot]

请问能用一个Spider，然后通过数据库进行配置不同抓取规则，进行多个网站抓取吗？

1

请问能用一个Spider，然后通过数据库进行配置不同抓取规则，进行多个网站抓取吗？

kevincwj2008

如果切换sql server数据库，或者自己定义储存方式，这边只要能拿到数据就好

dan1212-copy

怎么使用sqlserver数据库呢

3

不是很明白

gongzhx1998

重试的request请求它的Properties和headers被清理掉了，请问怎么解决

3

**我碰到了一个request再重试第2次或第三次的时候，它的Properties和Headers都为空，被清理掉了。是不是下面两段代码的执行顺序变了影响的？清理context的代码先执行所以导致Properties和Headers被清空了**  

evanpeng-life

Builder无法引用

3


impPDX

爬取一个日语酒店数据都是乱码

1

` public static class HttpResponseMessageExtensions { public static async Task ToResponseAsync(this HttpResponseMessage httpResponseMessage) { var response = new Response {StatusCode = httpResponseMessage.StatusCode}; foreach (var header in httpResponseMessage.Headers) { response.Headers.Add(header.Key, header.Value?.ToString());...

fayxue

我该如何获取多个元素

2

比如 ` ("//ul/li")` 这个库我该如何遍历它

JHeLiu

.net 下得爬虫框架太少了，支持！

x2031

怎样在DotnetSpider中使用PuppeteerSharp？

1

就像Scrapy和Splash一样，能不能提供一个在DotnetSpider框架中结合使用PuppeteerSharp来填写表格、自动化browser、访问Javascript网站的example?

ling0x