怎么用.netcore实现简单爬虫

本篇内容主要讲解“怎么用.net core 实现简单爬虫”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“怎么用.net core 实现简单爬虫”吧!

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：申请域名、网页空间、营销软件、网站建设、耿马网站维护、网站推广。

一.介绍一个Http请求框架HttpCode.Core

  HttpCode.Core 源自于HttpCode（传送门），不同的是 HttpCode.Core是基于.net standard 2.0实现的，移除了HttpCode与windows相耦合的api，且修改了异步实现，其余特性完全与HttpCode相同，大家 如果在使用中有什么问题可以查看在线文档（传送门）

HttpCode.Core完全开源，已传到github，地址：https://github.com/stulzq/HttpCode.Core

为了方便大家使用，也传到了nuget，地址：https://www.nuget.org/packages/HttpCode.Core/，在nuget中搜索 HttpCode.Core 或执行命令 Install-Package HttpCode.Core 就可以使用了。

具体的使用方法大家可以查阅在线文档，或者查看github。

简单、易用、高效 一个有态度的开源.Net Http请求框架!

二.分析抓取地址

首先使用谷歌浏览器的开发者工具，抓取博客园首页获取博文列表的地址：

 

从中我们可以分析出：

1. 请求地址  https://www.cnblogs.com/mvc/AggSite/PostList.aspx

2.请求方式  Post

3.请求数据

{

    "CategoryType":"SiteHome",

    "ParentCategoryId":0,

    "CategoryId":808,

    "PageIndex":3,

    "TotalPostCount":4000,

    "ItemListActionName":"PostList"

}

请求数据中，我们应当关心的是  PageIndex  代表的是 页数，我们可通过变换这个参数的值来获取不同页面的数据。

 我们先使用HttpCode.Core来试一试获取数据：

int pageIndex = 1;//页数

HttpHelpers httpHelpers=new HttpHelpers();

HttpItems items=new HttpItems();

items.Url = "https://www.cnblogs.com/mvc/AggSite/PostList.aspx";//请求地址

items.Method = "Post";//请求方式 post

items.Postdata = "{\"CategoryType\":\"SiteHome\"," +

                    "\"ParentCategoryId\":0," +

                    "\"CategoryId\":808," +

                    "\"PageIndex\":"+ pageIndex + "," +

                    "\"TotalPostCount\":4000," +

                    "\"ItemListActionName\":\"PostList\"}";//请求数据

HttpResults hr = httpHelpers.GetHtml(items);

Console.WriteLine(hr.Html);

Console.ReadKey();

 运行截图：

可以看到我们已经成功获取了数据，证明我们的分析是正确的。

三.解析返回的数据

刚刚我们测试接口返回的数据可以看出返回的是一堆html字符串。我们只想要博文的标题、作者、博文地址等等信息，我们不需要多余的html字符串，下面我们使用  HtmlAgilityPack 这个解析网页的组件来获得我们想要的数据。

关于这个组件的使用，博客园已经有不少介绍此组件的文档，大家可以搜索查看，使用此组件需具备xpath相关知识，我就不在此详细叙述了。

1.首先通过nuget安装 HtmlAgilityPack  组件

打开程序包控制台

执行命令 Install-Package HtmlAgilityPack -Version 1.5.2-beta6

2.　解析返回的数据

贴一下返回的部分数据：

 从中我们不难看出每一个数据是以class=post_item的div来进行区分的，我们想要的博文地址、标题等是在这个div里面的class=post_item_body的div里面，以此类推我们可以分析出：

• 博文标题 

  | 

  | h4 | a | Text

• 博文地址

  | 

  | h4 | a | href

• ..以此类推

因为HtmlAgilityPack是通过xpath来解析网页的，所以现在我们要根据我们上面分析出的路径来写xpath，这里不明白xpath的可以去w3cschool学习一下，非常简单。

 下面是我写好的解析博文标题、地址和作者的代码，抓取其他信息可以自己参考试一试：

//解析数据

HtmlDocument doc=new HtmlDocument();

//加载html

doc.LoadHtml(hr.Html);

//获取 class=post_item_body 的div列表

HtmlNodeCollection itemNodes = doc.DocumentNode.SelectNodes("div[@class='post_item']/div[@class='post_item_body']");

//循环根据每个div解析我们想要的数据

foreach (var item in itemNodes)

{

    //获取包含博文标题和地址的 a 标签

    var nodeA = item.SelectSingleNode("h4/a");

    //获取博文标题

    string title = nodeA.InnerText;

    //获取博文地址 a标签的 href 属性

    string url = nodeA.GetAttributeValue("href", "");

    //获取包含作者名字的 a 标签

    var nodeAuthor = item.SelectSingleNode("div[@class='post_item_foot']/a[@class='lightblue']");

    string author = nodeAuthor.InnerText;

    Console.WriteLine($"标题：{title} | 作者：{author} | 地址：{url}");

}

运行截图：

四.循环抓取多个分页

前面我们分析出请求参数中的 PageIndex  是页数，分析单个页面的代码我们也写出来来，那么我们可以通过循环递增页数，来达到抓取不同分页数据的要求。

贴一下完整的代码

int pageIndex = 1;//页数

int maxPageIndex = 10;//最大页数

HttpHelpers httpHelpers=new HttpHelpers();

for (int i = 0; i < maxPageIndex; i++)

{

    HttpItems items = new HttpItems();

    items.Url = "https://www.cnblogs.com/mvc/AggSite/PostList.aspx";//请求地址

    items.Method = "Post";//请求方式 post

    items.Postdata = "{\"CategoryType\":\"SiteHome\"," +

                        "\"ParentCategoryId\":0," +

                        "\"CategoryId\":808," +

                        "\"PageIndex\":" + (i+1) + "," + //因为i从0开始 所以此处我们要加1

                        "\"TotalPostCount\":4000," +

                        "\"ItemListActionName\":\"PostList\"}";//请求数据

    HttpResults hr = httpHelpers.GetHtml(items);

    //解析数据

    HtmlDocument doc = new HtmlDocument();

    //加载html

    doc.LoadHtml(hr.Html);

    //获取 class=post_item_body 的div列表

    HtmlNodeCollection itemNodes = doc.DocumentNode.SelectNodes("div[@class='post_item']/div[@class='post_item_body']");

    Console.WriteLine($"第{i+1}页数据：");

    //循环根据每个div解析我们想要的数据

    foreach (var item in itemNodes)

    {

        //获取包含博文标题和地址的 a 标签

        var nodeA = item.SelectSingleNode("h4/a");

        //获取博文标题

        string title = nodeA.InnerText;

        //获取博文地址 a标签的 href 属性

        string url = nodeA.GetAttributeValue("href", "");

        //获取包含作者名字的 a 标签

        var nodeAuthor = item.SelectSingleNode("div[@class='post_item_foot']/a[@class='lightblue']");

        string author = nodeAuthor.InnerText;

        //输出数据

        Console.WriteLine($"标题：{title} | 作者：{author} | 地址：{url}");

    }

    //每抓取一页数据 暂停三秒

    Thread.Sleep(3000);

}

Console.ReadKey();

运行截图：

一个简单的.net core实现的简单爬虫就此完成！

到此，相信大家对“怎么用.net core 实现简单爬虫”有了更深的了解，不妨来实际操作一番吧！这里是创新互联网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！

网站题目：怎么用.netcore实现简单爬虫
文章链接：http://kswsj.com/article/jcppds.html