C#.Net基于正则表达式抓取百度百家文章列表的方法示例

本文实例讲述了C#.Net基于正则表达式抓取百度百家文章列表的方法。分享给大家供大家参考，具体如下：

创新互联长期为近千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为让胡路企业提供专业的成都网站建设、成都网站制作，让胡路网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。

工作之余，学习了一下正则表达式，鉴于实践是检验真理的唯一标准，于是便写了一个利用正则表达式抓取百度百家文章的例子，具体过程请看下面源码：

一、获取百度百家网页内容

public List GetUrl()
{
  try
  {
    string url = "http://baijia.baidu.com/";
    WebRequest webRequest = WebRequest.Create(url);
    WebResponse webResponse = webRequest.GetResponse();
    StreamReader reader = new StreamReader(webResponse.GetResponseStream());
    string result = reader.ReadToEnd();
    reader.Close();
    webResponse.Close();
    return AnalysisHtml(result);
  }
  catch (Exception ex)
  {
    throw ex;
  }
}

二、通过正则表达式筛选

public List AnalysisHtml(string htmlContent)
{
  List list = new List();
  string strPattern = "(?[^<]+)</a></h4>.*\\s*<p\\s*class=\"feeds-item-text\">(?<Abstract>[^<]+)<a\\s*href=\"(?<Url>.*)\"\\s*target=\"_blank\"\\s*class=\"feeds-item-more\"\\s*mon=\".*\\s*\">.*\\s*</a></p>";
  Regex regex = new Regex(strPattern, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.CultureInvariant);
  if (regex.IsMatch(htmlContent))
  {
    MatchCollection matchCollection = regex.Matches(htmlContent);
    foreach (Match match in matchCollection)
    {
      string[] str = new string[3];
      str[0] = match.Groups[1].Value;//获取到的是列表数据的标题
      str[1] = match.Groups[2].Value;//获取到的是内容
      str[2] = match.Groups[3].Value;//获取到的是链接到的地址
      list.Add(str);
    }
  }
  return list;
}

</pre></div><p><strong>附：</strong>完整实例代码点击此处<strong>本站下载</strong>。</p><p><strong>PS：这里再为大家提供2款非常方便的正则表达式工具供大家参考使用：</strong></p><p><strong>JavaScript正则表达式在线测试工具：<br /></strong>http://tools.jb51.net/regex/javascript</p><p><strong>正则表达式在线生成工具：<br /></strong>http://tools.jb51.net/regex/create_reg</p><p>更多关于C#相关内容感兴趣的读者可查看本站专题：《C#正则表达式用法总结》、《C#编码操作技巧总结》、《C#常见控件用法教程》、《WinForm控件用法总结》、《C#数据结构与算法教程》、《C#面向对象程序设计入门教程》及《C#程序设计之线程使用技巧总结》</p><p>希望本文所述对大家C#程序设计有所帮助。</p>            
            
                        <br>
            新闻标题：C#.Net基于正则表达式抓取百度百家文章列表的方法示例            <br>
            网站地址：<a href="http://shouzuofang.com/article/gjpoog.html">http://shouzuofang.com/article/gjpoog.html</a>
        </div>
    </div>
    <div class="other">
        <h3>其他资讯</h3>
        <ul>
            <li>
                    <a href="/article/ddoeoj.html">Ubuntu16.04Server上如何安装Zabbix-创新互联</a>
                </li><li>
                    <a href="/article/ddoeoe.html">C++中反射机制的示例分析-创新互联</a>
                </li><li>
                    <a href="/article/ddospg.html">使用LaravelPassport的注意事项-创新互联</a>
                </li><li>
                    <a href="/article/ddoedd.html">linux中如何自定义Gnome面板字体和颜色-创新互联</a>
                </li><li>
                    <a href="/article/ddoshc.html">使用微信JS-SDK图像接口上传图片简单实例-创新互联</a>
                </li>        </ul>
    </div>
</div>
<footer>
    <div class="message">
        <div class="mess container">
            <p>免费获取网站建设与品牌策划方案报价</p>
            <span>*主要业务范围包括：高端网站建设， 集团网站建设(网站建设网站制作)找网站建设公司就上四川攀枝花网站建设。</span>
            <form action="">
                <input type="text" class="ipt1" placeholder="联系人">
                <input type="text" class="ipt2" placeholder="联系电话">
                <textarea name="" id=""  placeholder="内容描述：描述您的需求，如网站、微信、电商、APP等。"></textarea>
                <a href="">提交需求</a>
            </form>
        </div>
    </div>
    <div class="footA">
        <div class="footAs container">
            <ul>
                <h3>联系我们</h3>
                <b>028-86922220</b>
                <li>手机：13518219792</li>
                <li>地址：成都市太升南路288号锦天国际A幢1002号</li>
                <li class="hr1"></li>
                <li>24小时服务热线：400-028-6601</li>
            </ul>
            <ul>
                <h3>网站建设服务</h3>
                <li>网页设计</li>
                <li>网站制作</li>
                <li>网站开发</li>
            </ul>
            <ul>
                <h3>网站推广服务</h3>
                <li>营销网站建设</li>
                <li>百度快速排名</li>
                <li>整站网站推广</li>
            </ul>
            <ul>
                <h3>网站运维服务</h3>
                <li>基础维护</li>
                <li>网站改版</li>
                <li>网站维护</li>
            </ul>
            <ul>
                <h3>FOLLOW US</h3>
                <li class="hr2"></li>
                <li>
                    <dd class="fl"><img src="/Public/Home/img/ewm.png" alt=""><p>微信二维码</p></dd>
                    <dd class="fr"><img src="/Public/Home/img/ewm.png" alt=""><p>微信二维码</p></dd>
                </li>
            </ul>
        </div>
        <div class="link container">
            友情链接：
            <a href="http://m.cdcxhl.cn/shop/
" title="成都商城网站建设" target="_blank">成都商城网站建设</a>   <a href="https://www.xwcx.net/tuoguan.html" title="电信机房托管服务器" target="_blank">电信机房托管服务器</a>   <a href="http://www.cdhthh.cn/" title="华泰海航" target="_blank">华泰海航</a>   <a href="https://www.cdxwcx.com/wangzhan/pinpai.html" title="品牌网站建设公司" target="_blank">品牌网站建设公司</a>   <a href="http://www.xjmuye.cn/" title="兴久牧业" target="_blank">兴久牧业</a>   <a href="http://www.kratc.com/" title="成都开元" target="_blank">成都开元</a>   <a href="https://www.cdcxhl.com/sosuo.html" title="网站搜索引擎优化" target="_blank">网站搜索引擎优化</a>   <a href="https://www.cdxwcx.com/jifang/xiyun.html" title="西云机房" target="_blank">西云机房</a>   <a href="http://www.80687.cn/" title="玄科环保" target="_blank">玄科环保</a>   <a href="http://www.huixingan.com/" title="广安园林景观设计" target="_blank">广安园林景观设计</a>           </div>
    </div>
    <div class="footB">
        <div class="container">
            <div class="fl">
                Copyright © 2022  四川攀枝花网站建设公司     四川攀枝花网站建设公司-选我们！四川专业的攀枝花网站制作公司！
            </div>
            <div class="fr">
                All Rights Reserved 版权所有 <a href="https://beian.miit.gov.cn/" target="_blank" rel="nofollow">蜀ICP备2024105912号-3</a>
            </div>
        </div>
    </div>
</footer>
</body>
</html>
<script>
    $(".con img").each(function(){
        var src = $(this).attr("src");    //获取图片地址
        var str=new RegExp("http");
        var result=str.test(src);
        if(result==false){
            var url = "https://www.cdcxhl.com"+src;    //绝对路径
            $(this).attr("src",url);
        }
    });
    window.onload=function(){
        document.oncontextmenu=function(){
            return false;
        }
    }
</script>

网站建设知识

C#.Net基于正则表达式抓取百度百家文章列表的方法示例