热门标签 | HotTags
当前位置:  开发笔记 > 前端 > 正文

C#几种获取网页源文件代码的实例

C#几种获取网页源文件代码的实例,需要的朋友可以参考一下
方法一:
代码如下:

using System.Text;
using System.Net;
private string getHtml(string url)
{
WebClient myWebClient = new WebClient();
byte[] myDataBuffer = myWebClient.DownloadData (url);
return Encoding.Default.GetString(myDataBuffer);
}

方法二:
代码如下:

public string getHttp(string HttpUrl,string RefererUrl)
{
string html = "";
try
{
MSXML2.XMLHTTP Http = new MSXML2.XMLHTTPClass();
xmlhttp.open("GET", Url, false, null, null);
Http.open("GET",HttpUrl,false,null,null);
Http.setRequestHeader("Referer",RefererUrl);
//Http.setRequestHeader("Referer",RefererUrl);
Http.setRequestHeader("Content-Type", "text/html;charset=gb2312");
Http.send("");
html = Encoding.Default.GetString((byte[])Http.responseBody);
Http = null;
}
catch
{
}
return html;
}
public bool getweb(string strURL,out string buf)
  {
   buf="";
   try
   {
    //Uri url=new Uri(strURL,false);
    HttpWebRequest request;
    request = (HttpWebRequest)WebRequest.Create(strURL);
    request.Method="POST"; //Post请求方式
    request.COntentType="text/html;charset=gb2312"; //内容类型
    string paraUrlCoded = System.Web.HttpUtility.UrlEncode(""); //参数经过URL编码
    byte[] payload;
    payload = System.Text.Encoding.GetEncoding("GB2312").GetBytes(paraUrlCoded); //将URL编码后的字符串转化为字节
    request.COntentLength= payload.Length; //设置请求的ContentLength
    Stream writer = request.GetRequestStream(); //获得请求流
    writer.Write(payload,0,payload.Length); //将请求参数写入流
    writer.Close(); //关闭请求流
    HttpWebResponse response;
    respOnse= (HttpWebResponse)request.GetResponse(); //获得响应流
    Stream s;
    s = response.GetResponseStream();
    StreamReader objReader = new StreamReader(s,System.Text.Encoding.GetEncoding("GB2312"));
    string HTML = "";
    string sLine ="";
    int i = 0;
    while (sLine!=null)
    {
     i++;
     sLine = objReader.ReadLine();
     if (sLine!=null)
      HTML += sLine;
    }
    //HTML = HTML.Replace("<","<");
    //HTML = HTML.Replace(">",">");
    buf=HTML;
    return true;
   }
   catch (Exception x)
   {  
    buf=x.Message.ToString();
    return false;   
   }
  }

带COOKIE:
代码如下:

COOKIEContainer cc = new COOKIEContainer();
public bool getweb(string strURL,out string buf)
  {
   buf="";
   try
   {
    HttpWebRequest request;
    request = (HttpWebRequest)WebRequest.Create(strURL);
    request.Method="POST"; //Post请求方式
    request.COntentType="text/html;charset=gb2312"; //内容类型
    string paraUrlCoded = System.Web.HttpUtility.UrlEncode(""); //参数经过URL编码
    byte[] payload;
    payload = System.Text.Encoding.GetEncoding("GB2312").GetBytes(paraUrlCoded); //将URL编码后的字符串转化为字节
    request.COntentLength= payload.Length; //设置请求的ContentLength
    Stream writer = request.GetRequestStream(); //获得请求流
    writer.Write(payload,0,payload.Length); //将请求参数写入流
    writer.Close(); //关闭请求流
    HttpWebResponse response;
    respOnse= (HttpWebResponse)request.GetResponse(); //获得响应流
    Stream s;
    s = response.GetResponseStream();
    StreamReader objReader = new StreamReader(s,System.Text.Encoding.GetEncoding("GB2312"));
    string HTML = "";
    string sLine ="";
    int i = 0;
    while (sLine!=null)
    {
     i++;
     sLine = objReader.ReadLine();
     if (sLine!=null)
      HTML += sLine;
    }
    buf=HTML;
    return true;
   }
   catch (Exception x)
   {  
    buf=x.Message.ToString();
    return false;   
   }
  }
  public bool getweb(string strURL,out string buf,string postData)
  {
   buf="";
   try
   {  
    ASCIIEncoding encoding = new ASCIIEncoding();
    byte[] data = encoding.GetBytes(postData);
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(strURL);
    request.Method = "POST";
    request.COntentType= "application/x-www-form-urlencoded";
    request.COntentLength= data.Length;
    Stream newStream = request.GetRequestStream();
    newStream.Write(data, 0, data.Length);
    newStream.Close();
    request.COOKIECOntainer= cc;
    HttpWebResponse respOnse= (HttpWebResponse)request.GetResponse();
    cc.Add(response.COOKIEs);
    Stream stream = response.GetResponseStream();
    string sHtml = new StreamReader(stream, System.Text.Encoding.Default).ReadToEnd();
    buf=sHtml;
    return true;
   }
   catch (Exception x)
   {  
    buf=x.Message.ToString();
    return false;   
   }
  }
private   string   getWebresourceFile1(string   url)
    {
WebClient   myWebClient   =   new   WebClient();   
byte[]   myDataBuffer   =   myWebClient.DownloadData(url);
string   SourceCode   =   Encoding.Default.GetString(myDataBuffer);
saveSourceCode(SourceCode);
                  return   SourceCode;
      }

方法2
代码如下:

private   string   getWebresourceFile2(string   url)
    {
HttpWebRequest   request=(HttpWebRequest)WebRequest.Create(url); 
HttpWebResponse   respOnse=(HttpWebResponse)request.GetResponse(); 
                  request.Method   =   "GET ";       
Stream   receiveStream=response.GetResponseStream();
StreamReader   readStream=new   StreamReader(receiveStream,Encoding.Default);
string   SourceCode=readStream.ReadToEnd();   
saveSourceCode(SourceCode);
response.Close();     
readStream.Close();
return   SourceCode;
      }

方法3
代码如下:

private   string   getWebresourceFile3(string   url)
      {
WebClient   wc   =   new   WebClient();
wc.Credentials   =   CredentialCache.DefaultCredentials;
Byte[]   pageData   =   wc.DownloadData(url);
string   SourceCode   =   Encoding.Default.GetString(pageData);
saveSourceCode(SourceCode);
wc.Dispose(); 
return   SourceCode;
      }

方法4
代码如下:

private   string   getWebresourceFile4(string   url)
    {
WebClient   wc   =   new   WebClient();
wc.Credentials   =   CredentialCache.DefaultCredentials;
Stream   resStream   =   wc.OpenRead(url);
StreamReader   sr   =   new   StreamReader(resStream,System.Text.Encoding.Default);
string   SourceCode   =   sr.ReadToEnd();
saveSourceCode(SourceCode);
resStream.Close();
wc.Dispose(); 
return   SourceCode;
      }

方法5
代码如下:

private   string   getWebresourceFile5(string   url)
      {
WebRequest   request   =   WebRequest.Create(url);
WebResponse   response   =   request.GetResponse();
Stream   resStream   =   response.GetResponseStream(); 
StreamReader   sr   =   new   StreamReader(resStream,   System.Text.Encoding.Default);
string   SourceCode   =     sr.ReadToEnd();
saveSourceCode(SourceCode);
resStream.Close(); 
sr.Close();
return   SourceCode;
      }

推荐阅读
  • 本文详细分析了JSP(JavaServer Pages)技术的主要优点和缺点,帮助开发者更好地理解其适用场景及潜在挑战。JSP作为一种服务器端技术,广泛应用于Web开发中。 ... [详细]
  • 本文介绍了如何利用JavaScript或jQuery来判断网页中的文本框是否处于焦点状态,以及如何检测鼠标是否悬停在指定的HTML元素上。 ... [详细]
  • Python自动化处理:从Word文档提取内容并生成带水印的PDF
    本文介绍如何利用Python实现从特定网站下载Word文档,去除水印并添加自定义水印,最终将文档转换为PDF格式。该方法适用于批量处理和自动化需求。 ... [详细]
  • XNA 3.0 游戏编程:从 XML 文件加载数据
    本文介绍如何在 XNA 3.0 游戏项目中从 XML 文件加载数据。我们将探讨如何将 XML 数据序列化为二进制文件,并通过内容管道加载到游戏中。此外,还会涉及自定义类型读取器和写入器的实现。 ... [详细]
  • 程序员妻子吐槽:丈夫北漂8年终薪3万,存款情况令人意外
    一位程序员的妻子在网上分享了她丈夫在北京工作八年的经历,月薪仅3万元,存款情况却出乎意料。本文探讨了高学历人才在大城市的职场现状及生活压力。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • 本文详细介绍了如何在Linux系统上安装和配置Smokeping,以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装,确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]
  • 本文探讨了 RESTful API 和传统接口之间的关键差异,解释了为什么 RESTful API 在设计和实现上具有独特的优势。 ... [详细]
  • 本文详细介绍了如何使用Spring Boot进行高效开发,涵盖了配置、实例化容器以及核心注解的使用方法。 ... [详细]
  • 本文详细介绍了Java编程语言中的核心概念和常见面试问题,包括集合类、数据结构、线程处理、Java虚拟机(JVM)、HTTP协议以及Git操作等方面的内容。通过深入分析每个主题,帮助读者更好地理解Java的关键特性和最佳实践。 ... [详细]
  • 在当前众多持久层框架中,MyBatis(前身为iBatis)凭借其轻量级、易用性和对SQL的直接支持,成为许多开发者的首选。本文将详细探讨MyBatis的核心概念、设计理念及其优势。 ... [详细]
  • 将Web服务部署到Tomcat
    本文介绍了如何在JDeveloper 12c中创建一个Java项目,并将其打包为Web服务,然后部署到Tomcat服务器。内容涵盖从项目创建、编写Web服务代码、配置相关XML文件到最终的本地部署和验证。 ... [详细]
  • Android LED 数字字体的应用与实现
    本文介绍了一种适用于 Android 应用的 LED 数字字体(digital font),并详细描述了其在 UI 设计中的应用场景及其实现方法。这种字体常用于视频、广告倒计时等场景,能够增强视觉效果。 ... [详细]
  • RecyclerView初步学习(一)
    RecyclerView初步学习(一)ReCyclerView提供了一种插件式的编程模式,除了提供ViewHolder缓存模式,还可以自定义动画,分割符,布局样式,相比于传统的ListVi ... [详细]
  • 本文介绍如何在 Unity 的 XML 配置文件中,将参数传递给自定义生命周期管理器的构造函数。我们将详细探讨 CustomLifetimeManager 类的实现及其配置方法。 ... [详细]
author-avatar
cl有倪幸福
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有