热门标签 | HotTags
当前位置:  开发笔记 > 前端 > 正文

asp.net需要登陆的网站上下载网页源代码和文件

最近有个项目需要从网络上下载网页信息和文件,并且需要登录后才能下载,所以做了个下载的通用类,供大家参考。
这个是文件下载类:
代码如下:

using System;
using System.IO;
using System.Net;
using System.Web;

public class SRWebClient
{
COOKIEContainer COOKIE;
public SRWebClient()
{
COOKIE = new COOKIEContainer();
}

///
/// 下载Web源代码
///

public string DownloadHtml(string URL)
{
HttpWebRequest request = HttpWebRequest.Create(URL) as HttpWebRequest;
request.COOKIECOntainer= COOKIE;
request.AllowAutoRedirect = false;

WebResponse res = request.GetResponse();
string r = "";

StreamReader S1 = new StreamReader(res.GetResponseStream(), System.Text.Encoding.Default);
try
{
r = S1.ReadToEnd();
}
catch (Exception er)
{
Log l = new Log();
l.writelog("下载Web错误", er.ToString());
}
finally
{
res.Close();
S1.Close();
}

return r;
}

///
/// 下载文件
///

public long DownloadFile(string FileURL, string FileSavePath)
{
long Filelength = 0;
HttpWebRequest req = HttpWebRequest.Create(FileURL) as HttpWebRequest;

req.COOKIECOntainer= COOKIE;
req.AllowAutoRedirect = true;

HttpWebResponse res = req.GetResponse() as HttpWebResponse;
System.IO.Stream stream = res.GetResponseStream();
try
{
Filelength = res.ContentLength;

byte[] b = new byte[512];

int nReadSize = 0;
nReadSize = stream.Read(b, 0, 512);

System.IO.FileStream fs = System.IO.File.Create(FileSavePath);
try
{
while (nReadSize > 0)
{
fs.Write(b, 0, nReadSize);
nReadSize = stream.Read(b, 0, 512);
}
}
finally
{
fs.Close();
}
}
catch (Exception er)
{
Log l = new Log();
l.writelog("下载文件错误", er.ToString());
}
finally
{
res.Close();
stream.Close();
}

return Filelength;
}

///
/// 提交数据
///

public void Request(string RequestPageURL, RequestData Data)
{
string StrUrl = RequestPageURL;
HttpWebRequest request = HttpWebRequest.Create(StrUrl) as HttpWebRequest;
HttpWebResponse response;

string postdata = Data.GetData();
request.Referer = RequestPageURL;
request.AllowAutoRedirect = false;
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.01; Windows NT 5.0)";
request.COOKIECOntainer= COOKIE;

Uri u = new Uri(StrUrl);

if (postdata.Length > 0) //包含要提交的数据 就使用Post方式
{
//作为表单请求
request.COntentType= "application/x-www-form-urlencoded";
//方式就是Post
request.Method = "POST";

//把提交的数据换成字节数组
Byte[] B = System.Text.Encoding.Default.GetBytes(postdata);
request.COntentLength= B.Length;

Stream SW = request.GetRequestStream(); //开始提交数据
SW.Write(B, 0, B.Length);
SW.Close();
}

respOnse= request.GetResponse() as HttpWebResponse;
response.Close();
}
}

这个是提交的数据类:
代码如下:

using System.Collections;
using System.IO;

public class RequestData
{
ArrayList arr = new ArrayList();
public RequestData()
{

}

public string GetData()
{
string r = "";

for (int i = 0; i {
data d = (data) arr[i];
if (r.Length > 0)
r += "&";
r += d.Field + "=" + d.Value;
}
return r;
}

public void AddField(string Field, string Value)
{
data a = new data();
a.Field = Field;
a.Value = Value;

arr.Add(a);
}

struct data
{
public string Field, Value;
}
}

代码贴完了,下面是测试代码,因为有些数据涉及到客户的资料,故隐去
代码如下:

using NUnit.Framework;

[TestFixture]
public class TestWeb
{
[Test]
public void testDownSEOrder()
{
RequestData data = new RequestData();
data.AddField("name", "abc");
data.AddField("password", "121");

SRWebClient web = new SRWebClient();
web.Request("http://127.0.0.1/login.asp", data);

string s = web.DownloadHtml("http://127.0.0.1/dingdan.asp");
System.Console.WriteLine(s);
}

[Test]
public void testDownFile()
{
RequestData data = new RequestData();
data.AddField("name", "aaa");
data.AddField("password", "bbb");

SRWebClient web = new SRWebClient();
web.Request("http://127.0.0.1/login.asp", data);

web.DownloadFile("http://127.0.0.1/download.asp?fileid=1", @"c:\a.txt");
}
}

推荐阅读
  • 本文探讨了如何通过最小生成树(MST)来计算严格次小生成树。在处理过程中,需特别注意所有边权重相等的情况,以避免错误。我们首先构建最小生成树,然后枚举每条非树边,检查其是否能形成更优的次小生成树。 ... [详细]
  • QUIC协议:快速UDP互联网连接
    QUIC(Quick UDP Internet Connections)是谷歌开发的一种旨在提高网络性能和安全性的传输层协议。它基于UDP,并结合了TLS级别的安全性,提供了更高效、更可靠的互联网通信方式。 ... [详细]
  • 深入理解OAuth认证机制
    本文介绍了OAuth认证协议的核心概念及其工作原理。OAuth是一种开放标准,旨在为第三方应用提供安全的用户资源访问授权,同时确保用户的账户信息(如用户名和密码)不会暴露给第三方。 ... [详细]
  • 2023 ARM嵌入式系统全国技术巡讲旨在分享ARM公司在半导体知识产权(IP)领域的最新进展。作为全球领先的IP提供商,ARM在嵌入式处理器市场占据主导地位,其产品广泛应用于90%以上的嵌入式设备中。此次巡讲将邀请来自ARM、飞思卡尔以及华清远见教育集团的行业专家,共同探讨当前嵌入式系统的前沿技术和应用。 ... [详细]
  • 国内BI工具迎战国际巨头Tableau,稳步崛起
    尽管商业智能(BI)工具在中国的普及程度尚不及国际市场,但近年来,随着本土企业的持续创新和市场推广,国内主流BI工具正逐渐崭露头角。面对国际品牌如Tableau的强大竞争,国内BI工具通过不断优化产品和技术,赢得了越来越多用户的认可。 ... [详细]
  • 本文详细分析了JSP(JavaServer Pages)技术的主要优点和缺点,帮助开发者更好地理解其适用场景及潜在挑战。JSP作为一种服务器端技术,广泛应用于Web开发中。 ... [详细]
  • PyCharm下载与安装指南
    本文详细介绍如何从官方渠道下载并安装PyCharm集成开发环境(IDE),涵盖Windows、macOS和Linux系统,同时提供详细的安装步骤及配置建议。 ... [详细]
  • 在 Windows 10 中,F1 至 F12 键默认设置为快捷功能键。本文将介绍几种有效方法来禁用这些快捷键,并恢复其标准功能键的作用。请注意,部分笔记本电脑的快捷键可能无法完全关闭。 ... [详细]
  • 本文总结了2018年的关键成就,包括职业变动、购车、考取驾照等重要事件,并分享了读书、工作、家庭和朋友方面的感悟。同时,展望2019年,制定了健康、软实力提升和技术学习的具体目标。 ... [详细]
  • 在计算机技术的学习道路上,51CTO学院以其专业性和专注度给我留下了深刻印象。从2012年接触计算机到2014年开始系统学习网络技术和安全领域,51CTO学院始终是我信赖的学习平台。 ... [详细]
  • CSS 布局:液态三栏混合宽度布局
    本文介绍了如何使用 CSS 实现液态的三栏布局,其中各栏具有不同的宽度设置。通过调整容器和内容区域的属性,可以实现灵活且响应式的网页设计。 ... [详细]
  • Linux 系统启动故障排除指南:MBR 和 GRUB 问题
    本文详细介绍了 Linux 系统启动过程中常见的 MBR 扇区和 GRUB 引导程序故障及其解决方案,涵盖从备份、模拟故障到恢复的具体步骤。 ... [详细]
  • 本文介绍了如何使用jQuery根据元素的类型(如复选框)和标签名(如段落)来获取DOM对象。这有助于更高效地操作网页中的特定元素。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 深入理解Cookie与Session会话管理
    本文详细介绍了如何通过HTTP响应和请求处理浏览器的Cookie信息,以及如何创建、设置和管理Cookie。同时探讨了会话跟踪技术中的Session机制,解释其原理及应用场景。 ... [详细]
author-avatar
白堤柳帘佳_688
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有