用代理页面协助ss抓取程序

用ss6(supesite6.0beta)抓华师大在线的新闻时遇到一点问题,就是获取不到完整的页面代码。

华师大在线采用shtml,不知道是否与此有关,ss测试程序只能抓到菜单部分,下面就没有了。后来只好自己写个页面来替它抓,然后再提供给ss来分析。

代理页面代码如下:

protected void Page_Load(object sender, EventArgs e)
    {
        if (!String.IsNullOrEmpty(Request.QueryString["url"]))
        {
            string url = Request.QueryString["url"];
            Encoding codetype = Encoding.UTF8;
            if (!string.IsNullOrEmpty(Request.QueryString["code"]))
            {
                codetype = Encoding.GetEncoding(Request.QueryString["code"]); ;
            }
            string html=GetHtmlCode(url, 8000, 0, codetype);

            Page.Response.Write(html);
        }
        else
            TextBox1.Text = "未输入请求链接";
       
    }

//下面是抄的

    private string GetHtmlCode(string strUrl, int timeout, int enterType, Encoding EnCodeType)
    {
        string strResult;
        try
        {
            HttpWebRequest myReq = (HttpWebRequest)HttpWebRequest.Create(strUrl);
            myReq.Timeout = timeout;
            HttpWebResponse HttpWResp = (HttpWebResponse)myReq.GetResponse();
            Stream myStream = HttpWResp.GetResponseStream();
            StreamReader sr = new StreamReader(myStream, EnCodeType);
            StringBuilder strBuilder = new StringBuilder();

            while (-1 != sr.Peek())
            {
                strBuilder.Append(sr.ReadLine());
                if (enterType == 1)
                {
                    strBuilder.Append("\r\n");
                }
            }
            strResult = strBuilder.ToString();

        }
        catch (Exception err)
        {
            strResult = "请求错误:" + err.Message;
        }
        return strResult;
    }

下面是ss6采集器配置文件:

# SupeSite Dump
# Version: SupeSite 6.0beta1
# Time: 2008-01-11 11:41:43
# From: 武汉七校新闻网 ()
#
# This file was BASE64 encoded
#
# SupeSite:
http://www.supesite.com
# Please visit our website for latest news about SupeSite
# ——————————————————–

YTo1MDp7czo3OiJyb2JvdGlkIjtzOjI6IjExIjtzOjQ6Im5hbW
UiO3M6MTI6IuWNjuW4iOimgemXuyI7czozOiJ1aWQiO3M6MToi
MSI7czo4OiJkYXRlbGluZSI7czoxMDoiMTIwMDAyMjExOCI7cz
o4OiJsYXN0dGltZSI7czoxMDoiMTIwMDAyMTkwNyI7czoxMToi
aW1wb3J0Y2F0aWQiO3M6MToiMSI7czo4OiJyb2JvdG51bSI7cz
oxOiIxIjtzOjExOiJsaXN0dXJsdHlwZSI7czozOiJuZXciO3M6
NzoibGlzdHVybCI7czoxNjc6ImE6Mjp7czo2OiJtYW51YWwiO2
E6MTp7aTowO3M6MTExOiJodHRwOi8vbmV3cy5mdWxsc2hhcmUu
Y24vc3BpZGVyL0dldEh0bWwuYXNweD91cmw9aHR0cDovL29ubG
luZS5jY251LmNvbS5jbi9TSHRtbC95YW93ZW4vaW5kZXguc2h0
bWwmY29kZT1nYjIzMTIiO31zOjQ6ImF1dG8iO3M6MDoiIjt9Ij
tzOjEzOiJsaXN0cGFnZXN0YXJ0IjtzOjE6IjAiO3M6MTE6Imxp
c3RwYWdlZW5kIjtzOjE6IjAiO3M6MTI6InJldmVyc2VvcmRlci
I7czoxOiIxIjtzOjY6ImFsbG51bSI7czoyOiIzNiI7czo2OiJw
ZXJudW0iO3M6MToiMSI7czo3OiJzYXZlcGljIjtzOjE6IjEiO3
M6NjoiZW5jb2RlIjtzOjU6InV0Zi04IjtzOjEzOiJwaWN1cmxs
aW5rcHJlIjtzOjA6IiI7czo5OiJzYXZlZmxhc2giO3M6MToiMC
I7czoxNDoic3ViamVjdHVybHJ1bGUiO3M6MTMzOiI8dGQgY29s
c3Bhbj0iMiIgdmFsaWduPSJ0b3AiIGJnY29sb3I9IiNFRUY5Rk
YiIGNsYXNzPSJ4aW53ZW4iPltsaXN0XTx0YWJsZSBib3JkZXI9
IjAiIHdpZHRoPSIxMDAlIj48dHI+PHRkIHdpZHRoPSI1MCUiIG
FsaWduPSJyaWdodCI+IjtzOjE4OiJzdWJqZWN0dXJsbGlua3J1
bGUiO3M6MjY6ImhyZWY9Ii9TSHRtbC95YW93ZW4vW3VybF0iIj
tzOjE3OiJzdWJqZWN0dXJsbGlua3ByZSI7czoxMDA6Imh0dHA6
Ly9uZXdzLmZ1bGxzaGFyZS5jbi9zcGlkZXIvR2V0SHRtbC5hc3
B4P2NvZGU9Z2IyMzEyJnVybD1odHRwOi8vb25saW5lLmNjbnUu
Y29tLmNuL1NIdG1sL3lhb3dlbi8iO3M6MTE6InN1YmplY3RydW
xlIjtzOjM3OiI8c3BhbiBjbGFzcz0iU1RZTEU3Ij5bc3ViamVj
dF08L3NwYW4+IjtzOjEzOiJzdWJqZWN0ZmlsdGVyIjtzOjA6Ii
I7czoxNDoic3ViamVjdHJlcGxhY2UiO3M6MDoiIjtzOjE2OiJz
dWJqZWN0cmVwbGFjZXRvIjtzOjA6IiI7czoxMDoic3ViamVjdG
tleSI7czowOiIiO3M6MTg6InN1YmplY3RhbGxvd3JlcGVhdCI7
czoxOiIwIjtzOjEyOiJkYXRlbGluZXJ1bGUiO3M6MDoiIjtzOj
g6ImZyb21ydWxlIjtzOjE5OiLmnaXmupDvvJpbZnJvbV3CoMKg
IjtzOjEwOiJhdXRob3JydWxlIjtzOjIxOiLkvZzogIXvvJpbYX
V0aG9yXcKgwqAiO3M6MTE6Im1lc3NhZ2VydWxlIjtzOjUyOiI8
dGQgY2xhc3M9ImJrX3lvdV9zaG93Ij5bbWVzc2FnZV08ZGl2IG
FsaWduPSJyaWdodCI+IjtzOjEzOiJtZXNzYWdlZmlsdGVyIjtz
OjA6IiI7czoxNToibWVzc2FnZXBhZ2V0eXBlIjtzOjQ6InBhZ2
UiO3M6MTU6Im1lc3NhZ2VwYWdlcnVsZSI7czozNToiPGRpdiBh
bGlnbj0icmlnaHQiPltwYWdlYXJlYV08L2Rpdj4iO3M6MTg6Im
1lc3NhZ2VwYWdldXJscnVsZSI7czoxNzoiPGEgaHJlZj0iW3Bh
Z2VdIj4iO3M6MjE6Im1lc3NhZ2VwYWdldXJsbGlua3ByZSI7cz
owOiIiO3M6MTQ6Im1lc3NhZ2VyZXBsYWNlIjtzOjA6IiI7czox
NjoibWVzc2FnZXJlcGxhY2V0byI7czowOiIiO3M6ODoiYXV0b3
R5cGUiO3M6MToiMSI7czoxMToid2lsZGNhcmRsZW4iO3M6MToi
MCI7czoyMDoic3ViamVjdHVybGxpbmtjYW5jZWwiO3M6MDoiIj
tzOjIwOiJzdWJqZWN0dXJsbGlua2ZpbHRlciI7czowOiIiO3M6
MTY6InN1YmplY3R1cmxsaW5rcGYiO3M6MDoiIjtzOjE2OiJzdW
JqZWN0a2V5Y2FuY2VsIjtzOjA6IiI7czoxMDoibWVzc2FnZWtl
eSI7czowOiIiO3M6MTY6Im1lc3NhZ2VrZXljYW5jZWwiO3M6MD
oiIjtzOjEzOiJtZXNzYWdlZm9ybWF0IjtzOjE6IjEiO3M6MjA6
Im1lc3NhZ2VwYWdldXJsbGlua3BmIjtzOjA6IiI7czo3OiJ1aW
RydWxlIjtzOjA6IiI7czo3OiJ2ZXJzaW9uIjtzOjg6IjYuMGJl
dGExIjt9

写在2007的尾巴上

       依然用这个老套的标题吧,2007,不寻常的一年,彻底离开了大学,却经常出现在校园,从武汉跑到上海,又从上海转回来武汉。一年中,匆匆而过的多少事,已经成为我的历史。

一年前,为了一个工作发愁,实际上没几天,一年中,换了好几个工作,收获也多多。只希望新的一年里,踏踏实实做成至少一件事情。对我来说,也许换工作不是一个坏事情,至少说明还有的换。但换工作绝对不能说明是一个好事情,毕竟兜了圈子。

一年的开始,我被称为老师,在一个充满了理想的岗位上兢兢业业地干了一个月。一年的前半截,在黄浦江的边上,做了半年我不知道在做什么的工作,当我知道了自己在做什么的时候只好选择离开。2007的下半年有些悲壮,懒懒散散过了几个月,收获仅限于给未来设定了几个梦想。

关于武汉大学信息管理学院03届信息管理与信息系统三班同学及相关人士元旦聚会的通知

       为了纪念四年的大学生活,交流毕业后的发展经历,兹定于2007年12月30日下午三点在湖北省武汉市八一路东湖新村军转小区某栋某房间聚会,请在汉同学相互转告,准时参加。最迟当日下午五点赶到,不然好吃的就被抢光了。如对吃食有特殊要求,请回复提出,最好附上菜谱。场地费免收,活动经费AA,当晚喝醉了免费留宿 ,男女不限,但人数原则上不应超过五人。完。

                                                                                                 2007年12月27日

信息经济学平话,王则柯,北京大学出版社,2006

简介 ······

  2001年度诺贝尔经济学奖授予美国的三位经济学家乔治·阿克洛夫、迈克尔·斯彭思和约瑟夫·斯蒂格利茨。瑞典皇家科学院的公告说,这是为了表彰他们研究“信息不对称”市场的贡献,他们的工作奠定了信息经济学的核心。
   经济关系的一方掌握的信息比另一方多,他比掌握的就是他的“私有信息”,从而他有利用私有信息占便宜的动机。这也是我们许多人曾经上当受骗的原因。私有信息的存在,造成信息不对称。信息不对称的市场,有一些和传统市场很不一样的规律,要有相应的制度建设,才能使它良好运行。信息不对称带来的主要问题。是不讲真话和不守诺言。在这个意义上,信息经济学是“如何让人讲真话、如何让人守诺言”的学问。本书从所罗门王断案、齐宣王不是滥竽充数的受害者、发达国家航空公司漂亮的价格歧视、家居装修的苦恼、信用好无须大甩卖高等教育的品牌效应等人们熟悉的例子说起、向读者介绍了信息经济学的许多精彩内容。

作者简介 ······

  王则柯,我国著名经济学家,中山大学岭南学院经济学教授,博士生导师,长期致力于我国经济学教育现代化的工作,并对经济体制改革和经济发展提供建议,是我国最早研究和介绍信息经济学和博弈论的经济学家,几十年来为读者奉献了许多上佳作品。他擅长用平实流畅的语言,向大众传播经济学知识,其所出版的作品本本畅销,深受读者喜爱。他曾发表《“西方经济学”不是一个科学的学科概念》、《下决心重写政治经济学》等论文数十篇;出版著作《经济学直面现实》、《游学北美》、《博弈论平话》、《拓扑学方法和经济学应用》、《童心与发现》、《我们都是纳税人》、《爱心护天才》、《岭南笔记》、《经济学家成长的故事》、《对付欺诈的学问》、《排队的文明》和《自由的烦恼》等20多种。

以上资料来自:http://www.douban.com/subject/1491896/

分两次读完了这本书,是在院办的资料室。推荐给还没有上《信息经济学》这门课的同学,也许读了这本书再去听马费成教授主讲的《信息经济学》会更认真一些。

2007的圣诞,2008的召唤

打开博客一看,呀,20008,不错的数字

大家圣诞都快乐吧,快乐就好

有好些人都迫不及待写年终总结了,我孩没想好写什么。先准备一下元月的工作吧。

房子搞定了,在东湖新村,回武汉过年的同学可以联系我借宿。

另外如果有哪个同学愿意做程序员(从入门开始),请与我联系。

公交上可以看CCTV移动了

某某传媒公司;

某某移动频道;

CCTV移动。

就是这样一个简单明快的路线,公交上的广告发生了质的变化。

在百度搜“公交 传媒”,第二条竟然是武汉公交传媒的百度空间博客,可见武汉这一点上走在了前面,充分利用了百度空间高权重的特点,大大节省了宣传成本。http://hi.baidu.com/whgongjiao/

CCTV移动是本月19号开通的,我个人认为此举是CCTV对媒体资源垄断优势的一个体现,也是对广告业的一个打击,从内容来看很清楚,本来地方上有能力投放广告的企业没有了能力,因为全国一套节目,他们花不起上央视的钱,那本来可以给他们制作广告的公司业务就没有了,这是给广告业从根本上的打击。

可喜可贺的是政府监管成本降低了。

随便说说而已。

武大计科团队推出元旦晚会全球在线互动,请关注热得快redekui.com

计算机学院研究生2008元旦晚会全球互动
电信:http://redekuai.com/year
网通校园网:http://www.redekuai.com/year

一、活动口号

作为武汉大学计算机学院的研究生,12月27日19点你在哪里?
当然是在元旦晚会现场:很好,你可以通过手机短信发送祝福!
在寝室取暖:喔,你可以通过QQ发几条消息!
在食堂或者饭馆解决温饱问题:顺手发条手机短信吧!
坐在车上无聊:可以发条手机短信到晚会现场!
在国外求学呢:上网给晚会发来祝福吧!
还在公司实习:用MSN发来祝福吧!
当然如果你关注了晚会,届时晚会现场的风吹草动、精彩语录都会及时短信发给你!

二、活动内容

晚会进行的时刻,在晚会现场左侧(或者右侧)我们放置了投影仪大屏幕。大屏幕上动感
实时显示最新发来的6条消息。同时网络上可以通过
电信:http://redekuai.com/year
网通校园网:http://www.redekuai.com/year
感受晚会现场的热烈气氛,你也可以参与进来。
我们支持如下发送祝福方式:网页、QQ、QQ签名、MSN、MSN签名、手机短信、手机上网、
Foobar、twitterBoy、烧开水客户端、GTalk、GTalk签名
发送方式:

1.手机用户:发送你想说的话到10657109051015(移动),106550201999103(联通),例
如发送:主持人还没有出来哦?我想瞻仰一下,我坐在第二排向右第五个位子!
* 向热得快发送短信不收取任何信息费,是和平时发短信的的价格一样的。

2.IM 用户:先在热得快注册帐号,然后绑定IM。MSN添加rdk001@hotmail.com,QQ添加86
7179753发送"@+whucsg+空格+你想说的话",例如发送:@whucsg 晚会现场美女很多,很好
,很强大。

3.Web用户:登录 http://www.redekuai.com,(注册)发送"@+whucsg+空格+你想说的话
",例如发送:@whucsg 等会晚会结束了有没有去宵夜的啊?

三、活动意义

1.这些消息最后保存下来,以后随时可以到这个网页感受当时晚会的气氛 感受研究生最后
的生活  
2.晚会现场更富有膨胀感与趣味性,不能到场的同学可以通过网络感受晚会的气氛
(http://bbs.whu.edu.cn/bbstcon.php?board=C.S&gid=1103428512)