科学上网

如何搭建一枚长期可用的twitter API

来源: http://kxboy.com/web-skills/twitter-api.html 因为开会,为了营造和谐友好的两会氛围,互联网中间那堵无形的”墙”又悄无声息的加高了许多。于是乎,很多Api都被挂掉了。twitter上哀声四起,到处是骂娘的,求可用API的。 就我个人了解上twitter的办法无非是这几个: 用SSH或者VPN ,会用这2种办法翻墙的朋友,大多都是Firefox或者Chrome用户,可以直接上twitter官网。想稳定,还是推荐花2包香烟钱,买一年的付费SSH或者VPN服务,图个稳定安省,没有那么多后顾之忧。 Gtap搭建Api ,可参看教程: 用GAE架设Twitter API-GTAP ,不过在这个敏感的时候,Appspot似乎永远都是第一个死掉的API,或许是它出身Google,树大招风的原因。 Twip搭建Api ,可参考教程: 利用twip4搭建oauth功能Twitter API ,前几天两会还没开幕,国外网站上正为一朵花吵来闹去的时候,我用twip4搭建的api就挂掉了。我测试了一下,Api的主域名 http://xxx.com 没有任何问题,可以正常打开,但是一打开 http://xxx.com/twip 这样的路径就会网页重置。在twitter上看到有人提示是twip遭遇url关键词撞墙。于是我把twip这个文件夹的名字改成了网上常用的news,然后编辑config.php文件,把 define(‘BASE_URL’,’ 这里填写Callback URL,如 http://lihoo.it/twip/ ‘);改成了 http://xxx.com/news/ 这样的路径。然后重新测试Api,发现API原地满血复活了。 有了这次的教训,我在robots.txt加上了这么一句 User-agent: * Disallow: /news/ 屏蔽所有搜索引擎的爬虫访问News文件夹。 自建Dabr或者推特中文圈: 1)自建Dabr可参考小众软件的安装教程: Dabr 安装教程 2)自从Twitter的api强制Oauth登陆以后,自然光这样安装Dabr还不够,还要安装itap,教程: iTAP 推特 OAuth 代理支持Dabr/推特中文圈/Twip 3)为了保证Dabr的私密性和安全性,我重新申请了一个新的域名,在根目录里直接安装Dabr,同时我把itap文件夹重命名成了blog,另外屏蔽了所有搜索引擎的爬虫。 ==================== 这几天,给我的感觉就是,如果要搭建一枚可靠的API,最关键的就是低调,还是低调。 无论改文件夹名字伪装也好,屏蔽搜索引擎爬虫也好,都是为了保证Api的私密性。另外,在使用过程中,低调还是低调。原则上坚持一点,既不透露给其它人使用,也不使用其他人的API,所有的这一切都只是为了自己私用。 如果这样还能被墙掉,那么我真的无语了。只能愤愤地说,方老师,你技术真的很牛B,所有学计算机的学生都该去考你的研究生。 ============= 本来文章写到这儿,就已经结束了。不过刚刚突然想到一个东西,就是在线ping twitter的真实IP地址。 因为twitter域名已经遭遇DNS污染,在国内直接ping twitter.com 的ip地址,返回的IP地址是159.106.121.75,而且结果一直是请求超时,ping不通。 我用在线ping网站 just-ping.com ,ping twitter.com 返回的IP地址大多是这几个, 我测试了一下,直接输入这4个ip地址,居然可以直接打开twitter网站。不知道伟大的Gfw怎么没有把这几个ip墙掉。 而上海ping到的ip地址是 203.98.7.65,结果是Packets lost (100%), 看到这个结果,我不怀好意的笑了。 PS:哥们不是学计算机的,也不懂什么网络通信协议之类的鬼东西。我这些都是在网上摸索收集到的一点点小窍门,高手们看起来可能都会觉得我幼稚的可笑,但是对于我这样的菜鸟,能琢磨出url伪装和屏蔽搜索引擎爬虫这样的鬼点子,我已经很知足了。 ――――――――――――――――――――――――――――――――――――――――― 需要翻墙利器赛风? 请 阅读和关注中国数字时代 。 推特用户请点击 这里 免翻墙上推特 请点击 这里 下载翻墙软件 更多翻墙方法请发电邮(最好用Gmail)到: fanqiang70ma@gmail.com 请阅读和关注 中国数字时代 、翻墙技术博客 GFW BLOG (免翻墙) 请使用 Google Reader 订阅中国数字时代中文版 ( http://chinadigitaltimes.net/chinese/feed ),阅读最有价值的中文信息;以及 GFW BLOG(功夫网与翻墙) http://feeds2.feedburner.com/chinagfwblog ,获取最新翻墙工具和翻墙技巧信息。

阅读更多

免费免安装代理客户端-WallProxy V1.0.1

来源: http://caiting666.wordpress.com/2011/03/08/wallproxy/ WallProxy 是款基于 GAppProxy 的免费免安装 GAE / PHP代理 软件,支持上传文件(包括二进制文件)、断点续传。 下载 及解压缩文件,运行” WallProxy.exe “程序,点击” 设置代理 …”选择代理类型(全局或gfwlist.pac),再点击” 启动 “即可。 或直接运行” proxy.exe “程序。 安装有 Python 的 Windows 、 Linux 用户可下载源码包,解压运行” proxy.py “。 使用 WallProxy 需对浏览器HTTP代理服务器进行设置,IP: 127.0.0.1 ,端口: 8086 最新版: WallProxy V1.0.1 for Win 下载地址: http://www.duckload.com/download/3356551/win-support.7z 官方下载地址: https://code.google.com/p/wallproxy/downloads/list ――――――――――――――――――――――――――――――――――――――――― 需要翻墙利器赛风? 请 阅读和关注中国数字时代 。 推特用户请点击 这里 免翻墙上推特 请点击 这里 下载翻墙软件 更多翻墙方法请发电邮(最好用Gmail)到: fanqiang70ma@gmail.com 请阅读和关注 中国数字时代 、 翻墙技术博客 GFW BLOG (免翻墙) 请使用 Google Reader 订阅中国数字时代中文版 ( http://chinadigitaltimes.net/chinese/feed ),阅读最有价值的中文信息;以及 GFW BLOG(功夫网与翻墙) http://feeds2.feedburner.com/chinagfwblog ,获取最新翻墙工具和翻墙技巧信息。

阅读更多

简洁的Advanced Tor(0309更新)

来源: http://allinfa.com/advanced-tor.html 美博园 一年前介绍过一个新的 tor :Advanced Tor,以前一段时间没有更新,后来经过作者多次更新,功能日渐完善,基本上可以替代Tor+Vidalia+Privoxy。Advanced TOR在实现并扩展Vidalia功能的同时还减小了体积提高了效率。 Advanced TOR特点: 可以自定义本地 代理 端口(http和socks代理同时使用一个本地端口), 可以控制tor链路长度(默认3节点,设置成双节点可以提高速度,设置4―10节点可以提供安全性), 可以手动保存高速的节点到收藏夹,排除速度慢的节点,设置只使用收藏夹里的节点来提高速度, 可以设置使用链路中不包含相同IP段或者相同国家的节点来提高安全性(默认是不使用相同国家的节点), 可以设置使用网桥或者使用代理连接tor网络,设置开机启动,启动自动连接等功能, 可以手动设置链路,手动断开链路等 …… 官方主页地址: http://advtor.sourceforge.net/ 官方下载地址: http://sourceforge.net/projects/advtor/files/ 目前(2011-03-06)最新版 AdvTor0.2.0.7 官方下载地址: http://sourceforge.net/projects/advtor/files/AdvTor0.2.0.7/ ― 以前的介绍 ――――――――――――――� 最近看到国外一个新的tor,名叫Advanced Tor ,试了一下,界面简单直观,不需要其他代理搭配,作为一个新开发的tor,不妨留着 翻墙 备用。 官方下载地址:http:// sourceforge.net/projects/advtor/ 不过是全英文的,而且作者最近几个月没有更新了。 这里简单介绍如下: � there is no longer any need for an external program to convert HTTP proxy traffic to Socks4/5 traffic, TOR also handles HTTP/HTTPS proxy requests on the Socks4/5 port � added: new log level “Proxy” that allows viewing in real time all connection/resolve attempts made by clients / browsers that use the TOR proxy � added: support for banlist for websites when using AdvTor as proxy � added: new option: “Force TOR” for processes, that injects AdvTor.dll in another process to hook Winsock calls and redirect them to AdvTor’s proxy � AdvTor.dll can show the process name and the module that attempts to bypass proxy settings if “Force Tor” is enabled � AdvTor.dll supports more operating systems, including Vista � AdvTor.dll can also force system services to use Tor 原创文章,转载请注明: 本文转载自: 美博园 – 简洁的Advanced Tor(0309更新) 本文链接: http://allinfa.com/advanced-tor.html ――――――――――――――――――――――――――――――――――――――――― 需要翻墙利器赛风? 请 阅读和关注中国数字时代 。 推特用户请点击 这里 免翻墙上推特 请点击 这里 下载翻墙软件 更多翻墙方法请发电邮(最好用Gmail)到: fanqiang70ma@gmail.com 请阅读和关注 中国数字时代 、 翻墙技术博客 GFW BLOG (免翻墙) 请使用 Google Reader 订阅中国数字时代中文版 ( http://chinadigitaltimes.net/chinese/feed ),阅读最有价值的中文信息;以及 GFW BLOG(功夫网与翻墙) http://feeds2.feedburner.com/chinagfwblog ,获取最新翻墙工具和翻墙技巧信息。

阅读更多

FutureMe.org被封

来源: http://caiguanhao.wordpress.com/2011/03/07/futureme-was-blocked-in-china/ 今天在twitter上看见一个论坛说限时开放注册,那个时间大概是一个星期之后吧,于是我便想到那个可以等到未来某段时间为自己发邮件的网站,我 已经写了好几封,有一封好像是给十年后的,但我还不是十分记得这个网站的名字和网址,于是在Google搜索”future mail”,看到第一个结果好熟悉点进去。等了很久打不开。于是我把autoproxy调为全局模式,即全部网站通过SSH连接。可以连接。于是我开了终 端,ping futureme.org 无果。我以为只有我是这样,然后我到了不同宽带的电脑里面测试,不能连接,Windows命令ping显示timeout,然后 电脑连上他的VPN就可以连上。 ping futureme.org 然而在 mn.geek-tools.org/ping 上则可以。因为这个网站不在中国大陆。 mn.geek-tools.org/ping 于是我第一时间上Google实时搜索看看有没有人有相同情况,发现没有,于是我在twitter上显示follow了@futureme然后@了他说: 我的tweet futureme.org 已被GFW认证,这只是一个写信给未来自己的网站而已。 @ futureme is blocked in China. http://twitter.com/#!/caiguanhao/status/44727939035697152 对话内容 futureme: @ caiguanhao really? Since when? We’ve had lots of traffic from china for a while. What can we do

阅读更多

免封TWIP API制作方法

来源: http://www.ruazi.com/?x=entry:entry110309-153838 授人以渔 不是鱼 因为发这篇文章可能导致我这网站被封 因此请看到的朋友转贴 当然最佳方案还是HTTPS 但是由于有些客户端(手机)不接受非法的证书,这需要一定成本,我这里提出一个无成本的方案 需求: 自己的空间或VPS 添加域名的权限 更改客户端路由表的权限 描述: 目前升级过的GFW似乎会检测HTTP包的前面一小段,从而辨别出推特的请求,我们常用的如TWIP(包括客户端形式登录的)HTTP请求例如:(客户端 tweetdeck) 2113 “app:/TweetDeck.swf” “Mozilla/5.0 (Windows; U; zh-CN) AppleWebKit/531.9 (KHTML, like Gecko) AdobeAIR/2.5.1” ****(IP地址) – ******(推特ID号)  [09/Mar/2011:12:30:19 +0800] “GET /statuses/mentions.xml? count=100&since%5Fid=  ************* HTTP/1.1” 200 2951 “app:/TweetDeck.swf” “Mozilla/5.0 (Windows; U; zh-CN) AppleWebKit/531.9 (KHTML, like Gecko) AdobeAIR/2.5.1” 如果对前1KB内容进行检测,很容易发现特征。 目前墙的运作模型似乎是,你使用明文API会被记录,但是不会马上被封,一段时间以后被封,这可能是人工复核的结果。封锁方式目前DNS污染和敏感词(RST)均有。 * 从这点上看,GFW已经具备了检测明文条件下API的能力,并可依据记录抓出推友(IP与ID号是对应的),因此我建议对安全需求高的推友使用HTTPS 方案:针对DNS污染和敏感词检测,我们建议采取“无域名方式”+HOSTS本地路由 即在你的服务器或空间上,把API设置为一个不存在的域名,或是一个其他的域名,然后在本地修改路由强制指定IP到该域名上。 这样对于墙来说,你是在访问一个不存在的网站,即无法拦截了。 如把API的域名设置为“人民网” 并在自己的终端设备上把人民网的地址指定为API的地址。这样墙就无能为力了。上面的那个域名则是被检测出来并被封锁的,可以看到只进行了0.2M的流量,就被流量分析抓出来了。 *怎么改HOSTS? 请自己学习。 *终端如果是手机,还需要搞到HOSTS的权限,这里不讨论了。 其他问题? 1,会不会封IP?很可能。但是IP并不贵,你可能需要花钱经常换IP,所以有条件的还是买SSL最好。 2, 如果设置一个不存在的域名,如 www.notexist.com ,仍有可能被墙,因为墙可以把notexist作为关键词来过滤,你的HTTP HEAD里面有这个关键词则还是会被拦截,好在没有成本,立即换一个就是了。 因此建议设置一个国内的网站地址如新华网人民网之类的,他无论如何不可能拦截。 3,怕跨省?怕跨省就别上推,或使用SSL VPN等。 ————————————————————————————————————————— 需要翻墙利器赛风? 请 阅读和关注中国数字时代 。 推特用户请点击 这里 免翻墙上推特 请点击 这里 下载翻墙软件 更多翻墙方法请发电邮(最好用Gmail)到: fanqiang70ma@gmail.com 请阅读和关注 中国数字时代 、 翻墙技术博客 GFW BLOG (免翻墙) 请使用 Google Reader 订阅中国数字时代中文版 ( http://chinadigitaltimes.net/chinese/feed ),阅读最有价值的中文信息;以及 GFW BLOG(功夫网与翻墙) http://feeds2.feedburner.com/chinagfwblog ,获取最新翻墙工具和翻墙技巧信息。

阅读更多

CDT/CDS今日重点

十月之声(2024)

【404文库】“再找演员的话,请放过未成年”(外二篇)

【404媒体】“等帘子拉开,模特已经换上了新衣”(外二篇)


更多文章总汇……

CDT专题

支持中国数字时代

蓝灯·无界计划

现在,你可以用一种新的方式对抗互联网审查:在浏览中国数字时代网站时,按下下面这个开关按钮,为全世界想要自由获取信息的人提供一个安全的“桥梁”。这个开源项目由蓝灯(lantern)提供,了解详情

CDT 新闻简报

读者投稿

漫游数字空间