蓝色的华 » python

找到Flash Media Server的替代品~

小鹿 — Sun, 08 Aug 2010 00:48:10 +0000

很早之前就想实现一个在线录音的功能，无奈一直没有找到FMS的替代品。以前用”flash 录音”两个关键词，结果大多是FMS实现，还有个开源的Red5，java实现的，还是算了，vps上跑java。。偶尔换了个高级点的关键词”python rtmp”立刻找到我想要的:http://code.google.com/p/rtmplite/ 。rtmplite实现了一个简单的RTMP server,而且只用了3个python文件，(Red5都有三十几兆。。)

ls -lh amf.py multitask.py rtmp.py 
-rwxr-xr-x 1 lu lu 17K 2010-07-30 12:31 amf.py
-rwxr-xr-x 1 lu lu 41K 2010-06-29 07:28 multitask.py
-rwxr-xr-x 1 lu lu 51K 2010-07-30 09:42 rtmp.py

实现的在线录音功能:http://v.hua.lu

———–
post by gmail~

相对完美的设计思路~

小鹿 — Wed, 21 Jul 2010 16:27:31 +0000

有没有可能写一套代码适应以下三种情况:
1. 客户端没有开启javascript，或者使用ucweb一类的弱智浏览器访问时，功能没有影响
2. 客户端开启了javascript，每个页面都有单独加载的js,但是禁用ajax,只帮助用户交互
3. 客户端开启了javascript，为了提高载入速度，尽量使所有操作用ajax完成

略有所得: http://www.blogo2.com
源代码: http://code-of-emptyhua.googlecode.com/svn/trunk/blogo2

没有禁用js的时候，页面切换，表单提交（注册和登录没有用）尽量的使用ajax，而且部分操作会使用弹层(登录后的管理),禁用js之后，则所有操作换成普通表单提交在页面之间跳来跳去。。

还有一个功能没有开启，就是可以选择不用ajax，但是独立开的页面js依然有效。

有兴趣的同学可以check源代码，这种模式的实现:
1. 开发的时候禁用ajax，单个页面开发，而且要求禁用js时业务可以走通，页面内的js和css统一由模板引入。
2. 对需要开启ajax的链接增加hook，例如data-ajax=”dialog:{}”,则表明在开启ajax模式后，点击这个链接需要弹窗
3. ajax模式下只需要对单个页面更换特有的模板，动态加载需要的js和css即可。

这种设计的特点:
1. 尽量一个人包前后端。。
2. json不潮了，ajax返回html代码，优点是js不用套页面了，缺点是流量大

over，虽然没有完美的代码，但是我尽量~

———–
post by gmail~

一个支持url变量的压力测试工具pywebbench

小鹿 — Tue, 13 Jul 2010 15:09:39 +0000

可能是我的本子配置不行,服务器上连接数可以上1000

./pywebbench.py -c 1000 -t 10 http://172.16.0.38/test.php
 
1000 clients, running 10 sec, timeout setting 2.
Requests: 7387 total ,7385 susceed, average 99%.
2 fail:
timeout:1
connect refused:1
not 2xx status:0

————————————-
2010.7.14更新可以输出更多信息，svn版本7

100 clients, running 10 sec, timeout setting 2.
Requests: 1361 total ,1027 susceed, average 75%.
334 fail:
timeout:254
connect refused:80
not 2xx status:0

—————————–
测试需要，特别是测试缓存，逮住一个url压没什么用，所以写了一个pywebbench满足需求

#url中的id会顺序变化
pywebbench.py -c 100 -t 10 http://test.com/xx.php?id={10000,12000000}
#url中的id随机变化
pywebbench.py -c 100 -t 10 http://test.com/xx.php?id={10000,12000000#random}

实际数据

#这是pywebbench跑的数据,curl这么牛逼吗，远远把webbench落在后面。。。
$python ~/bin/pywebbench.py -c 300 -t 10 http://localhost/
 
300 clients, running 10 sec.
Requests: 20430 total 19318 susceed, 1112 failed.
 
#这是webbench跑的数据
$webbench -c 300 -t 10 http://localhost/
Webbench - Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
 
Benchmarking: GET http://localhost/
300 clients, running 10 sec.
 
Speed=56964 pages/min, 3997446 bytes/sec.
Requests: 9494 susceed, 0 failed.

已知问题:
python的线程貌似开不多，-c 500 开不了。。

下载:
http://code-of-emptyhua.googlecode.com/svn/trunk/pywebbench.py
需要安装pycurl:sudo apt-get install python-pycurl

terminal里看农历的东西

小鹿 — Mon, 03 May 2010 13:14:05 +0000

曾经装了一个 liblunar ,用来在gnome panel里显示农历日历，今天升级到10.04，发现不灵了。由于liblunar提供了python的lib，于是简单写了一个命令行版的前端，顺便保持对python的熟悉程度。最近接触的语言有点杂，码代码时经常会搞混。。。

下载：zhcal.zip

使用之前需要安装liblunar,编译选项

./configure --prefix=/usr --enable-python
make
sudo make install

———————————–
另：分享一个firefox插件default full zoom level, 可以设置页面的默认缩放级别，对于高分屏的同学会有帮助～
现在终端的字体我已经调到16，浏览器默认缩放120%，基本上回到1024时代~

发个套页面的辅助工具

小鹿 — Tue, 13 Apr 2010 07:21:12 +0000

2010.4.22 使用vim的同学可以这样

command -nargs=0 HTML2Array :call HTML2Array()
function HTML2Array()
    exe("'<,'>s/\"/\\\\\"/g")
    exe("'<,'>s/^/\"/")
    exe("'<,'>s/$/\",/")
    exe("'<,'>g/^\"[\\t ]*\",$/d")
endfunction

先用=排版命令对html排版,然后选中,:HTML2Array就可以了
———————————————–
jser套的页面一般是这样的

var html = [
//....
"            \"right\">\n",
"                \n",
"                    \n",
"                        \"a\" type=\"text\" />\n",
"                    \n",
"                    \n",
"                        \"b\" type=\"text\" />\n",
"                    \n",
"                
\n",
"                \n",
"                    \"c\" type=\"text\" />\n",
"                
\n",
"                \n",
"                    \"d\" type=\"text\" />\n",
"                
\n",
"            
\n",
//....
].join('');

以前偶都是一点一点手工拼接的,今天抽时间写了段python,可以辅助一下~

#可以生成上面形式的字符串
cat tmp.html | python html2js.py
#或者生成 "abcd" + 这种字符串拼接的形式
cat tmp.html | python html2js.py --string

脚本下载 : html2js.0.1

测试环境: ubuntu 9.10 python 2.6.4

准备做一个wordpress的离线编辑器

小鹿 — Sun, 24 Jan 2010 07:47:26 +0000

2010.3.6 更新
由于最近的学习充电计划,这个东西暂时搁置了,现在已经可以自动保存了~
———————————
linux平台上一直没有这样一个所见即所得的blog离线编辑器,昨天试着用pyqt4写了一个小脚本,发现原来python做客户端软件是如此容易.然后下定决心要利用n个周末的时间自己写一个.

开始打算用纯qt的ui控件实现,但是感觉没有wordpress的编辑器这么亲切,于是想到一个界面亲切,实现也方便的方案: ui部分直接用web,框在一个pyqt的webkit组件里,逻辑部分用python的cgihttpserver在本地开一个cgi.

这个东西搞到今天雏形已经有了,可以实现跟wordress完全相同的书写体验.

顺带发那个pyqt的练手之作 :　emlreader.py 一个可以查看eml附件的脚本

替换js中的字符串常量为变量

小鹿 — Tue, 01 Sep 2009 01:11:37 +0000

最近需要把整站js中的域名替成变量,awk查资料写了大半天也没整出个啥,话说我的正则还是太初级,话说我买的正则书也不知跑到哪去了,话说好书还是要放到家里…

于是还是用python,没有用正则,但是好像跑起来真的比awk快~

脚本下载:replace_keyword.zip

效果:

//替换之前
var s = '';
//替换之后
var s = '+ siteDomain + '/show">';

使用方法:
首要要修改脚本里要替换的关键词

config['keyword'] = 'abc.com'
config['vname'] = 'siteDomain'

然后

python replace_keyword.py ./myscript.js > /tmp/ooxx
mv /tmp/ooxx ./myscript.js

批量替换的话就需要写个简单的shell:replace_keyword.sh

#!/bin/sh
python replace_keyword.py $1 > /tmp/ooxx
mv /tmp/ooxx $1

批量替换整个目录

find ./ -name "*.js" | xargs -i sh replace_keyword.sh {}

最后任务远没有结束,这个脚本还不够强大,它只会替换字符串中的关键字,作为对象属性名称的字符串不会替换,正则中的关键字无法替换,像下面:

var config = {
    'blog.abc.com' : 1,
    'game.abc.com' : 2
}
//需要手工替换为
var config = {};
config['blog' + siteDomain] = 1;
config['game' + siteDomain] = 2;
 
if ( /abc\.com/.test(str) ){}
//需要手工替换为
if ( new RegExp( siteDomain.replace('.','\.') ).test(str) ){}

所以运行完脚本之后还需要检查未替换的地方,手工完成

find ./ -name "*.js" | xargs grep 'abc\\\?\.com'

Gmail to wordpress：通过mail更新wordpress

小鹿 — Tue, 02 Jun 2009 13:51:10 +0000

个人比较习惯用email更新博客，写日记用的blogger一直是手机写邮件更新，于是打算这个工作blog也要这么搞

wordpress自身有个通过邮件更新的功能，但是很弱，不支持附件.所以俺再次拿python做练习

实现方式：

发布blog时只要写信给somebody+xxoo@gmail.com

脚本会定时检查somebody@gmail邮箱，

取出收信人是 somebody+xxoo@gmail.com的未读邮件（加xxoo为了防止垃圾邮件），然后将邮件正文中引用的图片取出，上传到blog或着picasa，将返回的地址作为图片的新地址，然后通过wordpress的metaWeblog api 发布到wordpress

实现特性：

可以通过添加"[[tag:t1,t2,t3]]"设定文章的标签

可以通过添加"[[cat:c1,c2]]"设定文章分类

可以添加"[[end]]"标记文章结尾，标记后面的字符将被忽略

可以添加[[html]][[/html]]块发布纯html代码块

可以将邮件中的图片提取，并上传到picasa或者wp

(备注："[["实际使用用时要用三个，即"[[[xxxx]]]"这里用两个是因为本文也是通过这个脚本发布的）

运行环境：
python2.6(ubuntu)（其他版本未测)，gdata库

部分代码：

def after_publish( self, mid ):
 
        self.mail.read( mid )
 
 
#实例化一个Gmail2Blog，参数依次为：gmail帐号，gmail密码，wp帐号，wp密码，blog的xmlrpc地址
myG2B = Gmail2Blog( 'somebody@gmail.com', 'xxxx', 'admin', 'xxxx', 'http://xxoo.com/xmlrpc.php' )
 
 
 
#将处理完的邮件标记为已读
myG2B.publish_callback = after_publish
 
#设置图片的上传方式，'picasa':上传到账户的picasa相册，'wp':上传到blog
myG2B.upload2 = 'picasa'
    
while True:
    #将收件箱中发送给'somebody+blog@gmail.com'的未读邮件发送到blog
 
 
    myG2B.publish_mail( 'INBOX' , '(UNSEEN) (TO \"somebody+blog@gmail.com\")' )
    #每隔十分钟检查一次
    time.sleep( 60 * 10 )

源码下载：
非常不靠谱版本（等靠谱了就放到vps上长期运行)

gmail2blog-sbeta.tar.gz

Gmail撰写截图：

利用data-uri合并样式表和图片

小鹿 — Sun, 17 May 2009 06:41:00 +0000

data-URI是一种允许将图片直接嵌入页面或者样式表中的标准，新版本的firefox,safari,chrome,ie8均已支持，所以可以利用data-URI将样式表中的背景图片合并到文件，以减少连接数，加快网页的载入速度.

但是由于低于ie8的ie版本均不支持data-URI，所以要通过mhtml对ie6，7版本特殊照顾（ie中将网页保存为单个.mht文件时使用了该标准）

通过data-URI编码的图片要比原图大1/3，而且如果图片在样式表中反复出现，转换后的体积将比原文件加图片的体积不只大1/3，但是由于传输一般走gzip，客户端也有缓存，所以可以无视吧….

恩，技术就是这么点，本来要用这个搞一下优化，但是老大没有点头，白写了脚本，不过学了会python也没用过，算练练手

下面这个就是通过脚本转换的曾经风靡全球的css garden的页面

http://bluehua.org/demo/data_uri/cssgarden/

页面加载完毕只有两个请求，一个html，一个css

转换文件使用的参数

python /home/hualu/bin/data-uri.py -l /media/we/share/cssgarden/ -r http://bluehua.org/demo/data_uri/cssgarden/ /media/we/share/cssgarden/001

既然用不着，脚本也就一直beta下去了，啊….

python脚本下载