学习 - Tony Bai

十一月 21, 2012

近期在做一些基础设施搭建的过程中，又遭遇到了公司http代理的问题。主要是很多主机上的工具只支持不带身份鉴权信息的http_proxy设置，如只支持诸如：export http_proxy='http://10.10.1.1:8090'，而不支持export http_proxy='http://tonybai:passwd@10.10.1.1:8090'这种形式的配置。

或是其命令行选项中只提供了proxy_host和proxy_port两个选项，但并不支持携带鉴权信息。而公司内部要访问外部信息还必须通过公司的带有身份鉴权的代理服务器，总而言之，弄得我十分不爽。于是乎产生一个想法：是否可以搭建一个内部http中间代理，部门内部主机通过不带身份鉴权信息的代理配置访问该中间代理，而该中间代理将内部的所有http request都转发到公司代理，同时携带配置好的身份验证信息。

对http代理这事，我完全是个小白啊，于是乎Google开来(恰逢最近Google还不给力，原因你懂的)。

最先试用了一下tinyproxy，这个工具挺小巧简单，在ubuntu下通过apt-get 可直接安装，/etc/tinyproxy/tinyproxy.conf的配置也很简单明了。但配置文件中涉及到转发到upstream proxy server的配置行只支持"Upstream host:port"而不支持"Upstream tonybai:passwd@host:port"形式，并且也没有其他地方支持身份鉴权信息的配置。在其官方bugzilla上有很多人反映这一情况，但其最新版本似乎也没有将这个功能加入，十分遗憾！

于是乎打算换一个重量级的代理工具-nginx。Ubuntu 9.04下默认安装的nginx是0.65版本。nginx功能虽强大，配置倒并不那么“复杂”，但问题在于nginx本身似乎更专注于负载均衡和反向代理，而满足我这个问题场景的资料甚少。nginx配置命令和变量太多，要想短时间搞清楚这些变量的含义还真是一件困难事。照猫画虎的尝试了几种配置，也均未能成功。翻阅了国内唯一一本nginx书籍 – 《实战nginx》，但无奈太厚，翻了三章，索性放下了。换工具！

最传统的开源免费http代理工具莫过于squid了。估计其市场占有率也是名列前茅的。Ubuntu 9.04下默认安装的squid是2.7版本，不算很老，squid官方站至今还提供2.7版本详细的配置文档。但squid默认的配置文件可是超级庞大，总共有近5k行，虽然绝大部分内容都是被注释掉的。于是乎先用命令过滤出未注释行，这些行是真正生效的配置。

关于squid如何将收到的http request转发到带身份鉴权的上级http proxy server，网上的信息也较少，不过还是让我发现一条。按照这条配置建议做了尝试。/etc/squid/squid.conf的配置摘要如下：

access_log /var/log/squid/access.log squid
debug_options ALL,1
hosts_file /etc/hosts
coredump_dir /var/spool/squid

acl all src all
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32

acl localnet src 10.0.0.0/8 # RFC1918 possible internal network
acl localnet src 172.16.0.0/12 # RFC1918 possible internal network
acl localnet src 192.168.0.0/16 # RFC1918 possible internal network

http_port 10.10.13.17:3128

http_access allow localnet
http_access allow localhost
http_access deny all

cache_peer proxy.yourcompany.com parent port_of_company_httpproxy 0 no-query default login=user:passwd
never_direct allow localnet

配置后，重启squid(sudo /etc/init.d/squid restart)。将Chrome浏览器的代理配置改为该代理，尝试打开"baidu.com"，陷入漫长等待。于是打开squid的访问日志/var /log/squid/access.log，看到如下失败信息：

1353476636.008      0 10.10.13.235 TCP_DENIED/400 1709 GET error:invalid-request – NONE/- text/html
1353476657.337      1 10.10.13.235 TCP_DENIED/400 1709 GET error:invalid-request – NONE/- text/html
1353476691.420      0 10.10.13.235 TCP_DENIED/400 1678 GET error:invalid-request – NONE/- text/htm

居然出错！换成IE浏览器，现象一样，都是这种错误。在/var/log/squid/cache.log中，还能发现下面错误：

2012/11/21 13:43:56| clientTryParseRequest: FD 12 (10.10.13.235:4247) Invalid Request

不断的修改squid.conf配置，不断地修改浏览器代理配置，不断的失败。总是修改浏览器的代理配置让我感觉十分费劲，于是我换用curl工具来测试该代理。curl是可以识别http_proxy环境变量的。将http_proxy环境变量改为export http_proxy=http://10.10.13.17:3128，在命令行敲入curl http://baidu.com，居然得到下面结果：

$ curl http://baidu.com
<html>
<meta http-equiv="refresh" content="0;url=http://www.baidu.com/">
</html>

再回到access.log观察，居然看到了下面成功日志：

1353476863.916 0 10.10.13.235 TCP_HIT/200 677 GET http://baidu.com/ – NONE/- text/html

于是又尝试用wget下载外部文件、用subversion访问外部svn repository、rvm安装ruby包均告成功！这不就是我想要的结果吗！居然被我误打误撞到了！虽然到目前为止我仍然不知道为何浏览器发出的http request不能被识别^_^。

Squid这个http代理功能十分强大，本身就是被很多企业作为公司级http代理的工具的。其配置参考足足可以写成一本厚厚的书（市面上已经有这种书），还好我的场景用不到那些稀奇古怪的配置，目前这种状态足矣！

2011·读过的书

十二月 22, 2011

2 条评论

2011年我的确读了不少书，掐指算来纸版和电子版加在一起近50本，其中以技术类居多，但其他方面的也有一些。这里列出来做个简单回顾。

一、技术类
· 《你必须知道的495个C语言问题》
早在这本书出版前，其译者已经在网上完成了C FAQs的翻译(在这里)。这本书是基于最新C FAQs做了重新整理(包含C99)。虽说是最新，但因C语言近几年来变化很小，内容与之前译者在网上公开的那个免费版本相差不多。这本书适应面很广，初学者可以从中了解到很多谭氏教程中没有的东西；有经验的C程序员可以把它当成一本手册，需要时翻看。对于那些很在乎C语言细节的程序员来说，翻看一遍也未尝不可。

· 《The New C Standard – An Economic and Cultural Commentary》
这本书的作者真是牛X的一塌糊涂。整本书居然是对C99规范的逐句解释，而且写成了一部1600多页的大砖头。这本书应该未正式出版，我看的是作者在网上放出的免费电子版。如果你痴迷于C语言规范的细节，这本书是一本不可多得的辅助资料。

· 《C和C++安全编码》
Cert C/C++安全编码经验的浓缩版，读一遍的确可以提高一些编码过程中的安全意识。

· 《Practical Common Lisp》
Peter Seibel编写的一本荣获Jolt大奖的Common Lisp入门书。你在这里可以看到这本书的免费电子版，其中文版名为《实用Common Lisp编程》，现在在我的书架上也躺着一本，我还没抽出时间来看。如果你是Common Lisp初学者，这本书是不二的首选。

· 《ANSI Common Lisp》
Lisp语言的著名吹鼓手Paul Graham的大作，成书于Common Lisp标准化之际，是一本不错的Common Lisp入门的辅助资料。个人认为将《Practical Common Lisp》与此书结合在一起来学习，会加深你对Common Lisp的理解。

· 《Haskell – The Craft of Funcitonal Programming 2nd》
这是一本比《Programming in Haskell》更适合作为函数式编程语言入门的书。书中第一章对函数式编程基本概念的讲解很是到位，并且这本书已经被译成了中文，书名为《Haskell函数程序设计艺术》，在网上可以免费下载到。

· 《Seven Languages in Seven Weeks》
估计大家都见过《21天学会X语言》这样的编程语言教程。21天学会某种编程语言已经有些差强人意了，但这本书更狠 – 书名的直译是"七周学会七门语言"，但显然本书的目标不是这样的。作者的原意是希望读者通过阅读本书了解更多的新兴编程语言以及编程范式，改变编程思维，另外通过本书的阅读可以初步掌握各种语言，并且对语言的掌握程度不仅仅是"Hello World"这一层次。今年年初与其他人合译了此书，也是在那时将这本书通读了一遍。我负责翻译Prolog、Scala和Haskell三个章节。在书中作者将每一门语言比作成一个电影中的人物，使得内容更加生动形象(但翻译起来就没那么容易了^_^)。特别值得一提的是：该书还荣获了今年的Jolt大奖，由此可见业界对该书的认可。

· 《Python参考手册(第四版)》
像Python这样的动态编程语言，一直以极高的开发效率著称，这也是我今年学习和使用Python的一个原因，Python强大的标准库可以帮我快速实现一些想法(buildc就是用Python编写的)。《Python参考手册》这本书并不适合作语言入门之用，里面对语言细节的讲解很少，其内容更多适用于工程参考，包括库函数使用、打包、发布等，这正是当时我所需要的。

· 《持续集成》和《持续交付》
持续集成已经是存在已久的一个最佳实践了。《持续集成》一书对这方面内容做了极其系统的讲解；持续交付将持续集成的概念做了进一步延伸，将软件开发的前段（设计、编码、单元测试）与后段（功能测试、压力测试、发布、部署、验收测试）衔接在一起，形成了一个整体，并通过自动化手段实现了这一概念。在我看来《持续交付》一书更像是一本cookbook，作者将自己实施持续交付过程中采用的方案以及遇到的问题都详实地记录在书中，分享给大家。这本书获得了今年的Jolt技术图书类最高奖，很是值得一读。

· 《深入理解计算机系统 2nd》
本书的第一版是在大学毕业后不久读的，当时真有一种相见恨晚的感觉，读完后战斗力陡增。若干年后第二版的中文版终于出炉了，我又迫不及待地买下，并通读了一遍。这本书究竟咋样，从我豆瓣上给的评语可以看出："如果只允许我为程序员们推荐一本书，那么我会毫不犹豫的将这本csapp推荐给大家。太经典了！"

· 《Binary Hacks》和《Debug Hacks》
讨厌日本人，但有些时候你的确还得向日本人学习，这两本书都是由日本程序员执笔的，而且内容都是有关系统编程以及OS内核编程和调试的，内容比较深，需要你静下心来细心体会，国内程序员往往比较浮躁，愿意做底层技术的很少，坚持下来的就更少了，这方面日本程序员却是我们的典范。有关系统级编程和调试经验和技巧的资料在市面上比较少了，这也凸显了这两本书的价值。

· 《A Bug Hunter's Diary》
这本书只是粗略的浏览了一些，书里的案例实在看不下去，总觉的Debug这事儿只有自己亲手去做才能有所得，就像看《盗墓笔记》一样，看完后你依旧不会倒斗，只有亲自倒一次斗才能学到真本事。

· 《Linux系统编程》
知名Linux内核维护者Robert Love的作品，结合底层原理的机制讲解是本书一大特色，但总体比较平淡，有些地方更像是函数使用手册，建议有经验的程序员快速浏览一遍即可。

· 《Linux系统管理技术手册》
简直就是一本Linux系统管理的大百科全书，内容涵盖各种主流Linux发行版，如RHEL、Debian、OpenSuse、Ubuntu等，极其适合放在抽屉里随时翻阅，我就是这么做的。

· 《Pragmatic Guide to Git》和《Pro Git》
前者适合Git入门，后者适合Git进阶。一个版本控制工具，没有什么好说的。对于Git学习的建议是：要领悟Git背后的思想，另外不要将Git命令的含义与svn等传统版本控制工具的命令混淆，Git命令需全新认知。

· 《软件研发之道》
典型的"新瓶装老酒"，该书早在N年前就出过一中译版，名为《微软团队 – 成功秘诀》。如果你看过后者，你大可不必购买此书。不过如果你没看过这本书，那么还是建议看看，虽说书中讲的是微软当年Visual C++团队的事情，但读后你会发现其中的思想至今仍极具价值。

· 《编程之道》
这是一本奇书，一本悬在空中的书，全书通读完后，你可能依然不知作者所云，但你的内心却已被作者的思想洗礼。

· 《编程匠艺》
如果你认为《代码大全2nd》是好书，那么你也会喜欢这本书，它们是一类的。

· 《大话设计模式》
这类书的目标都是意图将晦涩难懂的《Design Pattern》一书通俗化。但一般看这类书的时候，身旁还要放上一本《Design Pattern》，随时翻阅查证。今年在考量用C实现Pattern时顺便读完了这本书，总体来说算是国内讲解DP比较优秀的一本了。

· 《企业应用架构模式》
Martin Fowler在2003年的作品，也是当年Jolt效率大奖获得者。当时也是企业应用架构蓬勃发展的时期 – J2EE大行其道，轻量级框架方兴未艾。作者将当时进行企业应用架构设计一些经验模式进行了详尽的总结并写成此书。在企业应用设计方面，我了解甚少，这也是今年阅读此书的一个主要原因。

· 《走出软件作坊》
为数不多的国内IT企业技术管理者的经验之谈，很多人在书中会找到自己的影子。

· 《黑客与画家》
Paul Graham的又一部大作，与之前的那本不同，这本更像是Paul的散文集，看完后是否能受益，全看你的悟性了。

· 《构建高性能Web站点》
我不是搞Web开发的，但此书前三章对Web站点性能影响因素的分析还是让我受益匪浅的。

· 《程序设计语言原理》
从China-pub淘来的一本特价书，但读了之后我感觉即使是原价买来也是很划算的。

· 《程序开发心理学》
温伯格的经典之作。由于原著成书较早，经过几十年很多思想其实早已经通过其他渠道灌输到我们的大脑中了，但越是这样我们越是惊叹于温大牛惊人的预见力。要知道这本书最早成书于1971年。

· 《算法技术手册》
今年读的唯一算法类书籍，这本书不像《算法导论》那样钻理论牛角尖，也不像《程序员实用算法》那样着重于算法的实现，它旨在赋予你精确选择算法的能力，以帮助你精确高效地解决面临的问题。

二、社科类
· 《赢》
杰克.韦尔奇退休后的总结之作。记得上次陪LP参加桩考，我用了大半天时间在我的Bambook上把这本书浏览了一遍。不过在我这个层次上尚无法理解杰克全部之言。这本书对于不同层次的人会有不同的价值。它就是那种需要你在不同时期反复多次阅读的一本书。也许若干年后再读此书，我会有更深刻的认识。

· 《浪潮之巅》
今年我读到的最震撼之作。之前吴军在Google黑板报上连载时我并未太过在意，这次系统地通读一遍后，让我眼界大开，从书中学到了许多，同时也激发我想到了许多。

· 《搞定: 无压工作的艺术》(Getting Things Done的中译版)和《时间管理：小强升职记》
前者是GTD时间管理理论的源头，后者则是国内GTD牛人的经验之作。时间管理是今年我的一个重点改进目标，这两本书给了我很大帮助。

· 《哪来的天才》
这本书向我们阐述了一个观点：刻意练习是天才的一个必要条件。如果你不认同，那么打开这本书，慢慢看吧。

· 《把时间当作朋友》
原新东方英语教师李笑来的作品，很难想象他这样的职业能写出这种题材的书。

· 《重来》
来自一个创业公司创业者们的颠覆性观点。

· 《少有人走的路》
感觉没有外界宣传的那么好，也许我还没有悟到。

· 《卓有成效的管理者》
管理学大师的作品总是值得一读的，虽然你很可能已经从其他场合学到过其中的思想。

三、传记类
· 《活着就为改变世界》和《史蒂夫·乔布斯传》
看《活着就为改变世界》时，乔布斯还活着；后来乔布斯去逝了，我拿到了《史蒂夫·乔布斯传》。感谢京东的促销活动，让我以超低的价格买到乔帮主留给世人的这最后的礼物。两本书都告诉我一个事实：乔布斯的确与众不同，但讨厌他、憎恨他的人也大有人在。

· 《世界因你不同》
以前看过李开复的《做最好的自己》，对李开复有些了解，所以读这本传记时也就走马观花了。

· 《留德十年》和《牛棚杂忆》
一直很想知道季羡林为何被称为国学大师，通过回忆录是了解这个大师的一个很好的途径。

四、小说类

· 《盗墓笔记系列》
这类题材的书籍总是吸引人的眼球，就如作者所说的“盗墓代表着人类一种最原始的欲望，求得财富和探询死亡，这种刺激，恐怕是人就无法避免的"。不能去倒斗，看看别人如何倒斗也能满足一些欲望^_^。

· 《三体》
慕名而读，名不虚传。作者超凡的想象力让人不能不折服，至少第一部是如此。

· 《高地》
今年看的唯一一部军旅题材小说，在部门旅游来回的途中把这部小说看完，情节跌宕，情感细腻，值得一看。

五、其他类
· 《准备去美国读书》
为了了解美国教育是什么样子的，从图书馆借阅的，如果你和我有同样的目的，这本书还是可以满足需求的。

· 《实用IT英语》
简直就是为IT人士量身定做的外语书，着重培养"英语思维"的形成，感觉书的内容也比较新颖。

很多朋友可能会问：工作这么忙，家庭生活琐事那么多，哪里还有什么时间读书呢？我又何尝不忙呢，每天8小时工作，周末还要陪果果。这里的关键还是要有坚定的读书信念，养成良好读书习惯，就好比一日三餐那样，非读不可。另外还要不断提高读书效率，充分利用零散的时间。现在市面上电纸书(比如kindle、bambook)越来越成熟，便携性也越来越好，你可以把坐车、等车以及闲暇休息这些零散时间充分利用起来，一年下来你挤出来的时间也是惊人的。