D.E.Shaw才是计算化学领域的人生赢家!

计算化学哪些技术被称为是黑科技?

计算化学其实是一门有着悠久历史的研究领域,自一九二零年代量子力学理论建立以来,许多科学家曾尝试以各种数值计算方法来深入了解原子与分子之各种化学性质。然而在数值计算机广泛使用之前,此类的计算由于其复杂性而只能应用在简单的系统与高度简化的理论模型之中。

既然谈到计算化学领域中那些黑科技,那我们就不能不提D.E.Shaw Research这个奇异的存在。

不过要讲这个黑科技,我们可能要扯远一点,先讲讲D.E. Shaw这个人是怎么学术赚钱通吃,成为彻底的人生赢家!

D.E.Shaw是个学霸,是PhD们的偶像:斯坦福大学计算机专业的博士, 30岁不到就进入哥伦比亚大学做教授,专门研究超大规模并行计算。这已经是优秀的学术人生了。

但是Shaw觉得无聊。哥伦比亚大学地处纽约,遍地暴发的对冲基金男各种花天酒地,游嬉于各种model之间,作为一个同样聪明的教授,却只能坐在冷板凳上写计算机model。虽然在科学家眼里,后者甚至还要更性感一些,但是时间长了也……扯远了,总之,Shaw不干了。

于是他1986年放弃了钻牛角尖的教授生涯,进入华尔街著名投行摩根斯坦利做量化交易(quant trading)——可以通俗地理解为用计算机自动炒股、债和外汇。

果然, 呆博士不是搞政治斗争的料子,在摩根斯坦利这种钱多是非多、政治斗争和技术斗争同样激烈的地方,仅仅2年之后他就在政治斗争中失败,被迫离开摩根斯坦利(欢迎quant trading方面的达人来八卦补全这一段故事)。但是这厮本来就不是池中物,同年,他就开办了自己的对冲基金D.E. Shaw & Co. LP.,专注quant trading,利用高速计算机网络和市场瞬间的有效性缺陷来进行高频统计套利。

和今天高频交易(是指从那些人们无法利用的极为短暂的市场变化中寻求获利的计算机化交易)人满为患的情况不同:当时计算机很破,内存上兆的就是中型服务器了,计算机语言和组件也比较晦涩,不像今天这么普及和丰富,不会冒出来个12岁少年就能写一个网站编一个游戏,然后对着80后的老头子们说你们不行之类的。因此,能掌握高速网络编程和大型并行计算的人,除了能算弹道和模拟核爆之外,还能成为第一批做高频交易的人,干的事情基本就是无风险套利——利用市场无效性,剪市场的羊毛,赚钱的速度仅仅取决于你能剪多快。

作为专门研究超大规模并行计算的顶级专家的Shaw,率先杀入高频交易,完全是“流氓会武术,谁也挡不住”,剪羊毛速度世界一流,很快人生进入了新的高峰。到2015年,他的个人净值已经41亿美元(David Shaw - Forbes),杀入全球财富榜前500!

说了这么多,怎么还没有谈到计算化学?你别走,我现在就要说这事了。

David Shaw大叔40出头财务自由,依照常人的想法,自然可以不再写model,而一头扎进纽约的花天酒地,去约会真的model了。但是,正如网络上著名的牛顿生平文章[《牛逼顿》](http://mp.weixin.qq.com/s?__biz=MjM5MDE3OTk2Ng==&mid=404379980&idx=1&sn=f6c7514ecc5ffa34aade25d23ec984fc&scene=21# wechat_redirect)所说:

“出乎世俗想象的是,科学其实远比任何娘们儿都风骚,玩科学比玩女人爽得多,得到一个成果所获得的高潮强烈而持久,不仅有快感,更有巨大的自我认同感,远胜于那几秒寒颤之后无边的空虚与落寞。所以陈景润其实是沉溺于美色不能自拔,身体弱架不住高潮过度被爽死了。”

Geek的基因在身体深处摇撼Shaw大爷功成名就之后的空虚神经。他一个回马枪杀回了科学世界,脱下西装,露出了Geek的本色:

和屌丝geek Sheldon不一样,这是一个破坏力惊人的土豪geek。Shaw现在再也不用跪舔NIH,NSF的官员,去讨一点可怜的科研经费了。他想干什么就干什么、他觉得什么是前沿什么就是前沿。他拿出大规模并行计算的大砍刀,想找一个最需要计算但现今最不给力的领域一刀砍下去。

这里有个背景:计算化学发展了很多年,都处在有点尴尬的位置,说得直白点——计算机还太弱,计算化学用于实际问题中算不准,精度还不如做实验。因此,无论在化学还是生物领域,做计算化学的不管是教授还是PhD,要么选择和实验的组合作,活在鄙视链的下游,要么躲到角落里小富即安地画圈圈。

因此,Shaw的大砍刀就落到了萎靡的计算化学上:他想制造一台专门用于做计算化学的超级计算机,比现有的超级计算机强大几千倍几万倍。

很多人可能要问,现在超级计算机动辄就是几十万个cpu核心什么的,运算能力很强大啊,为什么还要造计算化学的超级计算机呢?

答案是,一般的计算机是很聪明,但是不适合干计算化学这行。学术一点说,是general purpose computing不能高效地来做分子动力学模拟。

打个比方,现在的电脑就仿佛是个全能的机器人,你可以让他去割麦子,做饭,踢球等等。让他去干很多事情,他什么都能干,干得也比人快,确实也很聪明。这就是所谓的通用计算机(general purpose computing):一个机器,写不同的软件,实现各种功能。

但是在割麦子这件事情上,这个全能机器人的速度很难超越专业的大型联合收割机。因为大型联合收割机虽然笨,但是完全为割麦子而生,因此硬件上量身定制,极度优化。这就是所谓的特种计算机(special purpose computing):专业定制机器,软件也是专门定制的,只实现一个功能,但是凶残而高效。

Shaw就是要造一台计算化学中的“大型联合收割机”。这台收割机,叫做Anton

它很贵很贵,但这正是Shaw的优势,反正他不泡妞不包二奶,钱花不完。况且,科研人员其实很便宜。

这里有一个好笑又辛酸的事情:和大众的认识恰好相反,在美国,纯理科博士毕业之后大多数都找不到工作,虽然智商大都不低,但是如果想坚持科研,做博士后的薪水只能勉强维持生活。

而David Shaw横空出世,成为了纽约的孟尝君。他招了一群找不到工作的博士——这些人在经济上可以说是纯粹的屌丝——开出了10万美元一年的工资。

10万美元一年是什么概念呢?这就是投资银行21、2岁小分析员的入门工资+奖金,在华尔街上就是底层,外面穿着西装,里面穿的可是开裆裤。但是对于这帮年届三十的科学屌丝来说,这是他们能找到研究岗位工资的2-3倍,是个做梦都想不到的包养价!

于是一时间最顶尖的计算化学、生物物理、电子工程博士趋之若鹜,纷纷求David Shaw大神包养。

从2004年前后开始,Shaw成立的DE Shaw Research(DESRES)开始正式运营。在David Shaw的精心包养下,30多个失业的博士屌丝们什么也没干,在优雅的环境里,足足读了一年半的论文,搞出了Anton的草图。之后,更多的屌丝加入,全身心专注于Anton的研发。

2007年,比预期还早了快一年,来自五湖四海的屌丝和geek们发布了Anton的第一代。计算化学的最大黑科技诞生了:它比一般的超级计算机快约10,000倍!比最好的超算也快1,000倍。对的。变态的10,000倍,四个零,四个数量级。

那10,000倍是什么意思呢?

计算化学里面,模拟分子运动轨迹的持续时间的长短是非常重要的。用模拟网球比赛来做类比:以前“超级计算机”算了一个月,我们只能模拟出击球的1秒钟的瞬间,而现在Anton出世,我们同样花一个月,就可以模拟整场球赛中网球的轨迹了。

这是前所未有的超算能力,变态的“大型联合收割机”,等于开了上帝视角啊亲。

Anton一代

从2007年起,D.E. Shaw的团队声名鹊起,用这个收割机每年在国际顶尖的学术杂志《自然》《科学》上灌水,学术声誉锐不可当。Anton在手,高枕无忧,仿佛别人在地面用卷尺画地图,他们在天上航拍做地图。现在他们又出了Anton2,继续吊打“过去8年中取得了长足发展的”超级计算机。

也许纯学术派对这种硬拼计算能力的方法表示不屑,但D.E. Shaw和他包养的geek们正用变态的Anton计算机把分子动力学模拟大跨步地推向实用。

有钱就是任性。

关于Anton为什么能算这么快的一些细节,全部在下面这几段话里,总结一下就是:整个MD simulation的硬件计算被拆分成了硬件直接计算和可编程计算两部分,两者都是硬件实现的,速度比软件实现要快万倍。各个node之间通讯也是特殊设计的超高速低延迟网络,不是一般的网络。

To simulate a millisecond within a couple of months,we must complete a time step every few microseconds, or every few thousand clock ticks. The sequential dependence of successive time steps in an MD simulation makes speculation across time steps extremely difficult. Fortunately,specialization offers unique opportunities to accelerate an individual time step using a combination of architectural features that reduce both computational latency and communication latency.

(模拟一个毫秒内几个月,我们必须完成一个时间步每隔几微秒,或每几千钟表的滴答声。连续时间步骤的顺序依赖的MD模拟使投机跨越时间步骤非常困难。幸运的是,专业化提供了独特的机会来加速个体时间步使用的结合建筑功能,减少计算量与通信的延迟。)

For example, we reduced computational latency by designing:

(例如,我们通过设计降低了计算延迟:)

◆Dedicated, specialized hardware datapaths and control logic to evaluate the range-limited interactions and to perform charge spreading and force interpolation. In addition to packing much more computational logic on a chip than is typical of general-purpose architectures, these pipelines use customized precision for each operation.

(专用:专门的硬件数据通道和控制逻辑的评价,仅能评估短程使用的交流和执行插值进行传播和力插值。除了包装计算逻辑芯片上多是典型的通用架构,这些管道使用定制的精度来进行操作。)

◆Specialized, yet programmable, processors to compute bond forces and the FFT and to perform integration. The instruction set architecture (ISA) of these processors is tailored to the calculations they perform. Their programmability provides flexibility to accommodate various force fields and integration algorithms.

(专业:可编程处理器计算债券的力量、快速傅氏变换FFT和执行集成。这些处理器的指令集架构(ISA)是根据他们执行的计算。其可编程性提供了灵活性,以适应各种力场和集成算法。)

◆Dedicated support in the memory subsystem to accumulate forces for each particle.

(专用支持内存子系统为每个粒子积聚力量。)

We reduced communication latency by designing:

(我们减少了设计的通信延迟:)

◆ A low-latency, high-bandwidth network, both within an ASIC and between ASICs, that includes specialized routing support for common MD communication patterns such as multicast and compressed transfers of sparse data structures.

(一个低延迟、高带宽网络,在一个ASIC和ASICs之间,其中包括专门的路由支持多播等常见的医学沟通模式和稀疏数据的压缩传输结构。)

◆Support for choreographed “push”-based communication. Producers send results to consumers without the consumers having to request the data beforehand.

(支持精心设计的“推”的交流。生产者向消费者发送结果没有消费者不必事先请求数据。)

◆ A set of autonomous direct memory access (DMA) engines that offload communication tasks from the computational units, allowing greater overlap of communication and computation. l Admission control features that prioritize packets carrying certain algorithm-specific data types.

(一组自动化的直接内存存取(DMA)引擎,将通信任务的计算单位,允许去给更大的重叠的通信和计算,以及那些控制功能优先级数据包携带某些algorithm-specific数据类型。)

via:Sullivan Zheng(知乎)

犹记得1998年的诺贝尔化学奖颁给对计算化学有卓越贡献的Walter KohnJohn Pople。这是对计算化学领域的一大肯定,也显示了计算化学在现当今化学研究中的重要性。计算化学不仅已成为一个重要的化学学门,它更已经是国际间化学基础研究的必备工具。现如今,由于国内在这方面的起步较晚,研究人才虽然不算少,然而受到重视的程度仍有待加强!
shaw, 计算, 化学, 计算机

原文发布于宽客论坛,点击阅读原文

风险提示及免责条款

市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击下方“内容举报”进行投诉反馈!
立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部