自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

西代零零发

既然选择远方,便只顾风雨兼程

原创 并发计算模型BSP与SEDA

1    BSP批量同步并行计算BSP(Bulk Synchronous Parallel)批量同步并行计算用来解决并发编程难的问题。名字听起来有点矛盾,又是同步又是并行的。因为计算被分组成一个个超步(super-step),超步内并行计算并且结点间不能通信。在超步之间设置同步栅栏(barrier...

2014-11-30 21:42:37

阅读数 3037

评论数 0

原创 Google Dremel数据模型详解(上)

首先简单介绍一下Dremel是什么,能解决什么问题。第二部分着重讲Dremel的数据模型,即数据结构。第三部分将谈一下在此数据结构上设计的算法。1 起源Dremel的数据模型起源于分布式系统的应用环境(Protocol Buffers,一种在Google内广泛使用,现已开源的实现)。其数据模型是基...

2014-11-30 21:33:07

阅读数 7928

评论数 1

原创 开发环境搭建中的网络代理问题

有时在网络受限的情况下,我们需要通过网络代理才能连接到网络,这就给我们的搭建开发环境带来很大麻烦。这里对各种软件的网络代理设置方法进行汇总,留作备忘。1 IE代理设置通过控制面板或者IE浏览器的选项打开“Internet选项”界面。注意:但很多程序都不会走IE里设置的代理,所以还要单独设置。 2 ...

2014-11-27 20:29:36

阅读数 18039

评论数 6

原创 分布式内存文件系统Tachyon

UCBerkeley研发的Tachyon(超光子['tækiːˌɒn],名字要不要这么太嚣张啊:)是一款为各种集群并发计算框架提供内存数据管理的平台,也可以说是一种内存式的文件系统吧。如下图,它就处于这样一个层次:在现有存储系统如HDFS之上,在Spark,MapReduce,Impala等各种计...

2014-11-27 20:22:27

阅读数 8929

评论数 3

原创 Spark发展现状与战线

前言现今Spark正是风头正劲时,Spark本是UCBerkeley的AMPLab诞生的项目,后来捐赠给了Apache来管理源码和后续发展。今年从Apache孵化器终于孵化出了1.0版本。其对大数据的支持从内存计算和流处理,到交互式查询,一直到图计算和机器学习,可谓摆开了架势、拉长了战线,一方面挑...

2014-11-27 20:15:46

阅读数 6596

评论数 0

原创 Spark分布式计算和RDD模型研究

1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语,使用户不用操心任务分发和错误容忍,非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持,使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性...

2014-11-22 14:54:47

阅读数 18051

评论数 6

原创 LMAX高并发系统架构

很早就看到过MF的这篇The LMAX Architecture,可是之前一来英文水平不够,二来确实看不懂… 今天有幸再次看到,一口气读完终于有所领悟。1 Overall ArchitectureLMAX是一个新的金融交易平台。系统完全构建于JVM之上,却能在一个单线程上每秒处理6m的订单(其实是...

2014-11-22 14:45:03

阅读数 8715

评论数 1

原创 分布式缓存GemFire架构介绍

1什么是GemFireGemFire是一个位于应用集群和后端数据源之间的高性能、分布式的操作数据(operational data)管理基础架构。它提供了低延迟、高吞吐量的数据共享和事件分发。GemFire充分利用网络中的内存和磁盘资源,形成一个实时的数据网格(data fabric or gri...

2014-11-22 14:36:29

阅读数 37964

评论数 16

原创 巨星陨落 - Jim Gary

偶然在微软Research中搜论文时搜到了神牛Jim Gary的paper,看着照片有点眼熟,貌似在买过的哪本书中见过。于是就饶有兴致地看着Jim的生平介绍,结果… “Dr. Gray joinedMicrosoft in 1995 as a Technical Fellow, researche...

2014-11-16 20:24:32

阅读数 5334

评论数 0

原创 实时处理与流处理

前言:作为一个程序员,总是能不时地听到各种新技术名词,大数据、云计算、实时处理、流式处理、内存计算… 但当我们听到这些时髦的名词时他们到底是在说什么?偶然搜到一个不错的帖子,就总结一下实时处理和流式处理的区别吧。正文:要说实时处理就得先提一下实时系统(Real-timeSystem)。所谓实时系统...

2014-11-15 09:52:28

阅读数 13851

评论数 0

原创 几张图看懂列式存储

最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念。1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行...

2014-11-15 09:50:18

阅读数 49323

评论数 25

原创 Storm 0.9安装指南

Storm 0.9.2安装指南0 Storm0.9的亮点引用网上的描述:“Storm 0.9.0.1版本的第一亮点是引入了netty transport。Storm网络传输机制实现可插拔形式,当前包含两种方式:原来的0mq传输,以及新的netty实现;在早期版本中(0.9.x之前的版本),Stor...

2014-11-15 09:43:28

阅读数 7016

评论数 1

提示
确定要删除当前文章?
取消 删除