生活, 网
liaobinxu · 共 24 篇文章
学习 Hadoop 源代码分析(一零)
学习 Hadoop 源代码分析(一零) 在继续分析DataNode之前,我们有必要看一下系统的工作状态。启动HDFS的 时候,我们可以选择以下启动参数: 启动选项枚举 StartupOption FORMAT ("-format"):格式化系统 REGULAR ("-regular"):正常启动 BACKUP ("-backup"):备份 CHECKPOINT("-checkpoint"):检查点 UPGRADE ("-upgrade"):升级 ROLLBACK("-rollback"):回滚 FINALIZE("-finalize"):提交 IMPORT ("-importCheckpoi…
2011-10-12T23:05:12Z · 企业架构 · 评论(0)
hadoop的hdfs的namnode源码分析(一)
RandomAccessFile 此类的实例支持对随机访问文件的读取和写入。随机访问文件的行为类似存储在文件系统中的一个大型 byte 数组。存在指向该隐含数组的光标或索引,称为文件指针;输入操作从文件指针开始读取字节,并随着对字节的读取而前移此文件指针。如果随机访问文件以读取/写入模式创建,则输出操作也可用;输出操作从文件指针开始写入字节,并随着对字节的写入而前移此文件指针。写入隐含数组的当前末尾之后的输出操作导致该数组扩展。该文件指针可以通过 getFilePointer 方法读取,并通过 seek 方法设置。 通常,如果此类中的所有读取例程在读取所需数量的字节之前已到达文件末尾,则抛出…
2011-10-09T22:22:12Z · 企业架构 · 评论(0)
Steve Jobs 1955-2011
Steve Jobs 1955-2011 Apple has lost visionary and creative genius , and the world has lost an amazing human being. Those of us who have been fortunate enough to know and work with Steve have lost a dear friend and an inspiring mentor. Steve leaves behind a company that only he could have built, and…
2011-10-06T09:40:36Z · 非技术 · 评论(0)
DFSConfigKeys分布式文件参数
/** * This class contains constants for configuration keys used * in hdfs. * */ @InterfaceAudience.Private public class DFSConfigKeys extends CommonConfigurationKeys { public static final String DFS_BLOCK_SIZE_KEY = "dfs.blocksize"; public static final long DFS_BLOCK_SIZE_DEFAULT = 64*1024*1024; pu…
2011-09-20T23:38:38Z · 企业架构 · 评论(0)
linux 安装二进制编辑器
http://bvi.sourceforge.net/install.html The bvi is a display-oriented editor for binary files, based on the vi texteditor. If you are familiar with vi , just start the editor and begin to edit! A bmore program is also included in the package. If you never heard about vi , maybe bvi is not the best …
2011-09-20T10:24:40Z · 操作系统 · 评论(0)
facebook开源数据中心和服务器
关于图标的细说 圆圈分4层,代表数据的分布; 第1层向里,收集数据; 第2、3层逆时针、顺时针代表在数据中中计算;第4层向外对提供数据服务。每层有24个箭头组成,代表24小时不停地服务,这是开源人的期望和理想。 连接地址: http://opencompute.org/
2011-04-09T09:54:23Z · 行业应用 · 评论(0)
hadoop 源码
【转】Hadoop源代码分析(一) 经济不行啦,只好潜心研究技术。 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster: http://research.google.com/archive/googlecluster.html Chubby:http://labs.google.com/papers/chubby.html GFS:http://labs.google.com/papers/gfs.html BigTable:http://labs.google.com/papers/bigtable.html…
2010-12-26T23:05:17Z · 企业架构 · 评论(0)
JAVA NIO 简介
【转】 JAVA NIO 简介 1. 基本 概念 IO 是主存和外部设备 ( 硬盘、终端和网络等 ) 拷贝数据的过程。 IO 是操作系统的底层功能实现,底层通过 I/O 指令进行完成。 所有语言运行时系统提供执行 I/O 较高级别的工具。 (c 的 printf scanf,java 的面向对象封装 ) 2. Java 标准 io 回顾 Java 标准 IO 类库是 io 面向对象的一种抽象。基于本地方法的底层实现,我们无须关注底层实现。 InputStream\OutputStream( 字节流 ) :一次传送一个字节。 Reader\Writer( 字符流 ) :一次一个字符。 3. n…
2010-12-26T10:27:47Z · 编程语言 · 评论(0)
java反射机制与动态代理
java反射机制与动态代理 1 java反射机制:运行时的类信息 Class类与java.lang.reflect类库一起对反射概念进行了支持,该类库包含了Field,Method以及Constructor类。这些类型的对象是由JVM在运行时创建的,用以表示未知类里对应的成员。这样就可以使用Constructor创建新的对象,用get()与set()方法读取与修改与Field对象相关的字段,用invoke()方法调用与Method对象相关的方法等等。 2 动态代理: 代理模式:为了提供额外的或不同的操作,而插入的用来代替“实际”对象。这些操作通常涉及与“实际”对象的通讯,因此代理通常充当着中…
2010-12-26T10:25:11Z · 编程语言 · 评论(0)
Hadoop里的RPC机制过程
Hadoop里的RPC机制过程 已经有文章描述RPC的具体结构,http://caibinbupt.iteye.com/blog/280790,这篇文章很清晰的描述了Client和Server的结构,但是较为高屋建瓴,我在看的时候依然觉得无法清晰理解其调用过程,所以将过程整理出来,知道how,才容易理解why,即知道是怎么干的,才容易理解为什么会那么去设计。 客户端C要发起向服务端S的关于方法M调用 1. C首先创建一个通向S的连接getConnection,然后将此次调用放入CallList里,这样客户端就可以同时发生很多调用,每个调用用ID来识别。 2. 发送调用参数。调用参数是Clie…
2010-12-25T20:42:46Z · 企业架构 · 评论(0)
Hadoop MapReduce 概念和基础
Hadoop MapReduce 逻辑代码 public class NewMaxTemperature { public static final int CONST_INT_ZERO = 0; public static final int CONST_INT_ONE = 1; //【关键代码】Mapper类继承 Mapper类 static class NewMaxTemperatureMapper extends Mapper{ //【关键代码】覆盖父类Mapper的map(LongWritable, Text, Context)方法 @Override protected void…
2010-12-18T02:02:32Z · 编程语言 · 评论(0)
DSL-SQL源码分析
第一次分析源代码,不太会描述,部分文字摘自 在CLR之上的构建领域特定语言 http://www.infoq.com/cn/articles/internal-dsls-java 针对特定域语言(DSL)的定义问题,提出了一种基于对象的语言构造方法,该方法将特定域语言语义划分为领域相关语义和领域无关语义,针对领域相关语义,采用对象将其封装,并通过视图对象和模型对象分别完成领域相关语义的定义与解释;针对领域无关语义,利用现有语言开发工具,直接定义并生成语言基本特性的解释模块,最后将对象和语言基本特性相集成,从而完成DSL的定义与实现.采用基于对象的构造方法可迅速地定义DSL,且具有较强的扩展性…
2009-11-29T20:49:25Z · 评论(1)
equals,hashcode,toString
今天看到一个关于equals,hashcode,toString方法的类型下面是关于具体实现 @Override public boolean equals(Object o) { if (this == o) return true; if (o == null || getClass() != o.getClass()) return false; //使用<?>表示运行时才知道类型 DBObject<?> dbObject = (DBObject<?>) o; //在if()中使用'?:',!equal和!=配套使代码简洁 if (alias != null ? !alias.equa…
2009-11-26T22:39:28Z · 编程语言 · 评论(0)
排序算法
排序方法 包括方法是插入排序,归并排序,通用排序,快速排序,第K大元素查找 1.0插入排序 老师在返回试卷给学生之前会,把试卷按学生的名字的字母顺序排序,现在老师要排序的学生的卷子有:Monroe,chin,Flores,Stein,Dare 如图 1.1插入原理 假定n是数组arr的长度.排序关系假定第一个元素被放置到其正确的位置上, 这样需要从1到n-1方位内的n-1个遍对剩余元素进行排序. 对于通用的遍i来说,从0到i-1范围内的元素已i的子列表之内的正确位置上.将arr[i]复制为一个名为target的临时元素.向下扫描列表,比较这个目标值与项arr[i-1],arr[i-2],依次…
2009-10-28T23:27:50Z · 评论(0)
递归算法
什么是递归? 递归是一个重要的概念。我们在开发中排序方法以及定义和少秒线性数据结构的主干部分使用递归。递归运用在运筹学模型、博弈论以及图的研究中。 递归运用到什么方面? 一个计算机文件系统由拥有的文件和其他目录(名为子目录)的根组成。到你需要复制一个文件夹的内容到你的移动硬盘的时候。程序首先会把根目录下面的文件复制到移动硬盘中,然后在继续前进到子目录。针对每一个子目录, 再次重复同样的处理过程: 复制文件并移动到子目录(也就是根下面的子目录)。最终,你会在子目录层次结构中一直向下前进到只存在文件位置,此时复制完成。 文件夹复制是一个递归过程, 这是因为它涉及的一个过程会产生一个具有相同动作的…
2009-10-13T10:16:35Z · 编程语言 · 评论(2)