`
liaobinxu
  • 浏览: 42210 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
学习 Hadoop 源代码分析(一零) 在继续分析DataNode之前,我们有必要看一下系统的工作状态。启动HDFS的 时候,我们可以选择以下启动参数: 启动选项枚举 StartupOption    FORMAT  ("-format"):格式化系统    REGULAR ("-regular"):正常启动    BACKUP  ("-backup"):备份    CHECKPOINT("-checkpoint"):检查点    UPGRADE ("-upgrade" ...
RandomAccessFile 此类的实例支持对随机访问文件的读取和写入。随机访问文件的行为类似存储在文件系统中的一个大型 byte 数组。存在指向该隐含数组的光标或索引,称为文件指针;输入操作从文件指针开始读取字节,并随着对字 ...
Steve Jobs 1955-2011 Apple has lost visionary and creative genius , and the world has lost an amazing human being. Those of us who have been fortunate enough to know and work with Steve have lost a dear friend and an inspiring mentor. Steve leaves behind a company that only he could have built ...
/**  * This class contains constants for configuration keys used  * in hdfs.  *  */ @InterfaceAudience.Private public class DFSConfigKeys extends CommonConfigurationKeys {   public static final String  DFS_BLOCK_SIZE_KEY = "dfs.blocksize";   public static final long    DFS_BLOCK_SI ...
http://bvi.sourceforge.net/install.html   The bvi is a display-oriented editor for binary files, based on the vi texteditor. If you are familiar with vi , just start the editor and begin to edit! A bmore program is also included in the package. If you never heard about vi , maybe bvi ...
关于图标的细说  圆圈分4层,代表数据的分布; 第1层向里,收集数据; 第2、3层逆时针、顺时针代表在数据中中计算;第4层向外对提供数据服务。每层有24个箭头组成,代表24小时不停地服务,这是开源人的期望和理想。   连接地址: http://opencompute.org/
【转】Hadoop源代码分析(一)经济不行啦,只好潜心研究技术。 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster: http://research.google.com/archive/googlecluster.html Chubby:http://labs.google.com/papers/chubby.html GFS:http://labs.google.com/papers/gfs.html BigTable:http://labs.google.com/papers/bigtable.html Ma ...
【转】JAVA NIO 简介 1.   基本 概念 IO 是主存和外部设备 ( 硬盘、终端和网络等 ) 拷贝数据的过程。 IO 是操作系统的底层功能实现,底层通过 I/O 指令进行完成。 所有语言运行时系统提供执行 I/O 较高级别的工具。 (c 
java反射机制与动态代理 1 java反射机制:运行时的类信息 Class类与java.lang.reflect类库一起对反射概念进行了支持,该类库包含了Field,Method以及Constructor类。这些类型的对象是由JVM在运行时创建的,用以表示未知类里对应的成员。这样就可以使用Constructor创建新的对象,用get()与set()方法读取与修改与Field对象相关的字段,用invoke()方法调用与Method对象相关的方法等等。   2 动态代理: 代理模式:为了提供额外的或不同的操作,而插入的用来代替“实际”对象。这些操作通常涉及与“实际”对象的通讯,因此代 ...
Hadoop里的RPC机制过程   已经有文章描述RPC的具体结构,http://caibinbupt.iteye.com/blog/280790,这篇文章很清晰的描述了Client和Server的结构,但是较为高屋建瓴,我在看的时候依然觉得无法清晰理解其调用过程,所以将过程整理出来,知道how,才容易理解why,即知道是怎么干的,才容易理解为什么会那么去设计。客户端C要发起向服务端S的关于方法M调用1. C首先创建一个通向S的连接getConnection,然后将此次调用放入CallList里,这样客户端就可以同时发生很多调用,每个调用用ID来识别。2. 发送调用参数。调用参数是Clien ...
Hadoop MapReduce 逻辑代码 public class NewMaxTemperature { public static final int CONST_INT_ZERO = 0; public static final int CONST_INT_ONE = 1; //【关键代码】Mapper类继承 Mapper类 static class NewMaxTemperatureMapper extends Mapper{ //【关键代码】覆盖父类Mapper的map(LongWritable, Text, Con ...
第一次分析源代码,不太会描述,部分文字摘自 在CLR之上的构建领域特定语言 http://www.infoq.com/cn/articles/internal-dsls-java 针对特定域语言(DSL)的定义问题,提出了一种基于对象的语言构造方法,该方法将特定域语言语义划分为领域相关语 ...
今天看到一个关于equals,hashcode,toString方法的类型下面是关于具体实现 @Override public boolean equals(Object o) { if (this == o) return true; if (o == null || getClass() != o.getClass()) return false; //使用<?>表示运行时才知道类型 DBObject<?> dbObject = (DBObject<?>) o; //在if()中使用'?:',! ...
排序方法 包括方法是插入排序,归并排序,通用排序,快速排序,第K大元素查找 1.0插入排序 老师在返回试卷给学生之前会,把试卷按学生的名字的字母顺序排序,现在老师要排序的学生的卷子有:Monroe,chin,Flores,Stein,Dare 如图 1.1插入原理 引用假定n是数组arr的长度.排序关系假定第一个元素被放置到其正确的位置上, 这样需要从1到n-1方位内的n-1个遍对剩余元素进行排序. 对于通用的遍i来说,从0到i-1范围内的元素已i的子列表之内的正确位置上.将arr[i]复制为一个名为target的临时元素.向下扫描列表,比较这个目标值与项arr[i-1],arr[i-2], ...
什么是递归?    递归是一个重要的概念。我们在开发中排序方法以及定义和少秒线性数据结构的主干部分使用递归。递归运用在运筹学模型、博弈论以及图的研究中。 递归运用到什么方面?    一个计算机文件系统由拥有的文件和其他目录(名为子目录)的根组成。到你需要复制一个文件夹的内容到你的移动硬盘的时候。程序首先会把根目录下面的文件复制到移动硬盘中,然后在继续前进到子目录。针对每一个子目录, 再次重复同样的处理过程: 复制文件并移动到子目录(也就是根下面的子目录)。最终,你会在子目录层次结构中一直向下前进到只存在文件位置,此时复制完成。 文件夹复制是一个递归过程, 这是因为它涉及的一个过程会产生一个具有 ...
Global site tag (gtag.js) - Google Analytics