钱柜娱乐开户  >  云计算/大数据   >  hadoop深入研究

hadoop深入研究

对hadoop运行原理及开发api进行深入的学习研究,更象是学习笔记。

关注
355 已关注
20篇博文
  • win7下hadoop安装配置注意事项

    在win7下安装hadoop和其他windows平台有很多不同,通用的步骤就不重复了,把遇到的问题总结一下给大家参考,以免走弯路。 说起来很简单只需要注意几步,千万不要按教程来。1.chown SYS...

    2012-11-05 12:29
    12259
  • intellij IDEA下远程调试hadoop

    转载请注明出处,来源地址:/lastsweetop/article/details/89645201.前言Google I/O 2013开发者大会上被andro...

    2013-05-23 12:30
    24772
  • hadoop深入研究:(十四)——Avro简介

    转载请写明来源地址:所有源码在github上,https://github.com/lastsweetop/styhadoop

    2013-07-30 11:58
    7878
  • hadoop深入研究:(十五)——Avro Schemas

    转载请写明来源地址:/lastsweetop/article/details/9448961所有源码在github上,https://github.com/la...

    2013-08-05 19:39
    7177
  • hadoop深入研究:(十六)——Avro序列化与反序列化

    转载请写明来源地址:/lastsweetop/article/details/9664233所有源码在github上,https://github.com/la...

    2013-08-06 15:33
    19366
  • hadoop深入研究:(十七)——Avro Datafile

    转载请写明来源地址:/lastsweetop/article/details/9773233所有源码在github上,https://github.com/la...

    2013-08-09 16:48
    7570
  • hadoop深入研究:(十八)——Avro schema兼容

    转载请写明来源地址:/lastsweetop/article/details/9817999所有源码在github上,https://github.com/la...

    2013-08-23 15:19
    8510
  • hadoop深入研究:(十三)——序列化框架

    转载请写明来源地址:/lastsweetop/article/details/9360075所有源码在github上,https://github.com/la...

    2013-07-22 21:36
    7167
  • hadoop深入研究:(十二)——自定义Writable

    hadoop虽然已经实现了一些非常有用的Writable,而且你可以使用他们的组合做很多事情,但是如果你想构造一些更加复杂的结果,你可以自定义Writable来达到你的目的,我们以注释的方式对自定义W...

    2013-07-18 19:19
    14792
  • hadoop深入研究:(十一)——序列化与Writable实现

    转载请写明来源地址:所有源码在github上,https://github.com/lastsweetop/styhadoop简介在hadoop中,Writable的实现类是个庞大的家族,我们在这里简...

    2013-07-17 12:03
    14802
  • hadoop深入研究:(十)——序列化与Writable接口

    序列化和反序列化就是结构化对象和字节流之间的转换,主要用在内部进程的通讯和持久化存储方面。hadoop自身的序列化存储格式就是实现了Writable接口的类,他只实现了前面两点,压缩和快速。但是不容易...

    2013-07-05 01:41
    13783
  • hadoop深入研究:(九)——mapreduce中的压缩

    转载请注明出处:/lastsweetop/article/details/9187721作为输入 当压缩文件做为mapreduce的输入时,mapreduce将...

    2013-06-28 09:20
    12825
  • hadoop深入研究:(八)——codec

    转载请注明出处:/lastsweetop/article/details/9173061所有源码在github上,https://github.com/last...

    2013-06-27 12:09
    10626
  • hadoop深入研究:(七)——压缩

    转载请标明出处:hadoop深入研究:(七)——压缩文件压缩主要有两个好处,一是减少了存储文件所占空间,另一个就是为数据传输提速。在hadoop大数据的背景下,这两点尤为重要,那么我现在就先来了解下h...

    2013-06-24 16:27
    10288
  • hadoop深入研究:(六)——HDFS数据完整性

    转载请注明出处:hadoop深入研究:(六)——HDFS数据完整性数据完整性 IO操作过程中难免会出现数据丢失或脏数据,数据传输得量越大出错得几率越高。校验错误最常用得办法就是传输前计算一个校验和,传...

    2013-06-24 11:52
    10033
  • hadoop深入研究:(五)——Archives

    转载请注明来源地址:/lastsweetop/article/details/9123155简介我们在hadoop深入研究:(一)——hdfs介绍里已讲过,hd...

    2013-06-21 17:16
    10102
  • hadoop深入研究:(四)——distcp

    转载请注明出处:/lastsweetop/article/details/9086695 我们前几篇文章讲的都是单线程的操作,如果要并行拷贝很多文件,hadoo...

    2013-06-18 17:46
    11178
  • hadoop深入研究:(三)——hdfs数据流

    以下几个小节并补独立,都是相辅相成的,要结合来看,你就会发现很多有趣的地方。转载请注明来源地址:/lastsweetop/article/details/906...

    2013-06-12 17:38
    11824
  • hadoop深入研究:(二)——java访问hdfs

    转载请注明出处,/lastsweetop/article/details/9001467所有源码在github上,https://github.com/last...

    2013-06-03 21:28
    16473
  • hadoop深入研究:(一)——hdfs介绍

    转载请注明出处:/lastsweetop/article/details/8992505hdfs设计原则1.非常大的文件:这里的非常大是指几百MB,GB,TB....

    2013-05-31 15:31
    13080
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部