当前搜索:

大数据(三十八)机器学习【机器学习语言---R语言小试牛刀】

安装完R语言和RStudio后,我们便可以开始小试牛刀了。 一、打开RStudio 打开后如下图所示 我们现在桌面建文件夹r_workspace,再按下图所示将工作空间切换至桌面r_workspace下 二、R数据介绍 R语言数据结构(6种): • 向量      R...
阅读(175) 评论(0)

大数据(三十七)机器学习【机器学习语言---R语言介绍】

特点介绍     • 主要用于统计分析、绘图、数据挖掘     • R内置多种统计学及数字分析功能。R的功能也可以通过安装包(Packages,用户撰写的功能)增强。     • 因为S的血缘,R比其他统计学或数学专用的编程语言有更强的面向对象(面向对象程序设计)功能。 其他介绍     • R...
阅读(152) 评论(0)

大数据(三十七)机器学习【机器学习语言】

一、R语言是第一代机器学习工具,其优势如下         1、因为R语言是统计学家发明的语言,然后封装了很多的数学公式         2、R语言有很多第三方的包,算法的包,画图的包         但是当数据量过大时候,R语言就显得很吃力了。当数据量过大时候我们就开始用Mahout。 ...
阅读(80) 评论(0)

大数据(三十六)机器学习【相关概念】

说到机器学习,不由得将其和我们的大脑进行类别:         我们大脑依据经验来做判断;      机器学习依据数据来做判断。      机器学习的本质:      通过大量的数据训练出一个模型,然后将新的数据带入模型,模型会给出相对正确的结果。      说道这里,有一个关键词:训练...
阅读(82) 评论(0)

大数据(三十五)HBASE【mapreduce操作hbase】

现在有一些大的文件,需要存入HBase中,其思想是先把文件传到HDFS上,利用map阶段读取对,可在reduce把这些键值对上传到HBase中。   package test;   import java.io.IOException; import org.apache.hadoop.io.Lo...
阅读(122) 评论(0)

大数据(三十四)HBASE【调优】

1. 表的设计 1.1 Pre-CreatingRegions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的re...
阅读(206) 评论(0)

大数据(三十三)HBASE【Phoenix】

一、Phoenix是什么 二、Phoenix安装 三、
阅读(238) 评论(0)

大数据(三十二)HBASE【Hbase JavaAPI访问HBase】

这里介绍使用java api来访问和操作HBase,例如create、delete、select、update等操作。 1.HBase配置 配置HBase使用的zookeeper集群地址和端口。 private static Configuration configuration; ...
阅读(139) 评论(0)

大数据(三十一)HBASE【Hbase Shell 常用命令】

一、建表语句 hbase(main):003:0> create 't1', 'f1' , 'f2' , 'f3' --建表语句 0 row(s) in 9.5860 seconds => Hbase::Table - t1 hbase(main):004:0> des...
阅读(162) 评论(0)

大数据(三十)HBASE【Hbase 环境安装 -- 完全分布式安装】

一、前提         Hadoop和Zookeeper环境正常。 二、步骤         1、编辑hbase-site.xml hbase.rootdir hdfs://namenode.example.org:8020(1)/hbase hbas...
阅读(142) 评论(0)

大数据(二十九)HBASE【Hbase 环境安装 -- 单机版standalone】

一、拷贝安装包         将安装包方至node4的/opt/sxt/soft目录下 二、解压         解压目录 tar -zxvf hbase-1.1.3-bin.tar.gz 三、配置         1、配置HBase的JAVA_HOME         首先查看服务器JAVA_...
阅读(157) 评论(0)

大数据(二十八)HBASE【Hbase 体系架构】

一、Hbase 体系架构         其中Client是客户端,连接Hbase的工具;Zookeeper实现Hbase高可用;HMaster是调度者,告诉我们的访问程序那张表在哪;HRegionServer存放数据;HRegion是表的一部分(表数据过大可能会分为若干个HRegion);每...
阅读(113) 评论(0)

大数据(二十七)HBASE【Hbase 综述】

HADOOP生态系统         其中:                 Zookeeper:分布式协作服务组件,管理Hadoop相关组件                 Flume:日志收集工具                 Sqoop:关系型数据库ETL工具【ETL,是英文 Extra...
阅读(199) 评论(0)

大数据(二十六)Hive【Hive 优化】

1.概述   继续《那些年使用Hive踩过的坑》一文中的剩余部分,本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍   首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题? 数据量大不是问题,数据倾斜是个问...
阅读(148) 评论(0)

大数据(二十五)Hive【Hive 函数 及其 自定义函数】

原生函数         参考链接https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 自定义函数         一、3种自定义函数                 1、UDF-----User Defined ...
阅读(91) 评论(0)

大数据 (二十四)Hive【Hive 正则匹配】

说在前面的话   hive的正则表达式,是非常重要!作为大数据开发人员,用好hive,正则表达式,是必须品!        Hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此,特意做了个hive正则表达式的小结。所有代码都经过亲测,正常运行。 1.regexp 语法: A ...
阅读(215) 评论(0)

大数据(二十三)Hive【Hive三种启动方式 、 HIVE Server2详解 、 jdbc链接HIVE】

一:Hive的三种启动方式 1, hive  命令行模式         进入hive安装目录,输入bin/hive的执行程序,或者输入 hive –service cli         用于linux平台命令行查询,查询语句基本跟mysql查询语句类似  2, hive  web界面的启动方式...
阅读(179) 评论(0)

大数据(二十二)Hive【Hive【DML(数据操纵语言)语句】】

---- 1、数据加载语句 ---- CREATE TABLE people ( id STRING, name STRING, likes ARRAY<string>, address MAP<string,string> ) ROW FORMAT DELIMITED F...
阅读(112) 评论(0)

Web Service (014---webservice使用Jquery、Ajax请求WebService所遇到的跨域问题)

webservice使用Jquery、Ajax请求WebService所遇到的跨域问题
阅读(89) 评论(0)

Web Service (013---webservice使用Jquery、Ajax请求WebService)

Ajax Jquery
阅读(89) 评论(0)
    个人资料
    持之以恒
    等级:
    访问量: 6万+
    积分: 1420
    排名: 3万+
    最新评论