关闭

大数据测试类型&大数据测试步骤

标签: 大数据测试类型什么是大数据数据阶段验证MapReduce验证输出阶段验证
6145人阅读 评论(0) 收藏 举报
分类:

什么是大数据?

         大数据是一个大的数据集合,通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析,而且它在数量、多样性、速度方法都很出色。

大数据测试类型

         测试大数据应用程序更多的是验证其数据处理,而不是测试软件产品的个别功能。当涉及到大数据测试时,性能和功能测试是关键。

         在大数据测试中,QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快,所以它需要高水平的测试技能。处理可以是三种类型:批量、实时、交互。

        

         与此同时,数据质量也是大数据测试的一个重要因素。在测试应用程序之前,有必要检查数据的质量,并将其视为数据库测试的一部分。它涉及检查各种字段,如一致性,准确性,重复,一致性,有效性,数据完整性等。

大数据测试步骤

         下图给出了测试大数据应用程序阶段的高级概述:

          

         大数据测试实现被分成三个步。

Step 1:数据阶段验证

         大数据测试的第一步,也称作pre-hadoop阶段该过程包括如下验证:

Ø  来自各方面的数据资源应该被验证,来确保正确的数据被加载进系统

Ø  将源数据与推送到Hadoop系统中的数据进行比较,以确保它们匹配

Ø  验证正确的数据被提取并被加载到HDFS正确的位置

         该阶段可以使用工具Talend或Datameer,进行数据阶段验证。

Step 2:"MapReduce"验证

         大数据测试的第二步是MapReduce的验证。在这个阶段,测试者在每个节点上进行业务逻辑验证,然后在运行多个节点后验证它们,确保如下操作的正确性:

Ø  Map与Reduce进程正常工作

Ø  在数据上实施数据聚合或隔离规则

Ø  生成键值对

Ø  在执行Map和Reduce进程后验证数据

Step 3:输出阶段验证

         大数据测试的最后或第三阶段是输出验证过程。生成输出数据文件,同时把文件移到一个EDW(Enterprise Data Warehouse:企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括:

Ø  检查转换(Transformation)规则被正确应用

Ø  检查数据完整性和成功的数据加载到目标系统中

Ø  通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏




原网站链接:http://www.guru99.com/big-data-testing-functional-performance.html#1

0
0
查看评论
发表评论
* 以上用户言论只代表其个人钱柜娱乐开户,不代表CSDN网站的钱柜娱乐开户或立场

ETL 测试/数据仓库测试-----技巧,技术,过程和挑战

ETL测试(Extract,Transform,and Load,中文名称为数据提取、转换和加载) 为什么企业需要数据仓库?   IT企业的实践希望在技术转型上创建一个新的台阶。他们不...
  • test_soy
  • test_soy
  • 2016-12-02 15:23
  • 1152

《使用云计算和大数据进行性能测试》

今年的天猫双十一以912亿的交易量落下帷幕,在短短的24小时里,天猫创造了最高4500万人同时在线,系统交易创建峰值达到每秒钟14万笔,支付宝的支付峰值达到了每秒8.59万笔,全天支付笔数达7.1亿笔...
  • cloudwiseAPM
  • cloudwiseAPM
  • 2015-11-27 10:19
  • 1326

大数据测试技术研究

  • 2015-02-27 22:26
  • 270KB
  • 下载

SQLite 大数据测试

  • 2012-12-05 03:06
  • 832KB
  • 下载

如何快速建立自己的大数据库进行大数据测试一(解答)

先说一下为什么会有这样的测试:年前面试一家电信公司,主考orcale (java的基础),说用ssh,但不用hibernet,,没有过,回来想想.此类公司应该是查询数据量大,才不用H结构,效率第一, ...
  • u012140492
  • u012140492
  • 2014-02-06 01:22
  • 1506

大数据测试之hadoop命令大全

转载博客园laoli0201 大数据测试之hadoop命令大全   1、列出所有Hadoop Shell支持的命令   $ bin/hadoop fs -help 2、显示关于某个命...
  • Mr_hanjc
  • Mr_hanjc
  • 2016-01-07 08:36
  • 197

大数据测试方法

一.功能性测试        大数据功能主要涉及系统实现面向大数据分析应用的POSIX API,包括文件读取与访问控制,元数据操作,锁操作等功能; 大数据分析系统的POSIX语义不同,实现...
  • lykangjia
  • lykangjia
  • 2017-06-06 10:14
  • 279

大数据测试实践小结

大数据测试实践小结 针对我们产品线的某些模型产品的需求,开始展开大数据测试,对大数据测试仍然属于摸索和尝试的阶段,大家感兴趣的欢迎拍砖。 一、模型产生的过程       ...
  • shahaizimxm
  • shahaizimxm
  • 2013-07-31 14:45
  • 1088

抛砖引玉----个人大数据测试小结

最近一直想在大数据方面做更为全面的测试,但是涉及这一块目前资料较少,所以抛砖引玉,希望有同行加微信互相交流 (soy0209) 1.ETL测试     ETL, Extract-Tra...
  • test_soy
  • test_soy
  • 2016-07-25 16:56
  • 5203

关于大数据测试方面的收集

关于大数据测试方面的收集ETL E(extract),T(transform),L(load) 来源端 –data——目标端 data来源端—a— HDFS(file) ...
  • greta_guo
  • greta_guo
  • 2017-02-10 16:52
  • 145
    个人资料
    • 访问:390557次
    • 积分:8497
    • 等级:
    • 排名:第2706名
    • 原创:478篇
    • 转载:72篇
    • 译文:7篇
    • 评论:40条
    个人简介
    如果对测试比较感兴趣的可以加QQ群:320542475! 如果你愿意,我们可以聊聊测试的那点事,相互学习、互相成长,我相信只要不断吸取自己所需营养,即使出生不那么光彩,在未来依然会光芒万丈,只是在前进的路上荆棘多了一点而已、、、
    钱柜娱乐开户
    最新评论