作为一名IT行业的从业者,大数据也是我的主要研究方向之一,所以我来探讨一下这个问题。
大数据是互联网、物联网和信息系统综合发展的结果,其中物联网是产生大数据的重要原因,物联网所产生的数据占到了大数据百分之九十以上的份额,所以也可以说是物联网的发展导致了大数据的产生。
数据量的增加是大数据发展的原因之一,除此之外还有以下几个因素共同导致了大数据的发展:
第一:数据承载的内容越来越丰富。随着Web2.0以及物联网的发展,网络数据所承载的内容得到了极大的丰富,数据维度也越来越高,数据背后所蕴藏的价值也越来越大,这些都是促使大数据技术发展的重要原因。
第二:数据结构越来越丰富。传统信息系统的数据都是以结构化数据为主,而随着互联网以及物联网的发展,数据结构逐渐从结构化向半结构化以及非结构化数据发展,非结构化数据占据了大量的比例,这就需要采用新的技术体系来对数据进行存储和处理,这也是促使大数据技术发展的原因之一。
第三:需要更快的处理速度。由于数据量的急剧增长,而且用户对于网络响应速度的要求越来越高,这就使得传统的数据处理技术无法满足用户对于速度的要求,这在一定程度上推动了大数据技术的发展,其实早期Hadoop、Spark平台之所以能够得到