大数据技术的特点是(大数据发展的特点)


在当今这个所谓的数字经济时代,各种新概念、热词越来越多,不过大家有没有一种感觉,像大数据、云计算、元宇宙、数字经济等等,出现在我们耳目中的频率越来越高,我们似乎对其熟悉无比,但一细想,往往又是不明所以,那种感觉怎么说呢,大概就是似是而非、既“熟悉又陌生”吧。这里就和大家分享一下我们经常听的、经常说的大数据。

01 它当然是数据

让子弹飞里有句话,路是要一步一步走的,步子迈大了,容易扯着那啥,所以我们先从数据开始说起。从广义上来说,大数据包含自然数据和非自然数据,自然数据大抵是指我们已知的各类科学文化知识等等,这里不展开,也没展开的必要。非自然数据就是在不断发展变化的,其中最为核心、占比也最大的,就是跟人相关的,一般领域内将其称为“个人数据”。本人查阅了很多资料,决定就以这个“个人数据”为代表,来分享解释大数据。

个人数据,通俗来说就是那些人们行为所产生的数据,主要包括三类:一是自生性数据,即用户自发产生的各种数据,如社交网络信息;二是观测性数据,就是记录用户可被观测的行为、信息等;三是推断性数据,就是根据前面两类数据,进行分析推断得出的相关信息。我觉得这是比较权威又很生动的一个定义和分类,是相关学者在世界经济论坛发布的观点,这里就直接搬了过来。

如果再说具体点的话,自生性数据包括用户的通讯录、邮件和照片等信息,以及你在头条、微信朋友圈、微博、知乎上摆弄的一切信息等。观测性数据就包括你的贷款记录、还贷记录、支付记录、浏览记录、位置记录、交通违规记录和既往病史等等。推断性数据包括客户个人信用、消费水平及喜好等等,对于商业来说,这些都可以用来做用户的潜在价值分析,这一方面往往深受商家关注和重视,毕竟这能让他搞清楚要想获得更多收入和利润,应该在哪些地方发力。

而随着技术的持续进步,数据通过买卖、加工,为企业换回经济利益的“资产”效应越来越显著,它已经成为一种资产,并将越来越重要。试想如果数据没有资产的价值,不能带来收益,就不会有大数据的概念,毕竟没有人会存储垃圾的。已经有人提出,未来数据资产其价值将超越现在的石油产业,掌握更多的大数据资产,就可以带来更多的利润。

02 它等于数据大吗?

前面我们着重解释了什么是“数据”,那么大数据,顾名思义,或许有朋友在想,那不就是数据大吗?咋一听,还是很有道理的,我们有必要继续深入。

关于大数据,很多权威机构都给出过定义。

麦肯锡:大数据是指超过了常规数据库软件工具所能获取、存储、管理和分析规模的数据集。

维基百科:那些规模超过常规用途的软件工具,在可接受时间内捕获、管理和处理的数据集。

这两个是在大数据萌生初期被给出的定义,我们能够明显看到,其都充分肯定了大数据的基本特征——“大”。从某种程度上来说,大数据缘于对数据规模和非结构化数据处理需求的窘迫和迫切。那么,大数据的第一个基本属性就是数据量大。

随着技术的飞速向前,大数据向我们展示了其是远远大于“数据大”的,要了解这点,我们先来看看其最新的定义,国际数据公司(IDC)给出了最新描述:“大数据”是指为了更经济、更有效地从高频率、大容量、不同结构和类型的数据中获取价值而设计的新一代架构和技术,用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。

从这个定义我们可以看到,在 “数据大”的基础上,还强调了从“数据大”中,更经济高效地获取价值,并着重指出其实因为实现前者而设计的新一代架构和技术。但到这里还没有完,我们需要继续深入,剖析其内涵。

03 它是有内涵的

对于大数据的内涵,国际知名信息技术研究分析公司Gatner,综合了各种对大数据的定义,总结出了大数据的“4V”属性。

1.数据体量巨大( Volume )

首先是大数据所采集、存储和计算的数据规模都非常大。随着信息化技术的高速发展,数据爆发式增长,大数据中的数据不再以几个GB或TB来计量,而是从 TB (太字节,即1万亿字节)级别,跃升到 PB (1000TB)、EB(100万TB)乃至ZB(10亿TB)级别。当然,不仅数据量呈几何级增长,近年来,随着数据维度变多、数据类型增加、数据的描述能力增强,数据可以传达的信息也越来越多,越来越准确。

2.数据类型多( Variety )

大数据的种类和来源多样化。除了更多、更广泛的有丰富处理经验的结构化数据外,还包括网络日志、视频、图片、地理位置信息等。数据类型、来源等更加多样化,处理难度更高。在不同的数据类型中进行交叉分析,是大数据的核心技术之一。如此多样的数据为数据处理带来了挑战。在数据结构上,大数据可以分为结构化数据、半结构化数据和非结构化数据;在具体形式上,大数据可以分为视频、音频、图像、博客、社交网络、互联网搜索等。大数据迎接的挑战就是要针对这些结构不一、形式多样的数据,挖掘其中的相关性。而这些前所未有的、来自各个领域的、不同形式的数据,赋予了大数据强大的威力。

3.数据处理响应速度快( Velocity )

有很多数据的应用需求要求实时响应、实时处理和实时反馈。这是区别大数据应用和传统数据技术的关键。在信息时代,人成为网络的核心,每个人每天都在制造新的数据,这些数据再被相应的机构如政府、互联网企业、银行、电信运营商等收集,形成了一个个庞大的数据体系。面对如此庞大的数据体系,处理数据并得到结果的速度越快,数据的时效性就越强,价值就越高——而大数据和传统数据挖掘最大的区别也在于此,大数据更强调数据处理的实时性和时效性。如现在被广为推崇的“大数据1秒定律”,即必须在1秒内得到处理结果。

4.数据真实性( Veracity )

数据真实的引申含义就是数据有价值( Value )。只有合理利用数据并对其进行正确、准确地分析,才会带来很高的价值回报。

前3个 V 是大数据带来的技术要求和调整,只有技术上突破了3V,大数据才可能被利用。而第四个 V 才是大数据的终极目标,技术是它实现的前提,但不是全部。值得一提的是,巨大的数据量不可能全部存储下来,当然也不需要,数据量的迅速发展使其价值密度降低,但挖掘出的信息价值更加珍贵。例如,医疗数据管理系统会处理掉90%的数据(如手术过程中产生的实时视频图像)。因此,大数据核心价值在于,从大量低价值密度数据中,快速高效地挖掘出对分析和预测有价值的信息。


感谢您的阅读,希望和大家一起学习交流大数据、云计算、数字经济这些东东,如果喜欢本文,请点个赞吧^_^


免责声明
    以上文章转载自互联网,文章内容仅供参考,不构成建议,也不代表百科学社赞同其观点。如有侵权请联系755934052@qq.com,提供原文链接地址以及资料原创证明,本站将会立即删除

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请通知我们,一经查实,本站将立刻删除。