Big Data
-
What is Big Data?
-
你对大数据的理解是什么？
-
A Definition given by Oracle:
Put simply, big data is larger, more complex data sets, especially from new data sources. These data sets are so voluminous that traditional data processing software just can’t manage them. But these massive volumes of data can be used to address business problems you wouldn’t have been able to tackle before.
-
A Definition given by Baidu
无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
-
A Definition given by SearchDataManagement
Big data is a combination of structured, semistructured and unstructured data collected by organizations that can be mined for information and used in machine learing projects, predictive modeling and other advanced analytics applications.
5V特征
- Volume 大量
- Velocity 高速
- Variety 多样
- Value低价值密度
- Veracity 真实性
Oracle / SAS - 3Vs:
- Volume
- Velocity
- Variety
Volume
数据量大，包括采集、存储和计算的量都非常大
Velocity
数据增长速度快，处理速度也快，时效性要求高
Variety
数据的种类和来源多样化
- 包括结构化、半结构化和非结构化数据
- 如网络日志、音频、视频、图片、地理位置信息等
- 多类型的数据对数据的处理能力提出了更高的要求
Value
数据的价值密度相对较低
- 如何结合业务逻辑并通过强大的机器学习算法来挖掘数据价值——大数据时代最需要解决的问题
big data must have value.
Veracity
数据的准确性和可信赖度——即数据的质量
