大数据是指其大小超出了常规数据库工具获取、存储、管理和分析能力的数据集。
非结构化的数据、稀疏的数据
流水线 流程导向型 质量导向型
去除冗余、错误、噪声 补全，生成网络
概率理论，统计理论 遗传算法
数据湖 数据仓库
大数据和云计算是孪生发展
存储：存储成本的下降
存储成本的下降，也改变了大家对数据的看法，更加愿意把1年、2年甚至更久远的历史数据保存下来，才有了历史数据的沉淀，才可以通过对比，发现数据之间的关联和价值。正是由于存储成本的下降，才能为大数据搭建最好的基础设施。
计算：运算速度越来越快
海量数据从原始数据源到产生价值，期间会经过存储、清洗、挖掘、分析等多个环节，如果计算速度不够快，很多事情是无法实现的。所以，在大数据的发展过程中，计算速度是非常关键的因素。
- 分布式系统基础架构Hadoop的出现，为大数据带来了新的曙光;
- HDFS为海量的数据提供了存储;
- MapReduce则为海量的数据提供了并行计算，从而大大提高了计算效率;
- Spark、Storm、lmpala等各种各样的技术进入人们的视野。
智能：机器拥有理解数据的能力
大数据带来的最大价值就是“智慧”，大数据让机器变得有智慧，同时人工智能进一步提升了处理和理解数据的能力。
有数据可说
在大数据时代，“万物皆数”，"量化一切”，"一切都将被数据化”。人类生活在一个海量、动态、多样的数据世界中，数据无处不在、无时不有、无人不用，数据就像阳光、空气、水分一样常见，好比放大镜、望远镜、显微镜那般重要。
说数据可靠
大数据中的“数据”真实可靠，它实质上是表征事物现象的一种符号语言和逻辑关系，其可靠性的数理哲学基础是世界同构原理。世界具有物质统一性，统一的世界中的一切事物都存在着时空一致性的同构关系。这意味着任何事物的属性和规律，只要通过适当编码，均可以通过统一的数字信号表达出来。