大数据是一个已经存在了一段时间的术语，但是它实际上是什么对于许多人来说仍然是不清楚的。这一概念正在不断演变和重新被考虑，因为它仍然是许多正在进行的数字转型浪潮的驱动力，包括人工智能、数据科学和物联网等。
考虑到这一点，我认为是时候写一本关于2017年大数据的入门指南了。以与我的新手指南Block Chain和Fin Tech相类似的方式，这将是无行径的、旨在向具有任何背景知识的人解释核心概念和想法的一次动笔。
1 大数据是什么？
这一切都始于数字时代到来后我们所产生的数据量的指数激增。这主要是因为计算机、因特网和技术能够从我们生活的真实世界中获取信息，并将其转化为数字数据。
在2017年，当我们上网时、当我们携带配备GPS的智能手机时、当我们通过社交媒体或聊天应用程序与我们的朋友沟通时、以及我们在购物时，我们会生成数据。你可以说，我们所做的涉及数字交易的一切都会留下数字足迹，这几乎是我们生活的一切。
除此之外，机器生成的数据量也在快速增长。当我们的“智能”家庭设备彼此通信或与他们的家庭服务器通信时，数据就会生成和共享。世界各地的工厂和工厂的工业机械越来越多地配备了传感器来收集和传输数据。很快，自动驾驶的汽车将走上街头，将他们所到之处周围的环境实时、四维的地图发送回家。
2 大数据可以做什么？
这种不断增长的流传感器信息、照片、文本、声音和视频数据，是大数据的基础。
我们现在可以用一些甚至几年前都不可能的方式使用这些数据。现在，大数据项目可以帮助我们：
治疗疾病和预防癌症——数据驱动医学，包括分析大量的医学记录和图像，这些模式可以帮助及早发现疾病并开发新药；
饲养饥饿者——农业正在被数据革命化，这些数据可用于提高作物产量，减少释放到生态系统中的污染物数量，并优化机器和设备的使用；
探索遥远的行星——美国航空航天局分析数百万的数据点，并利用它们来模拟每个可能性，将其流浪者降落在火星表面，并计划未来的任务；
预测和应对自然灾害和人为灾害——分析传感器数据，以预测下一步可能发生的地震，人类行为模式帮助援助组织救援幸存者提供线索。大数据技术也用于监测和保护难民远离世界各地的战区；
防止犯罪——警察部队越来越多地采用基于自己情报和公共数据集的数据驱动战略，以便更有效地部署资源，并在需要时起到威慑作用；
使我们的日常生活更轻松，更方便——在线购物、大众旅游或休闲度假，选择最好的时间预订航班，或是决定接下来要观看的电影……因为大数据，这一切都变得更加容易。
3 大数据如何工作？
大数据的工作原理是，你对任何事情或任何情况了解越多，你可以更可靠地预测将来会发生什么。通过比较更多的数据点，以前被隐藏的关系将开始出现，这些关系有望包含我们如何开始改变的见解。
通常这是通过一个过程来完成的，该过程基于我们可以收集的数据建立模型，然后运行模拟，每次调整数据点的值，并监视它如何影响我们的结果。这个过程是自动化的——今天先进的分析技术将运行数以百万计的这些模拟，调整所有可能的变量，直到找到有助于解决问题的模式或洞察力。
数据越来越以非结构化的形式出现在我们身上，这意味着数据不能轻易放入具有行和列的结构化表格中。这些数据中的大部分是图片和视频的形式-从卫星图像到上传到Facebook或Twitter的照片，以及电子邮件和即时通讯和录音电话。为了理解所有这些，大数据项目通常使用人工智能和机器学习的尖端分析。例如，通过教育电脑来识别这些数据所代表的内容——通过图像识别或自然语言处理，他们可以比人类更快速，更可靠的可靠地识别图案。
在过去的几年里，通过“即服务”平台，一个强烈的趋势是向大数据工具和技术的转移。企业和组织从第三方云服务提供商租用服务器空间、软件系统和处理能力。所有的工作都是在服务提供商的系统上进行的，客户只需支付所使用的任何费用。这种模式使得任何组织都可以访问大数据驱动的发现和转换，并消除了在硬件、软件、房地和技术人员身上花费大量资金的需要。
4 大数据存在的问题
今天，大数据给了我们前所未有的洞察力和机会，但也引发了必须解决的担忧和问题：
数据隐私——我们现在生成的大量数据包含了许多关于我们个人生活的信息，其中大部分是我们有权保持隐私的权利。越来越多的人被要求在我们泄露的个人数据量和大数据驱动的应用程序和服务提供的便利之间取得平衡。我们允许谁访问这些数据？
数据安全——即使我们同意某人由于特定目的拥有我们的数据，我们可以相信他们能保持数据的安全吗？现有的法律框架是否能够规范这种规模的数据使用？
数据歧视——当一切都被知晓时，根据人们生活中的数据来歧视人们是否会被接受？我们已经使用信用评分来决定谁可以借钱，而保险主要是由数据驱动的。我们可以期待更详细的分析和评估，并且必须注意，这样做不是为了使那些已经拥有较少资源和获取信息的人的生活变得更加困难。
面对这些挑战也是“大数据”的一部分。他们当然是关于在学术界使用大数据辩论的主要部分。但是，他们也必须由想要利用大数据业务的人来解决。如果不这样做，可能会导致巨额的罚款，因为做的任何事都与个人资料有关。我们一次又一次地看到，未能解决这些问题常常是大数据企业举措失败的原因之一。
当人们第一次开始谈论“大数据”时，有时被视为一种时尚——时髦科技术语将被谈论一段时间，然后在下一个大事情中静静地被忘记。现在还没有被证明是这样的——事实上，虽然较新的流行语言已经弹出，但大数据仍然是所有这些的驱动力。我们可用的数据量只会增加，分析技术将变得更有能力。
