首页 首页 大数据 查看内容

大数据时代,你该如何收集你想要的数据?

木马童年 2019-4-30 16:25 29 0

这是一个资讯爆炸的时代,可是多数人却不知道如何寻找自己需要的数据。 一般来说,有些人寻找数据,是为了做出正确的商业决策;有些人要完善自己的技能,在事业上更上层楼;另一些人或为社会,或为科学而搜寻数据。 ...

这是一个资讯爆炸的时代,可是多数人却不知道如何寻找自己需要的数据。

大数据时代,你该如何收集你想要的数据?

一般来说,有些人寻找数据,是为了做出正确的商业决策;有些人要完善自己的技能,在事业上更上层楼;另一些人或为社会,或为科学而搜寻数据。

特别是,有些人收集详细的数据,是为了做出统计分析,却不知道绝大多数的人可以找到已经为他们做好了一部分统计分析的资讯,包括报告、表单数据的总汇,甚至只是具体事实,几乎所有的人都能够找到对他们有用的数据。

由于不知道怎样寻找丰富的数据,许多人根本不去寻找。他们根据自己的个人观点做决定,或者根据新闻报导做决定,即使使用数据,也不知道使用对他们有用的数据类型或数据的来源

想要找到需要的数据,必须要有明确的目标,和使用它的目地。资讯的目标越清晰,找到合适的资源就越容易。

下面是四种主要的数据来源,可以引导你找到最好的数据。

1)内部资讯

自己工作单位里面已经有的资讯,是获取数据首先应该考虑的地方。你可以找到对你的机构特别相关的、竞争者找不到的,详细的数据。

这并不容易,你必须明白是什么部门收集和保存这些数据,如何能够访问这个网址,以及允许什么样的用途。这是为什么明确的、详细的目标是如此的重要。

你可能需要向管理阶层提出正式申请,获得准许,而成功与否则要看你的特定目标和一个清晰的商业案例。

拒绝走后门或捷径的诱惑。你的IT部门设下的规则也许让你头痛,但是它们的设立是为了保证你的工作单位遵守法律。

2)政府及非营利组织

如果你必须从单位以外的地方搜寻数据,一定要尽量从政府机构或非营利组织搜寻资料。每一个政府机构都会收集数据,而且它们有法律上的义务同公众分享,至少分享一部分数据。海量多的资料就在电脑、电话或公共图书馆里,等你使用。

政府机构的数据有些是交易型的,就是为了做出分析,特别收集起来的一份政府活动记录或统计;例如财产转让和投票记录,就是交易型的数据。人口普查是统计数据,消费物价指数也是。虽然交易数据通常只有详细的表格,例如个人的交易记录,但是为了保护个人隐私,统计数据通常是汇总的型态。

有些机构的数据比别的机构有用,但是首先你得找到这个机构才能找到其它。需要一般美国人的数据,找美国人口普查局;需要知道猪腩的价格,找农业部。网上有一个门户网站data。gov,可以帮你找到数据,但是如果你不熟悉术语或找不到正确的名称,别放弃,可以打电话到似乎最适合的机构去问。

许多非营利组织是他们的专业领域中良好的数据来源。例如企业信息,就要调查相关的行业协会。一个很好的资料来源是《协会百科全书》( Encyclopedia of Associations),包含有企业协会、社会事业协会和研究协会。这本书在大多数公共图书馆和大学图书馆里都可以找到。 记住,这些机构通常分享的资讯都是报告的形式,不是数据,所以向他们申请资讯时要说清楚你要的是数据。

如果网上找到的数据来源不明确、不对应,不要使用它。网上浮动的数据集对于练习数据分析的人可能很有用,但是如果你要靠它来决定策略,你最好知道它的正确来源。

3)商业性

如果你需要的数据无法从内部、政府机构,或非营利组织得到,不妨考虑购买它。有些由政府收集和格式化的数据意义重大,价钱也便宜。不过要小心,并非所有的商业性数据的质量都好。在花费大价钱购买以前,问问出售者数据是怎样得到的,如何处理的,并且调查一些样本。

4)收集新的数据

最后一招是,由于数据根本不存在,而无法找到时,不妨自己出去收集一下。这要看你需要的是什么数据。你可以根据你所需要的数据,进行一项调查,安装传感器或派人出去观察、衡量,得出数据。这可能会即花时间又花钱,好处是你收集的数据是你真正需要的,而且完全属于你自己。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

统计分析 数据来源 交易数据 个人隐私 数据集 数据分析
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...