热线电话:13121318867

登录
首页精彩阅读技术流!怎样查找自己想用的大数据?
技术流!怎样查找自己想用的大数据?
2014-12-25
收藏

       我想查找某一方面的大数据。怎么办:如何操作,上哪家网站,使用什么软件等。 我需要北京市市内货运出租9月份的营运数据如何操作!

  题主把问题改成了“我需要北京市市内货运出租9月份的营运数据如何操作”,这和想象中的学术问题不一样啊摔!

  先泼一盆冷水:题主要做好准备花钱买这个数据。

  可能的来源:北京市各种出租车公司(货运出租公司?),打车APP(如果是客运出租的话)、市场调查公司、自己花钱去打车跟自己聊(也是针对客运)。 准确度依次下降,麻烦程度依次上升,为了得到同样准确的估计,花费大概会依次上升。

  不太可能的来源:互联网。

  以及为什么这种数据要钱:

  1. 采集要钱。对于出租车公司来说,这个采集过程相对简单,因为计价器都是他们的,他们随时知道自己手下出租车的运营状况,他们的花费基本上是公司的运营费用。对于打车 APP来说,他们用APP收集,相比出租车公司来说,又多了一份市场推广的成本。市场调查公司是靠收集数据为生的,所以不管数据用什么渠道花多少钱能得到,肯定要加价买给你——之所以他们能做这个生意是有时候你没有数据的渠道,有时候你没有那么多人工去实地调查

  2. 数据本身的营利潜力。看到这个数据能做的事情太多了,我可以知道什么地方打车不方便、从哪到哪的客流大、什么时间哪里的打车需求大、接什么单子跑得快、什么路线容易堵车等等等等,这都是大好的赚钱机会啊!

  当然了,如果题主有亲戚朋友在出租车公司工作(最好是管理岗/老司机)就主动串串门套套近乎吧,上面这些都当我没说。

  ====以下是原答案的分割线=====

  谢邀。题主起码来点提示“某一方面的大数据”是指什么,另外您的应用场景是什么吧,不然我只能告诉你请上http://google.com,用google chrome/mozilla firefox等软件。或者如果您想说“我想要X银行的日交易详情用来预测股票走势”,那我只能建议您找找黑客网站,使用黑客工具了——不保证效果且后果自负。

  说正经的,如果题主想自己采集大数据(其实我猜不是,那就去找现成数据集吧,,以下可以参考:

  1. 图片/视觉:Google Images。直接输入搜索词,然后人工把一些符合目标的图片下下来。这是Caltech 101/256和ImageNet的主要采集方式

  2. 文本/自然语言处理:

  2.1. Wikipedia。Wikipedia经常发布整个网站的snapshot,包括所有的文本(有些版本还包括多媒体资料),这是自然语言处理研究常用的数据集之一。好处是它还包含多语言版本,有时也被机器翻译学者用作研究对象。

  2.2. Google Search。搜索引擎的搜索条目摘要(search snippets)也是重要的语义/语料来源之一。

  2.3. WordNet。英语名词的分类、解释和相互关系。常用于语义任务。

  3. 语音/语音识别:LDC(Linguistic Data Consortium)。学界做语音识别的数据集大多来自这里。有英语、汉语(普通话)、阿拉伯语等多语种的数据——不过大部分数据要钱。

  4. 其它:Amazon Mechanical Turk。如果你有大量数据需要利用人类常识进行标注(而非专业人士分析),但手头只有闲钱没有人力的话,AMT是不二的选择。ImageNet等数据集都是在AMT的帮助下完成的。

数据分析咨询请扫描二维码

最新资讯
更多
客服在线
立即咨询