不久前,国家统计局与11家大数据企业签署了战略合作框架协议。作为行业中的翘楚,这些企业各有各的特点。如阿里巴巴、1号店都是国内最著名的零售网购企业,五八同城是知名的求职就业平台,百度拥有最大的中文搜索引擎……战略合作协议取不同企业的共性,表达了合作的愿望和意向,明确要共同研究探讨建立大数据应用的统计标准,包括指标定义、口径、范围、分类、计算方法、代码等;共同研究确定利用企业数据完善、补充政府统计数据的内容、形式及实施步骤,包括数据采集、处理、分析、挖掘、发布等;并在各方一致同意的其他方面开展合作。
无疑,签署协议表明合作有了一个良好的实质性的开端。但是,在政府统计中应用大数据确实是一项非常复杂、难度极大的工作。特别是要把庞大、海量、类型不同、标准各异的非结构化数据转化成结构化数据,从统计制度方法到数据处理技术、以及具体的组织运作,都面临着极大的挑战。因此,需要认真梳理现有的大数据企业及数据类型,并分析其对政府统计带来的影响,由简单到复杂,分层次逐步渐进式推进。
第一个层次,相对简单、投资少见效快的项目,可以先上快上。年内早些时候,在参观百度总部的时候,有管理人员曾向我们介绍:原来如搜索北京地区天气预报,显示出的是中央气象台、北京市气象局等相关网站和一些发布天气预报的消息,需要继续点击才能查询到天气信息;而与气象部门合作,只要输入有关的关键词,数日的气象信息马上就可以显示出来,使用户能够得到更加准确、方便的服务。他们表示,与统计部门完全可以采取相同形式的合作。确实,目前搜索某些年度、季度、月度主要指标数据,可能会出现成百上千条相关信息,用户或者要从浩瀚消息中去粗取精、去伪存真,或许要登录统计部门的网站点击再点击,一步步地找到自己需要的统计信息。如果与最大的中文搜索引擎合作,查询许多统计指标就可以一次性到位。这难道不是服务型统计建设的一项切实有效的措施吗?
第二个层次,比较成熟的大数据产品,可以先拿过来。诸多大数据企业,都基于自身业务中源源不断产生的大数据,研制开发了自己的大数据产品,有些已经在业界乃至社会上产生了较大的影响力。如阿里集团旗下企业开发的淘宝价格指数(ispi)、天猫物流指数,如昆明泛亚的有色金属交易价格指数,都属于企业推出的相对成熟稳定的产品。虽然这些产品在覆盖面、代表性、稳定性等方面,与政府统计部门的同类指标数据相比还有差距,但其却在实时性、超前性方面具有优势。所以,如果能够对其计算过程作一些了解剖析,如果方法确实科学可行,能够说明一定的问题,不妨将其纳入政府统计相关数据的发布体系中来,作为政府统计的一个补充,提供社会各界的用户参考。
第三个层次,工作量大、技术难度大的工作,可以逐步稳步推进。与企业合作,在政府统计中应用大数据,最主要、最重要、也是难度最大的工作就是,如何把网上生成的海量数据作为政府统计的数据源,导入政府统计的统一数据处理平台,并进行加工处理,生成所需要的专业统计数据,如价格数据,如商品零售数据。一方面,需要从制度方法入手。选择有影响和代表性的电商,了解其产品分类及标准,深入研究与政府统计在标准、代码、口径、范围等方面的差异,探讨统一或衔接的可能性及办法;另一方面,需要从数据处理技术入手。选择在大数据处理方面技术领先的企业,提出在网上抓取、导入大数据,并与政府统计实现对接、转换,进而按政府统计的要求进行加工处理和分析的业务需求,了解技术型企业在技术处理方面的满足程度。
第四个层次,理论、科技含量高的工作,可以有选择地进行。比如与有关企业合作,通过网上数据和关键词搜索,建立经济模型,开展经济形势分析、预警预测分析,为宏观乃至微观层面的决策提供参考依据。可以结合经济社会的发展情势,有选择地确定研究题目,共同进行数据处理,并进行分析研究,推出研究成果。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31本人基本情况: 学校及专业:厦门大学经济学院应用统计 实习经历:快手数据分析、字节数据分析、百度数据分析 Offer情况:北京 ...
2025-01-3001专家简介 徐杨老师,CDA数据科学研究院教研副总监,主要负责CDA认证项目以及机器学习/人工智能类课程的研发与授课,负责过中 ...
2025-01-29持证人简介 郭畅,CDA数据分析师二级持证人,安徽大学毕业,目前就职于徽商银行总行大数据部,两年工作经验,主要参与两项跨部 ...
2025-01-282025年刚开启,知乎上就出现了一个热帖: 2024年突然出现的经济下行,使各行各业都感觉到压力山大。有人说,大环境越来越不好了 ...
2025-01-27在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-01-26数据指标体系 “数据为王”相信大家都听说过。当前,数据信息不再仅仅是传递的媒介,它成为了驱动经济发展的新燃料。对于企业而 ...
2025-01-26在职场中,当你遇到问题的时候,如果感到无从下手,或者抓不到重点,可能是因为你掌握的思维模型不够多。 一个好用的思维模型, ...
2025-01-25俗话说的好“文不如表,表不如图”,图的信息传达效率很高,是数据汇报、数据展示的重要手段。好的数据展示不仅需要有图,还要选 ...
2025-01-24数据分析报告至关重要 一份高质量的数据分析报告不仅能够揭示数据背后的真相,还能为企业决策者提供有价值的洞察和建议。 年薪70 ...
2025-01-24又到一年年终时,各位打工人也迎来了展示成果的关键时刻 —— 年终述职。一份出色的年终述职报告,不仅能全面呈现你的工作价值, ...
2025-01-23“用户旅程分析”概念 用户旅程图又叫做用户体验地图,它是用于描述用户在与产品或服务互动的过程中所经历的各个阶段、触点和情 ...
2025-01-22在竞争激烈的商业世界中,竞品分析对于企业的发展至关重要。今天,我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-22在数据分析领域,Excel作为一种普及率极高且功能强大的工具,无疑为无数专业人士提供了便捷的解决方案。尽管Excel自带了丰富的功 ...
2025-01-17在这个瞬息万变的时代,许多人都在寻找能让他们脱颖而出的职业。而数据分析师,作为大数据和人工智能时代的热门职业,自然吸引了 ...
2025-01-14Python作为一门功能强大的编程语言,已经成为数据分析和可视化领域的重要工具。无论你是数据分析的新手,还是经验丰富的专业人士 ...
2025-01-10完全靠数据决策,真的靠谱吗? 最近几年,“数据驱动”成了商界最火的关键词之一,但靠数据就能走天下?其实不然!那些真正成功 ...
2025-01-09SparkSQL 结构化数据处理流程及原理是什么?Spark SQL 可以使用现有的Hive元存储、SerDes 和 UDF。它可以使用 JDBC/ODB ...
2025-01-09在如今这个信息爆炸的时代,数据已然成为企业的生命线。无论是科技公司还是传统行业,数据分析正在深刻地影响着商业决策以及未来 ...
2025-01-08“数据为王”相信大家都听说过。当前,数据信息不再仅仅是传递的媒介,它成为了驱动经济发展的新燃料。对于企业而言,数据指标体 ...
2025-01-07