大数据与上海转型发展2_数据分析师
从国内来看,上海IT产业在人才、技术研发、与国际接轨的信息通信基础设施等方面已经形成了一定的优势。电子信息产品制造业总产值和就业人数居上海六大支柱产业之首;信息服务业的产值在服务业中排名达到第五。但在这貌似光鲜的高科技产业背后,仍然存在产业链层次偏低的问题。IT业内程序员、维修、销售服务等工作被讥称为“IT民工”,其体力劳动量远大于脑力劳动量,处于这一产业链的低端。
抓住大数据发展的机遇,上海要充分挖掘被企业和政府部门“养在深闺”、大量的本土消费和市场行为数据,获得本土或行业的比较优势。大数据拥有单位如果能加以重视,与国内IT企业协作开发,激活这个沉睡的巨大金矿,就可能成就上海自己的、在不同细分行业的IBM、谷歌和亚马逊,引领整个中国IT服务业走向高端。推动大数据的发展,不仅可以作为上海IT产业自身升级的一条重要路径,更可以带动其他产业和城市管理的升级,真正打造上海城市建设和长三角经济发展的升级版。
制约大数据发展的四个瓶颈
从大数据的启用到最终价值的创造,是一连串的事件,需要观念的转变、大数据知识的传播、基础设施、人才、法律等基础条件。目前,这些构成了制约上海发展大数据产业的四大瓶颈。
观念瓶颈:根据Gartner的IT生命周期理论,目前正处于对于大数据认识的泡沫化阶段,需要有一个价值理性回归过程。作为决策层,既不要盲目跟风,更不要轻易否定其价值。这时候,尤其需要冷静下来思考:大数据的出现对于经济社会有何种影响,如何影响本行业,对此我们准备好了吗?当前制度与之适应性如何,需要进行何种变革和创新,甚至提交到立法层面来解决?在如何利用大数据方面,站在城市层面,是否可能形成一个战略规划,明确基础数据的良好治理机制,以保障数据的“流动性”和“可获取性”?政府可以为市场提供哪些服务和支撑,等等。从目前“小数据”的开发利用来看,上海仍存在较严重的数据“孤岛”现象,共享的观念还远没有普及,数据管理的制度仍需健全。面对大数据时代的新浪潮,形势不容乐观。
能力瓶颈:上海企业信息化水平参差不齐,很多大型企业如宝钢、电气集团等信息化应用相当成熟,管理水平在逐渐向国外一流公司看齐。但仍有相当比例企业,尤其是中小型企业信息化水平欠佳。据市经信委的调查,约70%的中小企业没有专职IT人员,管理仍停留在经验层面,拍脑袋决策的事情不在少数。这将很难培育出大数据的能力。虽然中国的技术方面也落于人后,但最大的障碍在于技术的应用和管理能力。上海必须重视提升企业信息化管理能力,夯实好基础。
法律瓶颈:在互联网环境下,哪些数据开发行为属于合理开发,仍缺乏一个相应的法律规定,对个人信息保护也无法可依。加之人为造成的信息不对称成为一些部门利益的重要来源,导致立法进程迟迟不能启动。相关法规缺位一个直接结果就是,信息服务产业发展出现了逆向激励:对于个人信息合理的开发受制种种约束,而信息滥用者借助于种种暗箱操作,反而逃避了监督。这种环境下,推动大数据这个金矿的开发,存在非常大的法律风险。
文化瓶颈:各类组织,包括企业、公共服务机构对大数据知识的了解和技术掌握,有个学习过程。从长远看,根本性障碍还在于对基于数据的决策抱怀疑态度的决策文化。这既与数据本身质量不高有关,也与人们认识世界的方式分不开。反映到决策上,往往更加相信直觉,而不重视数字。尽管上海具有相对开明睿智的城市文化,但决策的科学性和透明性方面仍有改善的空间。
推进措施和建议
上海是中国经济、贸易、金融、航运等领域海量数据的集散地,具备得天独厚的大数据优势。在推动大数据发展问题上,上海可以大有作为,这体现在路径选择、环境营造、基本保障等三个维度。
从路径选择看,可以将从上而下和从下而上两种方式结合。
从上而下,强调数据共享和整合,解决现有数据孤岛问题。近年来,上海斥资建成了各种平台,包括互联网数据中心(IDC)、大型企业数据平台、云计算平台、高精度位置服务平台、各行业信息服务平台以及各类社交媒体平台等,为大数据发展奠定了良好的基础。大数据发展的要求是接入和共享,这需要关注于底层数据的连通。但数据共享与其说是技术问题,不如说是制度和利益协调问题,需要高层的承诺,各方认真协商解决。这一工作的难度并非上海所独有,美国白宫的数据共享问题也仅仅是奥巴马上台之后强势推动下才初见成效。只有在共享问题得以解决后,大数据这座金矿才能充分得以开发,实现跨越式发展。
从下而上,强调以小型应用和微创新为突破口,撬动大数据的发展。上海可以从应用端出发,以小型应用和微创新为突破口,引爆行业的大数据发展。如可以鼓励医院、教育等公共服务部门、现有金融保险、航运企业、大型制造企业、零售等数据量丰富的行业龙头企业,以大数据为纽带,各自开展微创新,激活整个产业链的创新能力。微创新的作用在于不断尝试和改进,找到一个更好的服务模式,进一步激发大的创新。如能基于高质量的大数据分析,创新效果会更好,成本会更低。同时随着应用的深入,自然而然对其他部门数据提出共享需求,最终有助于不同部门之间数据的共享。
从环境营造上,上海可以从内外部两方面着力,推进大数据的发展。
从内部看,上海应着重激发基于大数据的创业创新精神。大数据产业链主要是一些国际大数据公司所主导,目前上海没有可以与之相匹敌的企业,只能依赖于细分市场和特定环节的突破,激发出中小型创业型企业的创新精神,培育一批基于数据的决策的创新型企业及中小型创业型企业,通过市场竞争拼出一条血路。
从外部看,主要还是通过筑巢引凤构建大数据产业链高地。上海享有地域、技术、人才、市场、行政效率和透明度高等多种优势,IT产业集群优势也非常明显,借此可广泛吸引国内外企业将大数据行业分析中心设在上海,就地应用和试点,作为上海战略性新兴产业和现代服务业发展的重点支持对象。
保障机制方面,主要涉及立法突破、人才培育和决策文化等三方面。
其中,在大数据立法上有所突破,是关键一环。大数据立法并不是孤立的,而是应放在计算机和互联网信息安全和保护这一大的框架下,在地方层面,灵活借鉴各先进国家和城市经验,规定对信息利用的合理边界,保护个人信息不被滥用。另外,根据迈尔-舍恩伯格的建议,大数据年代记忆已经成为一种常态,为了对公民隐私进行保护,应该有一种遗忘机制。而这一机制类似于档案的销毁,也应有法有依,否则后果会很严重。
同时,人才是技术研发和市场应用的基础。据麦肯锡的估计,仅在美国,大数据技术人才缺口达14万-19万,管理人才150万。上海应开始重视对大数据专业人才的培育,还要意识到国际性人才争夺战的激烈性,既要培育出人才,更要留得住人才。最直接相关的专业有两大类:第一类是大数据技术研发人才,主要为计算机科学和技术专业;第二类是数据分析和管理人才,主要包括信息系统和信息管理专业、数理统计专业等。
最后,还要倡导基于大数据的决策文化。近年来,上海在努力建设智慧城市中已经应用了大数据的理念,但仍存在一些凭经验和直觉决策的区域。大数据的决策本质特征是公开透明和科学理性,这可以改进政府与民众的互信,倡导这一决策文化可以有效改变公信力不足的不利局面,深化上海服务型政府建设。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 7 Pandas分组聚合 分组聚合(group by)顾名思义就是分2步: 先分组:根据某列数据的值进行 ...
2024-11-25数据分析需要学习的内容非常广泛,涵盖了从理论知识到实际技能的多个方面。以下是数据分析所需学习的主要内容: 数学和统计学 ...
2024-11-24数据分析师需要具备一系列多方面的技能和能力,以应对复杂的数据分析任务和业务需求。以下是数据分析师所需的主要能力: 统计 ...
2024-11-24数据分析师需要学习的课程内容非常广泛,涵盖了从基础理论到实际应用的多个方面。以下是根据我搜索到的资料整理出的数据分析师需 ...
2024-11-24《Python数据分析极简入门》 第2节 6 Pandas合并连接 在pandas中,有多种方法可以合并和拼接数据。常见的方法包括append()、conc ...
2024-11-24《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21