舆情分析:大数据中的先行产业_数据分析师
对来自互联网的非结构化数据中隐含的舆情信息进行提炼和分析,正在大数据的第一波浪潮中创造出越来越大的市场空间。而如何利用从互联网、社交网络、移动应用等创新领域创造的、呈现出爆发式增长的海量非结构化数据中创造价值,是当前大数据行业最为关注的热点话题。利用海量数据分析工具和算法对来自互联网的非结构化数据中隐含的舆情信息进行提炼和分析,从而为政府和企业管理者的工作提供决策支持,也正在大数据的第一波浪潮之中创造出越来越大的市场空间。
面对互联网上的海量信息,如何有效地发现和分析互联网舆情,是当前各类互联网信息系统必须面对的事实。2013年7月,国务院办公厅公布的《国务院关于加快促进信息消费扩大内需的若干意见》中指出了六个方面,其中一个方面就是加大信息消费产品的供给。大数据舆情属于互联网信息服务产业,同时也属于目前新一代信息技术和软件领域的热门领域。
而在整个大数据产业之中,互联网舆情监测行业作为先发者也正在迎来巨大的机遇。有分析数据显示,在中国舆情监测软件的市场规模将很快达到10亿以上,而在未来几年之中,舆情监测服务产业将会进一步迎来爆发式的增长,整个市场规模将达到100亿左右。
大数据市场中的引领产业
对于所有意欲在大数据产业中有所作为的IT服务商而言,互联网舆情监测服务的巨大商机都意味着所有市场的角逐者都会将其当做是不可能忽视的巨大馅饼。诚然互联网舆情对信息获取的实时性、全面性有更高的要求,因此,互联网舆情系统必须能支持大数据的舆情处理,才能有效为用户提供舆情服务。
对ISV的全才式要求
在整个互联网舆情分析产业之中,舆情软件主要围绕互联网舆情搜索与监测进行,虽然一些厂商提出了一些面向不同政府部门的舆情系统改进版本,但几乎仍是传统舆情监测的功能,仅仅是界面等有些变化。没有体现出行业互联网舆情海量非结构化数据处理的特点。陈宗华表示。
在他看来,政府不同的职能部门的舆情监控功能应当有所侧重,比如政府宣传部门监测舆情,应该是对本地域所有重大事件进行监控,而且还有舆情导控的功能,而消防部门关注的是本地与消防有关的舆情,组织部门侧重的是本地的干部监测等。只有在深入的结合行业工作特点的基础上,才能体现互联网舆情处理的优势。
而要想做到这些,整个舆情处理系统必须具有很好的架构支持,比如在采集目标管理和知识库构建上都要分公共和行业管理,而且可进行自由扩展,监测专题的自动生成需结合行业特征进行。系统的功能应该是可配置的,为不同的行业配置不同的功能模块。
因此,面对大数据舆情,系统的发展方向应该是面向行业的细分,比如政府版、组织检察版、消防版、环保版、教育版等等,而且应该和行业固有工作密切结合。随着移动终端的普及,不仅仅是给用户提供浏览器或者App方式的手机客户端,而是要研发多元化的输入模式的搜索、精准的内容返回、个性化的搜索体验。陈宗华说。
互联网舆情监控解决方案的开发,需要ISV在各个前沿的技术领域具备一定的能力。在陈宗华看来,这一行业中的ISV必须有能力结合云计算、大数据、社交网络分析、移动搜索等密切相关的技术,这样研发出的产品才具有技术竞争力。其中,互联网知识工程是以知识为基础构建的互联网智能信息系统。涉及到知识获取、知识表示和知识应用等技术。
改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
社会网络分析关注的焦点是关系和关系的模式,涉及到数据挖掘中的关联分析,相关矩阵或差异矩阵的统计分析,社交网络划分,核心人物识别,信息扩展过程,圈子话题倾向分析,小世界理论,六度空间分割等方法和技术。
而智能信息处理是计算机科学中的前沿交叉学科,是应用导向的综合性学科,其目标是处理海量和复杂信息,研究新的、先进的理论和技术。以互联网应用为主要背景的特定领域智能信息处理,包括:大规模文本处理、多媒体信息检索与处理、基于Web的知识挖掘、提炼和集成等。
互联网海量信息的高效采集方法,需结合模板定制采集,更重要的是使用诸多媒体自带的内置搜索功能,靠完全爬取多个媒体的信息技术已经很难满足客户的综合需要。而监测主题的机器理解,在监测互联网舆情时陈宗华,多是以专题的形式定制的,而专题在描述时有关键词、短语、规则(关键词及与、或关系)、一段话、若干篇文章,如何支持多种形式的主题描述,如何能自动理解用户对主题的描述,是舆情主题监测的首页一环。
此外,舆情处理系统在采集、正文提取、排重、分词、命名实体识别、分类、聚类、检索、简报专报生成、各类舆情统计、存储等环节中,需要面对并行处理问题。大数据处理的核心问题是并行化处理和信息存储,只有解决好了这些环节,才能体现一个舆情处理系统在大数据处理上的优势。
即便是在各个技术领域都做好了准备,利用大数据技术搭建互联网舆情分析系统对ISV而言同样意味着重大挑战。在陈宗华看来,与用户具体工作和业务流程的结合,以及舆情处理分析过程中的安全性,是这一产业ISV所面临最为主要的难点和挑战。
行业大数据舆情系统开发与用户工作的结合,研发的系统在业务领域,工作模式,工作流程,功能设计等环节都应与用户的工作密切结合。他表示,此外,我们公司的互联网舆情分析采用先进的SaaS模式提供服务,而在软件服务过程中,舆情安全性、保密性、可追溯性都值得注意。
而对于企业本身,研发团队的培养同样是进军这一市场所必需的关注点。大数据舆情涉及情报分析、新闻传播、计算语言、数据挖掘、机器学习、自然语言理解、社交网络分析、网络安全、知识工程、信息检索等等知识领域,如何组建一支知识结构合理、水平高的专业研发团队是一个舆情软件研发公司必须面对的问题。此外,企业的商业模式同样要具有独特价值,才能在这个新兴的产业市场之中取得较大的核心竞争优势。
打造多维度生态圈
在基于互联网的舆情分析产业之中,拥有发展机遇的不仅仅是分析技术的提供者。自行开发之外,IT方案商也可以通过合作的方式,将其他企业的技术用于用户解决方案的部署。从而与提供核心技术的ISV之间,形成立体的生态合作关系。
在互联网舆情分析领域,人民网拥有雄厚的实力和共识性的身份,他们旗下的技术团队开发了全套基于大数据技术的互联网舆情分析系统,并在许多政府和大型国有企业的宣传部门中使用,我公司也与他们建立了合作关系,将他们的解决方案在我们的智慧城市等项目中部署。南京幻方科技有限公司CEO陈哲介绍。
在陈哲看来,传统行业包括物流运输等领域受到应用开放程度限制,大数据挖掘的需求并不是特别高。而在政府和国有企业中,对舆情的分析和处理投入巨大,在政府舆情监控的带动下,一些大型的国有企业都参与到舆情监测控制项目的投入中。这方面的非结构化数据分析处理解决方案市场发展前景看好。
而对于竞争力优势在大数据之外领域的企业而言,要想进入这一被看好的市场,采取与其他企业合作的方式,同样能够帮助企业获得成功。如陈宗华所言,互联网大数据舆情分析市场的推广,离不开产业链上下游伙伴之间精诚的合作。在生态圈中,ISV最为主要的任务是推动市场更加创新,用更快的速度复制应用,从而把整个蛋糕做大。只有应用足够吸引人,后面的发展才会顺理成章。而将创新的应用与用户个性化的需求进行结合,让更多的政府、企业单位宣传、市场和业务部门负责人接受这一新的技术,同样也是贴近用户的IT方案商最重要的任务和最核心的业务价值所在。
数据分析咨询请扫描二维码
统计学基础 - 理解统计学的基本概念和方法是数据分析师必备的技能之一。统计学为他们提供了处理数据、进行推断和建模的基础。 数 ...
2024-11-25数据分析师在如今信息爆炸的时代扮演着至关重要的角色。他们不仅需要具备扎实的数据分析技能,还需要不断学习和适应不断发展的技 ...
2024-11-25数据分析师的工作职责涉及多个关键方面,从数据的获取到处理、分析再到可视化,旨在为企业的决策提供有力支持。让我们深入了解数 ...
2024-11-25数据分析师:洞察力量的引擎 数据分析师的兴起 数据分析师行业目前正处于快速发展阶段,市场需求持续增长,薪资水平也有所提升。 ...
2024-11-25数据收集与整理 - 从各种来源收集数据,清洗和整理以确保数据质量和可用性。 数据分析与建模 - 运用统计学方法和机器学习模型对 ...
2024-11-25数据分析是当今社会中不可或缺的一项技能,涵盖了广泛的工具和技术。其中,掌握各种数据处理函数对于数据分析师至关重要。本文将 ...
2024-11-25“大数据治理”是一个涵盖广泛的复杂概念,其核心在于确保大规模、多样化的数据资源能够被有效管理和利用。不仅涉及数据的采集、 ...
2024-11-25一、引言 背景介绍 随着信息技术的快速发展和互联网的普及,大数据已经成为现代社会的重要资产。大数据的兴起不仅推动了各行各业 ...
2024-11-25《Python数据分析极简入门》 第2节 7 Pandas分组聚合 分组聚合(group by)顾名思义就是分2步: 先分组:根据某列数据的值进行 ...
2024-11-25数据分析需要学习的内容非常广泛,涵盖了从理论知识到实际技能的多个方面。以下是数据分析所需学习的主要内容: 数学和统计学 ...
2024-11-24数据分析师需要具备一系列多方面的技能和能力,以应对复杂的数据分析任务和业务需求。以下是数据分析师所需的主要能力: 统计 ...
2024-11-24数据分析师需要学习的课程内容非常广泛,涵盖了从基础理论到实际应用的多个方面。以下是根据我搜索到的资料整理出的数据分析师需 ...
2024-11-24《Python数据分析极简入门》 第2节 6 Pandas合并连接 在pandas中,有多种方法可以合并和拼接数据。常见的方法包括append()、conc ...
2024-11-24《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22