舆情分析:大数据中的先行产业_数据分析师
对来自互联网的非结构化数据中隐含的舆情信息进行提炼和分析,正在大数据的第一波浪潮中创造出越来越大的市场空间。而如何利用从互联网、社交网络、移动应用等创新领域创造的、呈现出爆发式增长的海量非结构化数据中创造价值,是当前大数据行业最为关注的热点话题。利用海量数据分析工具和算法对来自互联网的非结构化数据中隐含的舆情信息进行提炼和分析,从而为政府和企业管理者的工作提供决策支持,也正在大数据的第一波浪潮之中创造出越来越大的市场空间。
面对互联网上的海量信息,如何有效地发现和分析互联网舆情,是当前各类互联网信息系统必须面对的事实。2013年7月,国务院办公厅公布的《国务院关于加快促进信息消费扩大内需的若干意见》中指出了六个方面,其中一个方面就是加大信息消费产品的供给。大数据舆情属于互联网信息服务产业,同时也属于目前新一代信息技术和软件领域的热门领域。
而在整个大数据产业之中,互联网舆情监测行业作为先发者也正在迎来巨大的机遇。有分析数据显示,在中国舆情监测软件的市场规模将很快达到10亿以上,而在未来几年之中,舆情监测服务产业将会进一步迎来爆发式的增长,整个市场规模将达到100亿左右。
大数据市场中的引领产业
对于所有意欲在大数据产业中有所作为的IT服务商而言,互联网舆情监测服务的巨大商机都意味着所有市场的角逐者都会将其当做是不可能忽视的巨大馅饼。诚然互联网舆情对信息获取的实时性、全面性有更高的要求,因此,互联网舆情系统必须能支持大数据的舆情处理,才能有效为用户提供舆情服务。
对ISV的全才式要求
在整个互联网舆情分析产业之中,舆情软件主要围绕互联网舆情搜索与监测进行,虽然一些厂商提出了一些面向不同政府部门的舆情系统改进版本,但几乎仍是传统舆情监测的功能,仅仅是界面等有些变化。没有体现出行业互联网舆情海量非结构化数据处理的特点。陈宗华表示。
在他看来,政府不同的职能部门的舆情监控功能应当有所侧重,比如政府宣传部门监测舆情,应该是对本地域所有重大事件进行监控,而且还有舆情导控的功能,而消防部门关注的是本地与消防有关的舆情,组织部门侧重的是本地的干部监测等。只有在深入的结合行业工作特点的基础上,才能体现互联网舆情处理的优势。
而要想做到这些,整个舆情处理系统必须具有很好的架构支持,比如在采集目标管理和知识库构建上都要分公共和行业管理,而且可进行自由扩展,监测专题的自动生成需结合行业特征进行。系统的功能应该是可配置的,为不同的行业配置不同的功能模块。
因此,面对大数据舆情,系统的发展方向应该是面向行业的细分,比如政府版、组织检察版、消防版、环保版、教育版等等,而且应该和行业固有工作密切结合。随着移动终端的普及,不仅仅是给用户提供浏览器或者App方式的手机客户端,而是要研发多元化的输入模式的搜索、精准的内容返回、个性化的搜索体验。陈宗华说。
互联网舆情监控解决方案的开发,需要ISV在各个前沿的技术领域具备一定的能力。在陈宗华看来,这一行业中的ISV必须有能力结合云计算、大数据、社交网络分析、移动搜索等密切相关的技术,这样研发出的产品才具有技术竞争力。其中,互联网知识工程是以知识为基础构建的互联网智能信息系统。涉及到知识获取、知识表示和知识应用等技术。
改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
社会网络分析关注的焦点是关系和关系的模式,涉及到数据挖掘中的关联分析,相关矩阵或差异矩阵的统计分析,社交网络划分,核心人物识别,信息扩展过程,圈子话题倾向分析,小世界理论,六度空间分割等方法和技术。
而智能信息处理是计算机科学中的前沿交叉学科,是应用导向的综合性学科,其目标是处理海量和复杂信息,研究新的、先进的理论和技术。以互联网应用为主要背景的特定领域智能信息处理,包括:大规模文本处理、多媒体信息检索与处理、基于Web的知识挖掘、提炼和集成等。
互联网海量信息的高效采集方法,需结合模板定制采集,更重要的是使用诸多媒体自带的内置搜索功能,靠完全爬取多个媒体的信息技术已经很难满足客户的综合需要。而监测主题的机器理解,在监测互联网舆情时陈宗华,多是以专题的形式定制的,而专题在描述时有关键词、短语、规则(关键词及与、或关系)、一段话、若干篇文章,如何支持多种形式的主题描述,如何能自动理解用户对主题的描述,是舆情主题监测的首页一环。
此外,舆情处理系统在采集、正文提取、排重、分词、命名实体识别、分类、聚类、检索、简报专报生成、各类舆情统计、存储等环节中,需要面对并行处理问题。大数据处理的核心问题是并行化处理和信息存储,只有解决好了这些环节,才能体现一个舆情处理系统在大数据处理上的优势。
即便是在各个技术领域都做好了准备,利用大数据技术搭建互联网舆情分析系统对ISV而言同样意味着重大挑战。在陈宗华看来,与用户具体工作和业务流程的结合,以及舆情处理分析过程中的安全性,是这一产业ISV所面临最为主要的难点和挑战。
行业大数据舆情系统开发与用户工作的结合,研发的系统在业务领域,工作模式,工作流程,功能设计等环节都应与用户的工作密切结合。他表示,此外,我们公司的互联网舆情分析采用先进的SaaS模式提供服务,而在软件服务过程中,舆情安全性、保密性、可追溯性都值得注意。
而对于企业本身,研发团队的培养同样是进军这一市场所必需的关注点。大数据舆情涉及情报分析、新闻传播、计算语言、数据挖掘、机器学习、自然语言理解、社交网络分析、网络安全、知识工程、信息检索等等知识领域,如何组建一支知识结构合理、水平高的专业研发团队是一个舆情软件研发公司必须面对的问题。此外,企业的商业模式同样要具有独特价值,才能在这个新兴的产业市场之中取得较大的核心竞争优势。
打造多维度生态圈
在基于互联网的舆情分析产业之中,拥有发展机遇的不仅仅是分析技术的提供者。自行开发之外,IT方案商也可以通过合作的方式,将其他企业的技术用于用户解决方案的部署。从而与提供核心技术的ISV之间,形成立体的生态合作关系。
在互联网舆情分析领域,人民网拥有雄厚的实力和共识性的身份,他们旗下的技术团队开发了全套基于大数据技术的互联网舆情分析系统,并在许多政府和大型国有企业的宣传部门中使用,我公司也与他们建立了合作关系,将他们的解决方案在我们的智慧城市等项目中部署。南京幻方科技有限公司CEO陈哲介绍。
在陈哲看来,传统行业包括物流运输等领域受到应用开放程度限制,大数据挖掘的需求并不是特别高。而在政府和国有企业中,对舆情的分析和处理投入巨大,在政府舆情监控的带动下,一些大型的国有企业都参与到舆情监测控制项目的投入中。这方面的非结构化数据分析处理解决方案市场发展前景看好。
而对于竞争力优势在大数据之外领域的企业而言,要想进入这一被看好的市场,采取与其他企业合作的方式,同样能够帮助企业获得成功。如陈宗华所言,互联网大数据舆情分析市场的推广,离不开产业链上下游伙伴之间精诚的合作。在生态圈中,ISV最为主要的任务是推动市场更加创新,用更快的速度复制应用,从而把整个蛋糕做大。只有应用足够吸引人,后面的发展才会顺理成章。而将创新的应用与用户个性化的需求进行结合,让更多的政府、企业单位宣传、市场和业务部门负责人接受这一新的技术,同样也是贴近用户的IT方案商最重要的任务和最核心的业务价值所在。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据分析师这个职业已经成为了职场中的“香饽饽”,无论是互联网公司还是传统行业,都离不开数据支持。想成为一名优秀的数据分析 ...
2024-12-26在数据驱动决策成为商业常态的今天,数据分析师这一职业正迎来前所未有的机遇与挑战。很多希望转行或初入职场的人士不禁询问:数 ...
2024-12-25数据分析师,这一近年来炙手可热的职业,吸引了大量求职者的注意。凭借在大数据时代中的关键作用,数据分析师不仅需要具备处理数 ...
2024-12-25在当今数字化变革的浪潮中,数据分析师这一职业正迎来前所未有的发展机遇。回想我自己初入数据分析行业时,那种既兴奋又略显谨慎 ...
2024-12-25在当今信息爆炸的时代,数据已经像空气一样无处不在,而数据分析则是解锁这些信息宝藏的钥匙。数据分析的过程就像是一次探险,从 ...
2024-12-25在职场上,拍脑袋做决策的时代早已过去。数据分析正在成为每个职场人的核心竞争力,不仅能帮你找到问题,还能提供解决方案,提升 ...
2024-12-24Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19