智慧型计算在大数据分析之应用_数据分析师培训
在数据爆炸量、多样化以及数据更新快速的时代下,大数据分析之应用日益受到重视,在商业智慧领域也无法避免;过去所处理的数据大都是属于结构性,亦为传统数据库用于协助解决商业行为的数据结构;近年来,由于数据产生的多元性,数据的产生有「4V」特性,即数据量大(Volume)、数据多样性(Variety)、高误差性(Veracity)、输入和处理速度快(Velocity),尤其非结构数据(如Text, image, video等)的大量形成,强烈冲击传统数据库的技术与应用;同时,因为大数据数据类别多、形成速度快,因此云端技术的支援与数据传输速度的充足与否,便是其能否顺利运作的重要关键,如订票系统、观看影片等,当数据都上传至云端时,除了有大量的数据存取空间外,频宽也必需充足,才能让使用者可及时下载所需数据。
但就因为数据产生越来越多、瞬间产生越来越快、样式越来越大,而且有不正确性、杂讯等干扰因素存在,因此软、硬体设备都需要升级,才能因应庞大且迅速产生的数据量。幸而Hadoop分散式并行处理系统的开发,让数据在够快的网路速度下可进行多个CPU的平行运算;此外,固态硬碟亦为大量数据储存的重要硬体设备;换句话说,CPU的平行运算、固态硬碟、及网路速度,在大数据的数据处理上,叁者缺一不可。本校张百栈教授所带领的商业智慧团队,其核心技术就在于处理大数据下之非结构性数据,利用智慧运算(Computational Intelligence, CI)技术,对非结构性数据进行数据探勘(Data Mining),而主要应用的领域在于股价讯号判定以及心跳数据判定,尤其是在股价讯号判定部分,该团队可进一步利用机器学习(Machine Learning)的方式进行股价预测。
智慧型计算技术应用在病例数据之判读
张百栈教授所带领的团队一直以来致于推广智慧型计算,并结合各域知(Domain Knowledge)解决同类型之问题,包括工厂排程问题、股市预测与医疗资讯叁大域。过去多年之研究在于结合四项智慧型计算技术:即探勘策、(类)经计算、演化式计算与自然计算,提出创新的Hybrid Model in Computational Intelligence (CI),用SOM (Self-Organizing Maps) 或K-means 先将资做分群,再将分群后的资找出其模煳资规则,进新的预测,所得到的正确比没有分群高出许多。这是因为分群后的资同质性高,从而求得之模煳资规则也具有代表性。此一模型也被国际上许多学者接受与引用。
该团队亦将此一模式进行改良,并应用于医疗领域中生理讯号处理与病例辨等问题。首先,将资以案例式推理方法分群,之后以模煳决策树与基因演算法,分别建立子群体之模煳规则,藉此判断是否为肝脏疾病与乳腺癌的病例,此项研究成果已发表在着名的Applied Soft Computing期刊上。近年发展出多导程心电图之心脏疾病辨,主要着重在心电讯号的处理:先将解码后的心电讯号除去杂讯,并进行波型取样,再以隐藏式马可夫模型训练方式,找出患病与健康病例之机模型,最后结合高斯混合模型的训练,进病例判读。目前台湾已有知名医院将患者的心电图资讯上传至云端,让医师可以从智慧型装置直接做判读,但由于心电图的判读颇费心力,部份医院会将这部分的工作外包,由具专业知识的全球人才进行心电图的分析,然后再以机器学习演算法(Machine Learning )的方式进行病历数据判读与建立数据库,这也就是大数据的应用。
分群技术与 TSK 模煳技术之股价指预测
此一团队亦运用各种软性计算技术,建立股价指预测之模型。其预测步骤是先将资分群,而后运用TSK 模煳技术找出影响股价指数的重要因素,再以机器学习演算法或类神经网络分析,进台湾加权指预测,并从中判定低点、高点的讯号,预测准确达到9成以上。目前此一预测模式仅纳入两个影响因子,分别为基本面和技术面;但如政治、经济、心理等「大环境」因素是最难控制的,因此未来可将出现在各线上新闻网站或社群媒体等之政经新闻中的文字,经处理、过滤后转换成影响股价波动的情感讯号,准确率将可望再提高,有助于降低投资风险,并提高投资报酬。
个股股价转折点及润赚取预测
图一、方法流程图
此一团队另一项股市预测技术,在于个别股价投资时点之研究。先将所欲投资的个股,其近半年至一年来的股价波动讯号,从非线性转成线性后,在高、低点时之相关技术面指标如KD、RSI、成交量等作为输入变数(input),并将股价转化为交易讯号(Trading signal)以作为输出变数(output),进而从中找出具代表性的变数;之后再将筛选出的因子,输入类神经网路中训练,也就是Machine Learning,进而预测股价之高、低点转折处。此部份可是股价指数预测部份之延伸,由于已可成功预测股价指,因此进一步探讨如何在股票市场中赚取润便相当重要,预测出个股价格转折点(Turning Point),便可让投资者能逢低买进、逢高卖出,提升投资报酬率;此部份之技术基础在于结合线段割(Piecewise Linear Representation, PLR)系统与类经网预测(Back-propagation Neural Network, BPN)等技术,而以 PLR 作为判断塬始资转折点之预测工具。研究程主要分为叁个步骤:首先,为增加投资报酬,我们将提出选股塬则,并以这些塬则选出具有投资效的个股;第二步骤,用预测模型及事先交易决策分析个股买卖点,输入变为技术指标值,输出变为买卖时点;第叁步骤,预测每日交易讯号,以获得最佳买卖时机点,即股价转折点(如图一)。
综上所述,张百栈教授所率领的商业智慧运算团队,除了基础分析技术超卓外,所应用分析的领域涵盖面极广并切合实际应用,尤其是对于生理资讯的判定方面,对于人类社会将会有长足的贡献,研究成果相当值得期待。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10