数据分析我做主 程序设计工具成科学家得力帮手
多年来,遗传学家Helene Royo使用商业软件分析自己的研究数据。她将DNA从发育中的小鼠精子里提取出来,送去分析,然后利用名为GeneSpring的软件研究结论。“作为一个科学家,我希望能理解自己做的任何东西。”她说,“但这类分析不允许这样:我只是按个按钮,并得到答案。”但随着Royo比较不同染色体基因活性的研究日益复杂,她意识到商业工具已无法满足她的数据处理需求。
之后,Royo有了一个选择:将基因序列发给专家或自己学着分析数据。她决定冒险一试,并开始学习如何用免费的开源软件包R解析数据。它帮助Royo所在的瑞士巴塞尔弗雷德里希米歇尔研究所生物医学研究中心在软件上运行了常规课程。但她还沿行着一个更宽广的趋势:对于那些尝试放弃使用商业软件的学者而言,R是可供选择的数据分析工具。
除了免费外,R受欢迎的部分原因是它对不同使用者呈现不同面貌。首先,它是一种编程语言,要求经由命令行输入,这似乎禁止非编码者使用。但初学者能够调用预先设置的软件包,其中包含了已经做好的统计分析和数据可视化命令。“R非常简单,它能为我做任何事。”Royo说。
而这也是R的开发者在上世纪90年代研发该软件包的初衷。新西兰奥克兰大学统计学家Ross Ihaka和Robert Gentleman对计算机十分感兴趣,但是缺乏需要的实际软件。因此,他们开发了一种能执行自己需要的数据分析的编程语言。R正是取自开发者名字的首字母。
在互联网兴起之初,R迅速吸引了全世界需要统计软件和乐于贡献点子的科学家的兴趣。Gentleman和Ihaka决定公开他们的源代码,而编码专家迅速开发出针对特定领域的预编程程序和命令。“我能写出天文学领域的人适合使用的软件。但如果是天文学者为同领域的其他人写软件会更好。”Gentleman说。
荷兰皇家海洋研究所海洋学家Karline Soetaert也同意该观点。2008年,她计划检查斯凯尔特河河口附近浮游生物的健康情况。Soetaert想要使用沿河收集的数据计算浮游动物的死亡速度,但R无法做到。为了解决该问题,她与两位生态学家开发了deSolve——写入R的首个程序包,以解决微分方程。她提到:“其他软件也能计算,但却昂贵且是闭源的。”现在,流行病学家也使用deSolve模拟传染性疾病,基因学家用它研究基因调控网络,药物开发者则将其用于药物代谢动力学。
到2003年,R首次发布10年之后,科学家已经开发出超过200个程序包,而且有关“R项目”的首个引用出现。现在,已经出现了针对各种专业的近6000个数据包。它们帮助科学家比较人类和尼安德特人基因组、建模人口增长、预言股票价格等。专家能使用R绘制手稿,他们可以嵌入源代码,通过knitr编译直接生成一份报告。2013年,在爱思唯尔的斯高帕斯数据库索引的科学文章里,有近1%援引了R或其中一个数据包,而在农业和环境科学领域,这个比例更高。
对于许多使用者而言,R作为统计学软件的质量十分引人注目。美国田纳西州大学统计学家Robert Muenchen表示,该工具与SPSS和SAS等商业数据包一样。在过去10年中,R已经赶上并超过了市场领导者。“大概在2014年夏天,R已经变成了使用量首屈一指的统计学程序包。”他说。
在基因组学和分子生物学领域,一个名为Bioconductor的软件项目紧随R之后。它能帮科学家处理和比较庞大的基因序列,利用基因表达综合数据库等数据库查询结果以及上传数据到数据库。它包含近1000个程序包,其中一些能帮助将新一代测序实验得出的数百万DNA片段与有注解的基因相连。
随着对R的钻研,Royo接受了密集训练:在弗雷德里希米歇尔研究所生物信息学部负责人Michael Stadler的监督下,她花费了约半年时间研究R和Bioconductor。伯克利数据科学研究所生态学家Karthik Ram表示,现在有足够的机会去学习R。Ram主动帮助科学家学习和开发R。他和同事免费提供培训课程,不需要任何现有编程技巧,并能针对科学家的特殊问题。
加州圣地亚哥州立大学生态学家Megan Jennings接受了相关培训。她追踪山猫、美洲狮和其他野生动物,以理解它们的行为。最终,36台相机在1年时间里拍摄了40多万张时间标记照片。最初,她手动选择出想要的照片,并将它们输入一个名为PRESENCE的黑匣子程序。但在Ram的帮助下,她写出了一个能够读出标记照片的R程序包,并对照片进行精简,然后将自定义数据子合集发送到R预先存在的模型程序包中。“之前我要动手挑拣1个小时的照片,而现在只需要做5分钟。”Jennings说。
另外,R的一个最伟大之处就是它的在线服务。Muenchen表示,有关R的讨论区远超针对其他商业统计软件的在线提问。“这种情况十分常见,一个人发布了一个问题,然后其他人在半小时内开发出程序包来回答。”他说。这样的快速反应对基础研究领域的科学家非常重要。“我几乎能在线找到任何问题的答案。” Royo说。
但与其他技能一样,学习R并非一夕之功。但Jennings表示,它值得学习。“将它作为一种投入:为了之后的节省时间和构建解决多种问题的技巧。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
AI来了,数分人也可以很省力,今天给大家介绍7个AI+数据分析工具,建议收藏。 01酷表 EXCEL 网址:https://chatexcel.com/ 这是 ...
2024-12-26一个好的数据分析模型不仅能使分析具备条理性和逻辑性,而且还更具备结构化和体系化,并保证分析结果的有效性和准确性。好的数据 ...
2024-12-26当下,AI 的发展堪称狂飙猛进。从 ChatGPT 横空出世到各种大语言模型(LLM)接连上线,似乎每个人的朋友圈都在讨论 AI 会不会“ ...
2024-12-26数据分析师这个职业已经成为了职场中的“香饽饽”,无论是互联网公司还是传统行业,都离不开数据支持。想成为一名优秀的数据分析 ...
2024-12-26在数据驱动决策成为商业常态的今天,数据分析师这一职业正迎来前所未有的机遇与挑战。很多希望转行或初入职场的人士不禁询问:数 ...
2024-12-25数据分析师,这一近年来炙手可热的职业,吸引了大量求职者的注意。凭借在大数据时代中的关键作用,数据分析师不仅需要具备处理数 ...
2024-12-25在当今数字化变革的浪潮中,数据分析师这一职业正迎来前所未有的发展机遇。回想我自己初入数据分析行业时,那种既兴奋又略显谨慎 ...
2024-12-25在当今信息爆炸的时代,数据已经像空气一样无处不在,而数据分析则是解锁这些信息宝藏的钥匙。数据分析的过程就像是一次探险,从 ...
2024-12-25在职场上,拍脑袋做决策的时代早已过去。数据分析正在成为每个职场人的核心竞争力,不仅能帮你找到问题,还能提供解决方案,提升 ...
2024-12-24Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19