大数据变现给了数据建模者自证价值的最好机会

2017-12-28

大数据变现给了数据建模者自证价值的最好机会 从 BI 时代开始，笔者曾经做过取数，报表，建模，挖掘，分析等各类数据支撑工作，有个问题一直萦绕心中，数据支撑者如何证明自己工作的价值。 一、关于量 ...

2017产业大数据应用会议在北京举办

2017-12-28

2017产业大数据应用会议在北京举办 为进一步贯彻落实国家大数据发展战略，提升城市社会经济发展新动能，中国统计信息服务中心、首页大数据联合举办的“2017产业大数据应用会议”26日在北京拉开帷幕。本次会议以 ...

面试题-关于大数据量的分布式处理

2017-12-27

面试题-关于大数据量的分布式处理 题目：生产系统每天会产生一个日志文件F，数据量在5000W行的级别。文件F保存了两列数据，一列是来源渠道，一列是来源渠道上的用户标识。文件F用来记录当日各渠道上的所有访问 ...

大数据量快速处理的架构设计

2017-12-27

大数据量快速处理的架构设计 在业务数据的处理过程中，经常会遇到夜间批次处理大量的数据，而且会有时效的要求。特别是当应用系统跑了2年以上时，就会有大表或者特大表的操作了，数据量达到百万甚至上亿。 这 ...

我国将加强健康医疗大数据应用

2017-12-27

我国将加强健康医疗大数据应用 健康医疗大数据是重要的基础性战略资源之一，其应用发展将带来健康医疗模式的深刻变革。日前，国家卫生计生委副主任金小桃表示，我国将加强健康医疗大数据应用与发展，推进医学知 ...

用“互联网+大数据”监管外卖商户

2017-12-27

用“互联网+大数据”监管外卖商户 近日，记者从市食药监局丰泽分局获悉，丰泽区率先在全市引入网络餐饮服务监管系统，运用“互联网+大数据”技术，将美团、饿了么、百度外卖等网络餐饮服务平台的餐饮商家全部纳 ...

浅谈使用ArcPy执行大数据量处理任务

2017-12-27

浅谈使用ArcPy执行大数据量处理任务 Python功能强大而易于学习。对于ArcGIS for Desktop用户来讲，Python是提高工作效率的不二选择。 Arcpy是esri提供的用于高效数据处理分析、制图等的Python站点包。 利用A ...

大数据在金融行业的应用与挑战

2017-12-27

大数据在金融行业的应用与挑战 A    具有四大基本特征 金融业基本是全世界各个行业中最依赖于数据的，而且最容易实现数据的变现。全球最大的金融数据公司Bloomberg在1981年成立时“大数据”概 ...

中国电科院卫星大数据应用平台上线

2017-12-26

中国电科院卫星大数据应用平台上线 12月15日，由中国电力科学研究院有限公司组织建设的卫星大数据应用平台正式上线运行，成为国内首个面向电力行业的卫星大数据应用平台。 卫星科学与技术是当代高新技术的重 ...

大数据量的数据库表设计技巧

2017-12-26

大数据量的数据库表设计技巧 即使是一个非常简单的数据库应用系统，它的数据量增加到一定程度也会引起发一系列问题。如果在设计数据库的时候，就提前考虑这些问题，可以避免由于系统反映迟缓而引起的用户抱怨。 ...

大数据量最近的存储分表常见算法

2017-12-26

大数据量最近的存储分表常见算法 当一个应用的数据量大的时候，我们用单表和单库来存储会严重影响操作速度，如mysql的myisam存储，我们经过测试，200w以下的时候，mysql的访问速度都很快，但是如果超过200w ...

将大数据量导成Execl表思路

2017-12-26

将大数据量导成Execl表思路 一、需求 最近客户有一个需求，将多个物理表导成Execl表，可是问题是其中有几个表的数据量在20W以上，一个Execl的Sheet只能导入65536条数据，直接使用SQL Server的导出 ...

共话医疗大数据标准体系

2017-12-26

共话医疗大数据标准体系 日前，由吴阶平医学基金会、京津冀医疗大数据促进会主办，天津市滨海新区人民政府、天津市卫计委支持的“医疗大数据应用及标准体系建设高级研讨会”在滨海举行。 本次研讨会组织包括 ...

如何防范人工智能、大数据、区块链、云计算的技术风险

2017-12-25

如何防范人工智能、大数据、区块链、云计算的技术风险 众所周知，人工智能、大数据、区块链、云计算这四项技术是Techfin市场中的顶梁柱。近日京东金融研究院发布了《2017金融科技报告——行业发展与法律前沿》( ...

面向大数据的分布式调度

2017-12-25

面向大数据的分布式调度 大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色，整个数据的生产、交付、消费都会贯穿其中，本文从调度、分布式调度的特征展开，再对大数据调度个性化特征的一些 ...

大数据：算得出数字，算不出人性

2017-12-25

大数据：算得出数字，算不出人性 信息时代，没有人能逃脱数字的包围，我们的日常活动情况都被数字化的信息形式记录下来，就连手机里的好友都拦不住大数据无形的手。最近微信新增了删除“不常联系好友”功能—— ...

大数据下的成都：意料之外，情理之中

2017-12-25

大数据下的成都：意料之外，情理之中 哲人李泽厚曾说过，哲学就是科学加诗。现代科技给人类带来的生存——生活方式的变革，不仅体现在衣食住行、性寿健娱上面，还体现在它对人们精神领域的全面渗透与改造。而我 ...

铁路携手大数据释放红利便民更惠民

2017-12-24

铁路携手大数据释放红利便民更惠民 17日，中国铁路总公司副总经理、党组成员黄民在第十九届北大光华新年论坛上说，目前京沪高铁复兴号动车组实现了WIFI全覆盖，这个今后将推广到全部高铁。 当今社会，已经进 ...

九十四个大数据项目纳入重庆创新应用试点

2017-12-24

九十四个大数据项目纳入重庆创新应用试点 12月23日从市经信委获悉，经过申报评审，全市94个大数据项目纳入2017年重庆大数据创新应用试点项目。这些项目将被优先推荐纳入国家大数据综合试验区建设等产业战略规划 ...

2018年大数据的五个发展趋势

2017-12-24

2018年大数据的五个发展趋势 如今，数据是已成为组织最大的资产之一，而随着2018年的到来，数据对组织的重要性将日益增长。 数字化变化的速度如此之快，以至于人们难以准确预测2018年的趋势。然而，可以肯定 ...