每日一课
点击文末阅读原文进入智慧城市资源学院，选择感兴趣的话题，点击不同分教室的链接聆听或阅读。
最新话题：
【教室16 智慧地产技术】如何把智能家居与智慧地产融合发展？
【教室15 交通安全技术】如何理解广义的交通安全？有哪些创新？
【教室14 智慧物业技术】智慧社区物业管理如何实现数据运营？
【教室13 智慧海洋技术】如何系统地理解智慧海洋和透明海洋？
本期正文
智慧城市实时大数据流如何实现数据集成？
数据集类型包括：
无穷数据集：无穷的持续集成的数据集合
有界数据集：有限不会改变的数据集合
那么那些常见的无穷数据集有哪些呢？
用户与客户端的实时交互数据
应用实时产生的日志
金融市场的实时交易记录
…
实时大数据流：只要数据一直在产生，计算就持续地进行。
应用：在应用大数据的过程中，不仅需要看到其对于海量数据的存储、查询和分析类场景的需要，更需要探索如何运用多种大数据技术范式为业务提供解决方案。在应用较多的领域如用户画像、精准营销、实时反欺诈等领域，实时流计算的运用已经成为事实标准，未来在量化交易、风险检测、实时机器学习、实时决策引擎、设备异常分析等领域，实时大数据流的数据集成有更多用武之地。
平台：流处理平台通过建立自己的分布式实时消息总线与周边系统集成。
引擎：实时大数据计算引擎对动态的实时（地理）数据源提供流数据服务，当数据到达计算系统并处理完之后，通过流数据服务将结果实时反馈到业务系统或可视化系统进行实时显示。
价值：实时大数据流的价值并不是数据本身，而是数据背后所隐藏的对业务有影响的信息和知识。要从数据（Data) 最终提炼出智慧（Wisdom），数据要经过一条很长的数据流链路，没有一套完整的系统保证整条链路的高效运转是很难保证最终从数据中提炼出来有价值的东西的，所以大数据未来产品全链路化是一个大的趋势。
洞察：随着技术的不断发展，很明显，企业和新兴市场都在转向获取实时分析和大数据流，以实时获取更具操作性的信息。
工具：在构建大数据流水线时，要考虑处理数据的数量，种类和速度，这些数据通常出现在Hadoop生态系统的入口。在决定采用哪种工具来满足要求时，都会考虑到可扩展性、可靠性、适应性、开发时间方面的成本等初步因素。
风险：数据在流动中会面临更多的风险，既有数据泄露的所有者权益损失的风险，也包含了对其他方如个人隐私侵犯和影响国家安全的风险。对应的，这种流动的数据环境对数据安全的体系提出了新的要求，很难再用传统的系统安全保护体系：通过静态的隔离保护措施来控制数据在流动中的风险。
未来：用全局的思维来看待数据，企业其实需要将高效的硬件与高效的全新数据分析软件相结合，构建一个面向未来的灵活平台，能够支持复杂的数据管理、高性能、低时延，存储更多的数据，以最快的速度传输数据，并处理从云端到边缘的一切数据。
您有什么问题需要探讨，可加入【教室1 智慧城市技术】后留言。





结束语
智慧城市实时大数据流的应用场景很多，当前，随着智慧城市建设的深入发展，基于物联网的广泛应用，海量数据秒秒钟都在更新，通过数据洞察业务及其风险，为决策提供支持是当下最高价值的应用。
实时大数据分析平台具备数据采集、数据清洗、数据转换、数据管理、数据安全保护、多源异构数据统一连接、数据加载加速、大规模数据分布式内存计算、海量数据实时处理、数据库内人工智能分析、大规模数据集机器学习、流式数据实时处理、资源自动化调度、集群可视化管理、数据持久化存储、数据可视化展示等功能。目前，该平台已应用在甘肃省工业经济运行检测、上海地区的港口车辆自动调度、上汽无人驾驶汽车及教育局数据仓库系统以及安徽省联通用户标签搜索项目、统计局社情民意大数据分析与12345 政府智库项目等，助力各区域政企客户的数字化升级。
http://industry.caijing.com.cn/20191014/4620671.shtml
实时大数据处理平台作为大数据实验室“3+1”整体解决方案中的“1”个成熟大数据处理平台，以数据治理为核心，希望帮助更多金融从业者在决策过程中更多的利用数据分析，从而减少经验判断对决策产生的主观影响，助力企业走上大数据处理智能化的道路。
http://prnews.techweb.com.cn/qiyenews/archives/139543.html
政府相关部门可以通过大屏直观掌控区域整体人口状况，科学评判人口变动趋势；可以通过丰富多样的人口数量、各街乡人口情况等可视化形式，量化判断当前城市区域人口情况；同时，还可以针对重点区域进行监测，充分发挥预警预判作用。
http://biz.ifeng.com/a/20190311/45343232_0.shtml
智慧城市和方案设计社群
智慧城市社群和方案设计社群分别面向智慧城市及方案设计两个领域，欢迎有兴趣者扫码加入。