在信息爆炸的时代,传统的方式和工具难以承载多元化的数据类型以及成倍递增的数据量,数据处理过程就好比大脑,信息本身就是这颗大脑里的神经元。如何快速准确找到数据背后隐藏的真实,挖掘隐藏在随机事件后面的规律,是上海前隆信息科技有限公司等互联网科技公司在探索的问题。
上海前隆信息科技有限公司框架高级工程师王新涵表示,公司基于以往的经验自研的度量平台,通过智能化监测、数据集中管理与分析,在多源、异构和非结构化的数据库中自动匹配,实现数据的识别、度量、监控、预警等一系列管理活动,为企业决策提供有力支撑,信息质量得以进一步提高。
王新涵说,前隆科技的度量平台,可以从庞大的信息库中快速检索出目标内容,多维度赋予其价值,再将这些结果运用到后续的步骤中,除了保证数据的完备性外,尤其在业务跨界的交叉运用上,提高了整体应用效率,较少数据重复处理的步骤,为企业创新助力。
“要知道,当面对海量信息时,传统的度量指标难以满足不同场景下的多维度统计查询。上海前隆信息科技有限公司各产线的业务都有一些日常的监控预警需求,要是每个项目都去开发一套预警系统,那将非常耗费时间与人力。所以公司的解决方案就是做一套实时、可配置的业务监控预警平台,再针对业务预警平台的采集、计算分析、实时查询的需求,单独开发一个度量平台,这样就把各产业的业务、性能等指标归整在一起,达到为报表、预警做后台支撑的目的。”
上海前隆信息科技有限公司对于度量平台的思考重点是在如何运用人工智能实现自动运算,在确保数据合规性、完整性和安全性的前提下,将运算的结果用于预警或者更多的业务场景,王新涵指出:“度量平台在获取、分析、管理、应用方面都符合前隆科技各产线需求的数据库管理工具,即使面对海量规模的数据也可以实现信息快速传递。我们通过在前端、后端实时埋点、DB采集,不侵入代码,直接从库中抽取;通过缓存技术,减少同一批次的重复查询与计算,降低平台的负载,高并发稳定,实现一次查询,多次命中;通过动态配置监控告警,实现整个系统从前端到后端各端的统一监控告警。可以随着业务的不断发展,实现对新指标采集与预警。”
“衡量度量平台这个项目的成效,其中一个非常重要的指标就是提高整个平台的吞吐量,以及降低热点内容的查询延迟。上海前隆信息科技有限公司自主研发的度量平台,历经10个版本的迭代,从最初的每天2亿的处理量,到现在峰值达12亿的处理量,经过不懈努力把平均响应时间控制在1秒之内。”据王新涵介绍,后续度量平台还将承载百亿级以上的处理量,兼顾数据合法利用和隐私保护双重需求,不断完善数据安全技术体系,使海量内容得到有效的保护与合理的应用,去提前应对可能出现的未知风险。
>>上一篇:江门长优实业:网络视听监管新规
-
99 2020-09-21 15:52:52
-
95 2020-09-21 14:11:22
-
141 2020-08-19 12:07:02
-
156 2020-07-31 09:43:21
-
162 2020-06-17 15:08:23
-
62 2020-06-02 09:55:17