聚水潭系统是干嘛的 什么叫聚水潭系统
自2014年成立以来,上海聚水潭网络科技有限公司一路披荆斩棘,迅速在市场上脱颖而出。最初,该公司专注于电商SaaS ERP系统,通过其卓越的产品和服务,迅速赢得了行业的广泛认可。如今,聚水潭不仅仅是一个SaaS ERP平台,更发展成一个涵盖多种商家服务的综合SaaS协同平台,服务范围覆盖全国33万多家电商企业,提供了全面的信息化解决方案。
根据阿里巴巴旗下商家服务市场最新的数据显示,聚水潭已成为企业ERP领域使用最广泛的软件。自双十一购物节的诞生起,聚水潭团队在每一轮电商大促中都经受了严峻的考验。尽管每年的订单量以几何级数增长,聚水潭的系统依旧能平稳、安全、顺畅地运行。例如,2019年双十一期间,聚水潭系统处理了总计2.5亿单的订单,总成交额突破400亿元。
依托阿里云的ECS和数据库产品,聚水潭构建了一个极具竞争力的电商SaaS平台。该平台不仅提供订单管理、仓储管理、分销管理和协同供应链等功能,还基于财务和经营数据,为商家提供了迅速生成经营报表、分析和测算工具的系统。阿里云的数据库服务,尤其是AnalyticDB for PostgreSQL(简称ADB PG),为聚水潭的核心数据仓库、CRM系统和在线分析报表业务提供了强有力的支持。当前,聚水潭的数据仓库总数据量已达到200TB+,日常任务运行超过354万次。在过去几年中,ADB PG成功支撑了多次电商大促考验。例如,2019年双十一期间,聚水潭数仓的日数据增量达5.6TB,平均写入TPS高达208万,系统表现稳定,无业务异常。
在数据仓库的建设过程中,聚水潭经历了从无到有的四个主要阶段:
原始期(2014年~2016年4月):公司成立初期,数据库主要服务于业务系统的需求。
探索期(2016年4月~2016年9月):随着业务规模的扩张,开始需要数据仓库功能,业务数据库承担了部分数据仓库的功能,业务系统和数据仓库之间开始互相影响。
自建期(2016年9月~2018年3月):聚水潭基于开源的Greenplum构建了数据仓库,尝试了大规模数据仓库模式。由于商家数量众多且增长迅速,逐步将商家分配到中等规模的数据仓库中,以适应业务的逻辑和发展。
成熟期(2018年3月~至今):全面拥抱阿里云,数据仓库完全采用ADB PG构建,承载了离线批处理和在线分析查询等业务。
每年的双十一购物节不仅是电商平台系统稳定性的全面考验,更是易用性和性能的最佳检验场。2019年8月,阿里云启动了“一路向北”迁移计划,将华东机房服务整体迁移至张北,以提供更大的扩展性和高性价比服务。在这一迁移过程中,聚水潭的ADB PG数据仓库也开始了双十一的相关规划。迁移准备期间,对聚水潭的三十多个ADB PG实例进行了水位摸底、瓶颈分析和双十一业务预期调研,并对业务量大、增长迅速的实例进行了针对性的调整和扩容。
针对双十一期间数据量剧增的情况,在双十一之前,聚水潭对离线批处理和在线报表业务进行了压力测试。在调整配置、扩容和新购实例的基础上进行的压力测试效果满足了业务需求。ADB PG在双十一前还进行了实例备份巡检、Xid巡检、磁盘容量巡检、CPU巡检等,以确保生产实例的稳定性。双十一当天及次日,工程师还专门到客户现场进行重点保障。目前,聚水潭拥有超过30个ADB PG实例,总计提供1348个CPU核心资源。
阿里云的AnalyticDB for PostgreSQL(ADB PG)采用MPP架构的分布式集群数据库,全面支持SQL 2003标准,高度兼容Oracle语法,支持PL/SQL存储过程和触发器,并支持标准数据库事务ACID。ADB PG通过行存储、列存储、多种分区表和索引等机制,不仅能够支持海量数据的在线分析,还能处理ETL批处理任务。以下是支持聚水潭海量数据仓库业务的关键技术点:
高压缩比列存储:ADB PG支持按列存储数据。对于更新频繁的数据,建议采用行存储;对于更新较少的大宽表,采用列存储。列存储不仅实现了高性能的全表聚合,还具备显著的数据压缩比。在聚水潭的数据仓库中,列存储数据压缩率普遍达到4倍以上,从而大大节省了空间,降低了成本。
复杂SQL优化:核心数据仓库的ETL过程通常涉及复杂的多表关联和聚合操作。ADB PG配备了完备的CBO代价优化器和Cascade SQL优化框架,能够结合RBO规则优化和CBO代价优化,指定最优的分布式执行计划,从而显著提升ETL的执行性能。
高性能执行:ADB PG支持多种计划机制,包括按区间或值进行分区、标准BTree索引、Bitmap位图索引等,这些机制保证了高性能的分析计算。
2019年底,ADB PG上线了新一代向量化计算引擎,相比标准TPC-H OLAP benchmark查询性能提升了1倍以上。当前正在公测的最新版本ADB PG 6.0大幅增强了HTAP能力,支持20万tpmC的标准TPC-C OLTP benchmark,从而在混合复杂场景和高并发QPS场景中展现出质的性能提升。ADB PG目前推出了一个月的一元试用活动,凭借其全面的功能和卓越的性能,成为了阿里云平台上构建海量实时数据仓库的最佳选择。
双12来袭!500元淘宝红包、iPhone 11等你来拿。
www./1212/2019/home?utm_content=g_