COS存储跨园区同步方案
对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,用户可通过网络随时存储和查看数据。腾讯云 COS 使所有用户都能使用具备高扩展性、低成本、可靠和安全的数据存储服务。
COS同步方案一览
名称 |
同步时间 |
同步方式 |
依赖 |
---|---|---|---|
跨区域复制 |
触发后实时 |
主动同步(API级触发) |
同园区跨区域任务队列负载 |
COS Migration工具 |
轮询list+秒级间隔 |
主动同步(轮询检索) |
CVM或客户端性能资源和带宽能力 |
回源拉取 |
触发后实时 |
被动同步(回源拉取) |
同园区回源任务队列负载 |
SCF事件触发 |
触发后实时 |
主动同步(事件触发) |
SCF并发处理能力 |
数据同步方案1:跨区域复制同步能力
数据高可靠:通过上传至Master桶后,可实现实时跨区域数据同步,包括多云(友商云)同步。确保数据主从分离,天然支持业务层多副本冗余,提升数据可靠性。
- 因采用底层存储多副本和纠错码机制,单桶的可靠性可达99.999999999%
- 通过多桶实时同步方式,可将数据中心分散至多个园区,执行不同的策略或授权,进一步降低误操作等一系列人为故障。
- 通过SCF结合主流云服务提供商API,可实现多云的数据同步,进一步提升数据安全性。
服务高可用:通过多桶串联同步+CDN多源站机制+COS回源拉取,提升服务的连续性与健壮性。
- SCF 上传触发事件为created事件,在数据上传完成后触发,确保待上传的数据完整。
- 采用COS回源功能,能确保在资源上传Master后,但未同步至Slave和Backup节点时出现的数据访问失败问题。提供连续性的数据访问能力。
容灾能力:跨园区的多中心/多云策略,可最大限度避免大规模线路故障或服务提供商带来的影响。
- 多园区中心同步,通过中心节点互备,可避免局部性的运营商线路问题。
- 结合CDN产品,可提供多源访问,进一步避免局部运营商问题。
故障切换能力:丰富的多节点入口,可提供灵活的数据源切换,提升灾备切换能力。
- 结合智能DNS,监控等手段,用脚本自动化方式来实现故障的自动切换。