弦音

分布式 | 弦音

All posts tagged “分布式”

多数据引擎构建高可靠性爬虫的一种思路

  项目背景:有3个数据源(实际项目中为5个),我们暂定为A、B、C,这三个数据源每隔1分钟会更新数据,但是每隔数据源的可靠性不同。比如A数据源更新数据会延迟10秒,但连接的可靠性更高一些,B数据源虽然相对不稳定但数据更新更快。 (更多…)

回到顶部