目前采集一个AI站点,写了一个 crontab 脚本每秒执行一次,脚本内 foreach 嵌套 do { ... } while (); 循环代码,直至本次拉取完成,因为有的主题下就有上万条数据,所以要嵌套一层。
这是站点服务器,这台服务器上配置了 YAC 缓存,优先拉取YAC,如果本地没有数据,则拉取数据库服务器的Redis缓存,还没有就从数据库获取数据。香港主机,采集目标美国站点,入库国内数据库。
这是数据库服务器,我将数据库分离到了另外一台主机,这台服务器上有Redis缓存。国内主机