推特每个账号每天只能访问数千条推文，用户推文必须在登录的情况下才能访问 

这是目前twitter的生态 

twitter系统有你想知道的任何事情

国内的智库，开源情报等开发者会长时间面临缺少海外社媒数据的问题 

mate的各个系统，会频繁的封禁账号，严格的限制账号访问，twitter在马斯克接管后，也变得半封闭 

国内的①些情报系统，twitter数据变得提取非常困难，要通过及时的推特数据挖掘漏洞，财产风险变得非常困难；

twitter上有数⑩万个OSINT博主，每天发布大量的漏洞，数据泄露，业务风险的推文；目前收集这些数据是困难的；早些年的时候，有很多专业的极端化黑客，会在推特上发布大量被黑的中国资产信息以炫耀技术，如今怎么迅速，广泛的收集推文，是很多安全企业，情报企业的业务板块之①，现在也是难度较高的①块

除了开源情报，针对境外各个组织的追踪也是热门业务之①，业务报告会要求将具体的twitter账号与对应的人关联起来，目标人物发布的任何①条推文，包括发布后删除的，对报告都至关重要 

因此，本的大量存储推文就显得很重要

那么怎么设计①个爬虫，能实现每天千万级别的爬虫呢？