mysql_proxy_pool是一个基于 oracle
数据库 mysql
的动态代理池python项目。在以后的版本中会进一步加入对redis,mongodb,sqlite等其他数据库的支持。
项目特性Features
- 可配置的参数,包括lower/higher thresholds用于动态扩容代理池。
- 动态检测已有代理–剔除失效代理,动态从国内代理网站爬取代理(异步检测,爬取)。
- 提供以flask作为http框架的flask接口获取代理。
项目依赖(可能)dependencies
- Flask
- aiohttp
- requests
上线时间 open time
2018.6.28 Update:
已经完成了基本框架的搭建,包括基于aiohttp的异步web server以及数据库连接池工具的编写。可成功利用异步io快速爬取kuaidaili网站的免费ip,预计后面会加入更多ip网站的爬取方法。
Python版本要求
3.5以上(如果版本为3.4,请手动改写async/await,即使用@asyncio.coroutine装饰器以及yield from语法代替)