mysql_proxy_pool项目开发

mysql_proxy_pool是一个基于 oracle 数据库 mysql 的动态代理池python项目。在以后的版本中会进一步加入对redis,mongodb,sqlite等其他数据库的支持。

图片无意义

项目特性Features

  • 可配置的参数,包括lower/higher thresholds用于动态扩容代理池。
  • 动态检测已有代理–剔除失效代理,动态从国内代理网站爬取代理(异步检测,爬取)。
  • 提供以flask作为http框架的flask接口获取代理。

项目依赖(可能)dependencies

  • Flask
  • aiohttp
  • requests

上线时间 open time

2018.6.28 Update:

已经完成了基本框架的搭建,包括基于aiohttp的异步web server以及数据库连接池工具的编写。可成功利用异步io快速爬取kuaidaili网站的免费ip,预计后面会加入更多ip网站的爬取方法。

Python版本要求

3.5以上(如果版本为3.4,请手动改写async/await,即使用@asyncio.coroutine装饰器以及yield from语法代替)