Clark Lu's Blog 聆风的个人站点

项目管理碎碎念：自动生成周报需求管理2-3个人的团队，需求如下： 需要明确团队的任务 将团队的任务wbs，分解成每个人的任务 每周对上级进行周报汇报 想得到的目标： 明确的看板任务，提升团队效率 写总结报告的时候，不用纠结回忆，节省时间和心力，也不会遗漏 主角Trello + Planyway Trello的任务看板适合Get things done，随时添加零碎项目，提升效率。 Planyway的甘特图适合对整个工作阶段有个全局的认识 Planyway 官网：https://planyway.com/ Chrome extension 下载地址：https://chrome.google.com/webstore/detail/planyway-team-planner-for/kkgaechmpjgbojahkofamdjkaklgbdkc 效果图Planyway生成一周的甘特图看板，进行周报汇总或者参考，当然也可以直接打印 Trello钉钉提醒： 特点 工具免费：个人使用者的最大需求，秒杀 轻量、好学：比公司自建的jira、禅道 轻量，比omniplan好学...

把布隆过滤器用起来本文偏应用和代码实践，理论请参考本文末尾参考文章 简介一句话简介：过滤器，判断这个元素在与不在，不在则100%不在；在则去查询，确认在不在。 详细简介：BloomFilter，中文名称叫做布隆过滤器，是1970年由 Bloom 提出的，它可以被用来检测一个元素是否在一个集合中，它的空间利用效率很高，使用它可以大大节省存储空间。BloomFilter 使用位数组表示一个待检测集合，并可以快速地通过概率算法判断一个元素是否存在于这个集合中，所以利用这个算法我们可以实现去重效果。 它的优点是空间效率和查询时间都远远超过一般算法，缺点是有一定的误识别率和删除困难。 场景1、大量爬虫数据去重 2、保护数据安全：广告精确投放 ：广告主通过设备id，计算hash算法，在数据包（数据提供方）中去查找，如果在存在，则证明该设备id属于目标人群，进行投放广告，同时保证设备id不泄露。数据提供方和广告主都没有暴露自己拥有的设备id。间接用户画像且不违数据安全法。详见：https://zhuanlan.zhihu.com/p/37847480 3、比特币网络转账确认 SPV节点:SPV...

02Python中一切皆对象——Python高级编程和异步IO并发编程2.1 Python中一切皆是对象讲解动态语言和静态语言的区别Python的面向对象更彻底函数和类也是对象，属于Python的一等公民1、赋值给一个变量2、可以添加到集合对象中3、可以作为参数传递给函数4、可以当做函数的返回值2.2 type、object和class的关系2.3 Python中的常见内置类型2.4 本章小结

01课程介绍——Python高级编程和异步IO并发编程为什么需要进阶Python高级工程师会面试什么我们只需要知道当前的Python知识就够了吗？语言本身的进阶知识优先于框架，大公司更注重语言本身的功底 如何进阶和大神一起阅读优秀源码、懂原理面试、多做项目 你是否遇到看不懂优秀库和框架的源码不知道如何才能进一步优化自己的代码asyncio、tornado 等异步框架背后的原理Python代码灵活背后的设计原理对生成器稀里糊涂很多Python抛出的异常看不懂 课程概述目标：系统全面学习Python高级知识和并发编程方法：功能->原理->应用案例技术：面向对象、魔法方法、元类、生成器、多线程->协程 章节安排01 课程介绍02 Python中一切皆对象03 魔法方法04 深入类和对象05 自定义序列类06 深入Python的set和dict07 对象引用、可变性和垃圾回收08 元类编程09 迭代器和生成器10 Python socket编程11 多线程、多进程和线程池编程12、协程和异步IO13、asyncio并发编程14、课程总结课程安排一切皆对象魔法方法详解Py...

scrapy-spalsh使用UA和IP代理核心设置UA，优先在lua脚本中使用splash:set_user_agent(“{ua}”) 设置ip代理，使用SplashRequest的proxy 代码1pip install fake-useragent 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849# -*- coding: utf-8 -*-import scrapyfrom scrapy import Spiderfrom urllib.parse import quotefrom scrapy_splash import SplashRequestfrom risk_control_info.utils import get_proxy_ipfrom fake_useragent import UserAgentua = UserAgent()script = """function main(splash,...

00 机器学习概述、特征工程、机器学习算法引入：”人工智能之父“ 艾伦图灵：图灵测试 马文·李·闵斯基（英语：Marvin Lee Minsky，1927年8月9日－2016年1月24日），科学家专长于认知科学与人工智能领域，麻省理工学院人工智能实验室的创始人之一，著有几部人工智能和哲学方面的作品。1969年，因为在人工智能领域的贡献，获得图灵奖。 关系 新闻一“小”一“同”南方都市报的“小南”，广州日报的“阿同”机器人 技术方面的话，主要是计算机视觉，自然语言处理，数据挖掘。 
计算机视觉就包括图像识别，视频识别，具体应用有人脸识别，步态识别，无人驾驶汽车等等。 
自然语言处理包括机器翻译，语音识别，文本挖掘等等，像siri，谷歌翻译里面都有很多的自然语言处理技术。 
数据挖掘主要是各种推荐和预测，包括电子商务的商品推荐，计算广告，社交网络分析（微博好友推荐等），预测一些趋势，比如股市的走向，天气的变化等。 无人驾驶百度：阿波罗 医疗 医疗CT 量化交易图片艺术化 GAN神经网络：视觉相关处理 Ai智能手机 智能推荐 开发框架pytorch TensorFlow： scik...

在Centos7使用supervisor置顶：推荐使用pip install supervisor安装最新版supervisor，yum install supervisor最高版本3.1.4，有很多bug 名称解释supervisor：要安装的软件的名称。supervisord：装好supervisor软件后，supervisord用于启动supervisor服务。supervisorctl：用于管理supervisor配置文件中program。 Centos7 Python3.7安装最新版supervisorCentos7 通过编译安装的Python3.7 pip37 安装supervisor最新版。pyhton3支持日志中文，python3配合最新版supervisor，bug最少，体验最佳。 12345678➜ ~ pip37 install supervisor ...

安装python3参考：https://www.yuzhi100.com/tutorial/centos/centos-anzhuang-python36CentOS7系统自带的Python版本是Python2.7，如需使用Python3.6，需要自行安装Python3.6。 (1)安装IUS软件源1234#安装EPEL依赖sudo yum install epel-release#安装IUS软件源sudo yum install https://centos7.iuscommunity.org/ius-release.rpm (2)安装Python3.61sudo yum install python36u 安装Python3完成后的shell命令为python3.6，为了使用方便，创建一个到python3的符号链接 123# rm /bin/python # 删除默认的python2# sudo ln -s /bin/python3.6 /bin/pythonsudo ln -s /bin/python3.6 /bin/python3 (3)安装pip3安装完成python...

生产环境CentOs7安装docker记实记录下，下次直接C、V使用 前置检查12345[root@web-95-61 /]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) [root@web-95-61 /]# uname -a Linux web-95-61 3.10.0-862.el7.x86_64 #1 S...