Clark Lu's Blog 聆风的个人站点

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick StartCreate a new post1$ hexo new "My New Post" More info: Writing Run server1$ hexo server More info: Server Generate static files1$ hexo generate More info: Generating Deploy to remote sites1$ hexo deploy More info: Deployment

GitHub Pages 多域名绑定指南：突破 CNAME 单域名限制前言GitHub Pages 是一个优秀的静态网站托管服务，但有一个限制：CNAME 文件只能包含一个域名。如果你有多个域名（如 clarklu.com 和 luzihang.com）想要指向同一个 GitHub Pages 网站，本文提供了完整的解决方案。 GitHub Pages 的 CNAME 限制为什么只能有一个域名？GitHub Pages 使用 CNAME 文件来指定自定义域名。这个文件位于仓库的根目录或 source/ 目录（如果使用 Hexo 等静态网站生成器），内容格式如下： 1clarklu.com 限制：CNAME 文件只能包含一个域名，不能同时写多个域名。 实际需求场景假设你有以下域名： 主域名：clarklu.com（用于 SEO 和主要访问） 次要域名：luzihang.com（也想指向同一个网站） 目标： 让两个域名都能访问同一个 GitHub Pages 网站 通过 DNS 配置实现多域名绑定 可选：使用 301 重定向统一 SEO（推荐） 解决方案：通过 DNS 配置...

场景有些场景，为了方便、高效，需要脱离scrapy框架使用spalsh 配置代理：隧道代理为佳 在宿主机上找个位置，新建文件/root/splash/proxy-files/cip.ini 注意：区别于官方文档，ini应该为小写 1234567891011121314151617181920212223[proxy]; requiredhost=你的配置port=你的配置; optional, default is no authusername=你的配置password=你的配置; optional, default is HTTP. Allowed values are HTTP and SOCKS5type=HTTP[rules]; optional, default ".*"whitelist= .*cip.cc.*; optional, default is no blacklistblacklist= .*.js.* .*.css.* .*.png docker启动spalsh1234[root@host proxy-fi...

在docker中启动selenium gird使用扩展，并使用隧道代理，比如阿布云、多贝云、蘑菇代理。how to set proxy with authentication in selenium chromedriver python proxy with authentication(账号密码认证代理)不支持chrome headless，但是对docker selenium 或者 selenium gird集群，是支持的。启动selenium docker 1docker run -d -p 4444:4444 --shm-size=2g -m 800M --memory-swap=800M --name=chrome --restart=always selenium/standalone-chrome 一、selenium使用隧道动态代理(会生成本地zip插件文件) 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455...

项目管理碎碎念：自动生成周报需求管理2-3个人的团队，需求如下： 需要明确团队的任务 将团队的任务wbs，分解成每个人的任务 每周对上级进行周报汇报 想得到的目标： 明确的看板任务，提升团队效率 写总结报告的时候，不用纠结回忆，节省时间和心力，也不会遗漏 主角Trello + Planyway Trello的任务看板适合Get things done，随时添加零碎项目，提升效率。 Planyway的甘特图适合对整个工作阶段有个全局的认识 Planyway 官网：https://planyway.com/ Chrome extension 下载地址：https://chrome.google.com/webstore/detail/planyway-team-planner-for/kkgaechmpjgbojahkofamdjkaklgbdkc 效果图Planyway生成一周的甘特图看板，进行周报汇总或者参考，当然也可以直接打印 Trello钉钉提醒： 特点 工具免费：个人使用者的最大需求，秒杀 轻量、好学：比公司自建的jira、禅道 轻量，比omniplan好学...

把布隆过滤器用起来本文偏应用和代码实践，理论请参考本文末尾参考文章 简介一句话简介：过滤器，判断这个元素在与不在，不在则100%不在；在则去查询，确认在不在。 详细简介：BloomFilter，中文名称叫做布隆过滤器，是1970年由 Bloom 提出的，它可以被用来检测一个元素是否在一个集合中，它的空间利用效率很高，使用它可以大大节省存储空间。BloomFilter 使用位数组表示一个待检测集合，并可以快速地通过概率算法判断一个元素是否存在于这个集合中，所以利用这个算法我们可以实现去重效果。 它的优点是空间效率和查询时间都远远超过一般算法，缺点是有一定的误识别率和删除困难。 场景1、大量爬虫数据去重 2、保护数据安全：广告精确投放 ：广告主通过设备id，计算hash算法，在数据包（数据提供方）中去查找，如果在存在，则证明该设备id属于目标人群，进行投放广告，同时保证设备id不泄露。数据提供方和广告主都没有暴露自己拥有的设备id。间接用户画像且不违数据安全法。详见：https://zhuanlan.zhihu.com/p/37847480 3、比特币网络转账确认 SPV节点:SPV...

02Python中一切皆对象——Python高级编程和异步IO并发编程2.1 Python中一切皆是对象讲解动态语言和静态语言的区别Python的面向对象更彻底函数和类也是对象，属于Python的一等公民1、赋值给一个变量2、可以添加到集合对象中3、可以作为参数传递给函数4、可以当做函数的返回值2.2 type、object和class的关系2.3 Python中的常见内置类型2.4 本章小结

01课程介绍——Python高级编程和异步IO并发编程为什么需要进阶Python高级工程师会面试什么我们只需要知道当前的Python知识就够了吗？语言本身的进阶知识优先于框架，大公司更注重语言本身的功底 如何进阶和大神一起阅读优秀源码、懂原理面试、多做项目 你是否遇到看不懂优秀库和框架的源码不知道如何才能进一步优化自己的代码asyncio、tornado 等异步框架背后的原理Python代码灵活背后的设计原理对生成器稀里糊涂很多Python抛出的异常看不懂 课程概述目标：系统全面学习Python高级知识和并发编程方法：功能->原理->应用案例技术：面向对象、魔法方法、元类、生成器、多线程->协程 章节安排01 课程介绍02 Python中一切皆对象03 魔法方法04 深入类和对象05 自定义序列类06 深入Python的set和dict07 对象引用、可变性和垃圾回收08 元类编程09 迭代器和生成器10 Python socket编程11 多线程、多进程和线程池编程12、协程和异步IO13、asyncio并发编程14、课程总结课程安排一切皆对象魔法方法详解Py...

scrapy-spalsh使用UA和IP代理核心设置UA，优先在lua脚本中使用splash:set_user_agent(“{ua}”) 设置ip代理，使用SplashRequest的proxy 代码1pip install fake-useragent 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849# -*- coding: utf-8 -*-import scrapyfrom scrapy import Spiderfrom urllib.parse import quotefrom scrapy_splash import SplashRequestfrom risk_control_info.utils import get_proxy_ipfrom fake_useragent import UserAgentua = UserAgent()script = """function main(splash,...

00 机器学习概述、特征工程、机器学习算法引入：”人工智能之父“ 艾伦图灵：图灵测试 马文·李·闵斯基（英语：Marvin Lee Minsky，1927年8月9日－2016年1月24日），科学家专长于认知科学与人工智能领域，麻省理工学院人工智能实验室的创始人之一，著有几部人工智能和哲学方面的作品。1969年，因为在人工智能领域的贡献，获得图灵奖。 关系 新闻一“小”一“同”南方都市报的“小南”，广州日报的“阿同”机器人 技术方面的话，主要是计算机视觉，自然语言处理，数据挖掘。 
计算机视觉就包括图像识别，视频识别，具体应用有人脸识别，步态识别，无人驾驶汽车等等。 
自然语言处理包括机器翻译，语音识别，文本挖掘等等，像siri，谷歌翻译里面都有很多的自然语言处理技术。 
数据挖掘主要是各种推荐和预测，包括电子商务的商品推荐，计算广告，社交网络分析（微博好友推荐等），预测一些趋势，比如股市的走向，天气的变化等。 无人驾驶百度：阿波罗 医疗 医疗CT 量化交易图片艺术化 GAN神经网络：视觉相关处理 Ai智能手机 智能推荐 开发框架pytorch TensorFlow： scik...