常见I/O模型

堵塞I/O

执行read或write等系统调用时，应用程序会被堵塞

应用程序由用户态陷入内核态，内核检查文件描述符是否可读，存在数据时，OS内核将准备好的数据拷贝给应用程序并交回控制权

一旦执行I/O操作，应用程序会陷入堵塞状态等待I/O操作的结束

非堵塞I/O

进程把一个文件描述符设置为非堵塞时，执行read或write等I/O操作会立刻返回

对称加密

定义

加解密使用同一密钥

工作原理

• 加密过程：明文通过加密算法和一个密钥加密成不可读的密文

• 解密过程：接收方使用相同密钥和解密算法解密成明文

常见对称加密算法

AES

工作原理

• 加密模式：分组加密算法，使用固定大小的块进行加密，默认是128bit/16Byte的块
• 密钥长度：支持128/192/256位密钥长度，长度越大，安全性越高，对应加解密复杂度也会增加
• 轮数：根据不同长度密钥，加密过程经过多轮（10、12、14）加密操作，每一轮含多个步骤，如字节替代、行移位、列混淆和轮密钥加

优点

背景

HTTPS常见问题

• 为什么用了 HTTPS 就是安全的？
• HTTPS 的底层原理如何实现？
• 用了 HTTPS 就一定安全吗？

HTTPS交互过程

证书验证阶段

• 浏览器发起https请求
• 服务端返回SSL/TLS证书，包含公钥与由可信任的证书颁发机构（CA）前面的数字签名
• 浏览器验证证书是否合法
  • 证书颁发机构是否可信
  • 证书是否过期
  • 证书中域名与访问的域名是否匹配

数据传输阶段

• 证书验证合法后，浏览器生成随机的对称密钥
• 浏览器公钥加密生成的对称密钥后传输给浏览器
• 浏览器用私钥解密得到对称密钥
• 浏览器和服务器间使用对称密钥加密来对数据加解密

故事背景

比赛地址

腾讯极客挑战赛第三期 - 码上种树

故事介绍

今年3.12，刷公众号时看到腾讯技术推了个很有趣的公益活动，借着植树节的名义，活动名也很有意思叫「码上种树」，点开看了下还有奖励，整个页面上只有一个按钮「点我开始种树」，

0-10w

这个比较简单，就不介绍了，其实最主要是我没有存界面，找不到原始代码了

第1题，0-1w

这题很简单，没有任何运算，答案在pull的结果里，直接发请求提交即可

第2题，1w-10w

故事背景

故事描述

最近被问到如何在Linux环境下对文件进行批量重命名，仔细想了一下，好像平时也没关注过这个的写法，之前有过类似需求时，作为一个Python开发者，更多地会想到直接用写Python脚本去处理，虽然知道可能可以通过shell脚本或者有直接的Linux命令去做，但一直没试过，决定写这篇文章整理下

系统配置

操作系统

1

cat /proc/version

Linux version 4.13.0-45-generic (buildd@lgw01-amd64-011) (gcc version 5.4.0 20160609 (Ubuntu 5.4.0-6ubuntu1~16.04.9)) #50~16.04.1-Ubuntu SMP Wed May 30 11:

故事经过

综述

针对这个问题，根据以往经验，以及网上搜索相关信息，和自己试验，大概可以通过Linux命令、shell脚本、Python脚本来解决

故事背景

系统配置

操作系统信息

1
2

$ cat /proc/version
Linux version 4.4.0-138-generic (buildd@lcy01-amd64-006) (gcc version 5.4.0 20160609 (Ubuntu 5.4.0-6ubuntu1~16.04.10) ) #164-Ubuntu SMP Tue Oct 2 17:16:02 UTC 2018

Tensorflow Serving版本

1
2
3

$ tensorflow_model_server -version
TensorFlow ModelServer: 1.14.0-rc0+dev.sha.a854e85
TensorFlow Library: 1.14.0-rc0

1.1.2 系统语言编码信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

$ locale
LANG=en_US.UTF-8
LANGUAGE=
LC_CTYPE="C"
LC_NUMERIC="C"
LC_TIME="C"
LC_COLLATE="C"
LC_MONETARY="C"
LC_MESSAGES="C"
LC_PAPER="C"
LC_NAME="C"
LC_ADDRESS="C"
LC_TELEPHONE="C"
LC_MEASUREMENT="C"
LC_IDENTIFICATION="C"
LC_ALL=C

故事描述

为了方便tensorflow serving的部署，我将tensorflow serving的配置信息以超级笔记模式下「代码块」暂时存在了Mac版印象笔记（Evernote）中，当我从笔记中直接复制内容并通过vim粘贴到tensorflow serving配置文件中时，tensorflow serving启动时报了如下错误提示

1. 基本形式

给定由\(d\)个属性描述的示例\(\boldsymbol{x}=(x_1;x_2;…;x_d)\)，其中\(x_i\)是\(\boldsymbol{x}\)在第\(i\)个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即

\[f(\boldsymbol{x})=w_1x_1+w_2x_2+…+w_dx_d+b \tag{3.1}\]

一般用向量形式写成

\[f(\boldsymbol{x})=\boldsymbol{w}^T\boldsymbol{x}+b \tag{3.2}\]

其中\(\boldsymbol{w}=(w_1;w_2;…;w_d)\)。\(\boldsymbol{w}\)和\(b\)学得之后，模型就得以确定

2. 线性回归

给定数据集\(D={(\boldsymbol{x}_1,y_1), (\boldsymbol{x}_2,y_2),…,(\boldsymbol{x}_m,y_m)}\)，其中\(\boldsymbol{x}_i=(x_{i1}, x_{i2},…,x_{id}), y_i\in\mathbb{R}\)，"线性回归"(linear regression)试图学得一个线性模型以尽可能准确地预测实值输出标记。

我们先考虑一种最简单的情形：输入属性的数目只有一个。为便于讨论，此时我们忽略关于属性的下标，即\(D=\{(x_i,y_i)\}_{i=1}^m\)，其中\(x_i\in\mathbb{R}\)，对于离散属性，若属性值之间存在"序"(order)的关系，可通过连续化将其转化为连续值；若属性值间不存在序关系，假定有\(k\)个属性值，则通常转化为\(k\)维向量。

线性回归试图学得

1. 经验误差与过拟合

1.1 误差(Error)

学习器的实际预测输出与样本的真实输出之间的差异

• 训练误差(Training Error) / 经验误差(Empirical Error)：学习器在训练集上的误差
• 泛化误差(Generalization Error)：在新样本上的误差

1.2 过拟合(Overfitting)

可能将训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质，导致泛化性能下降

无法避免，只能缓解，或者减小其风险

1.3 欠拟合(Underfitting)

指对训练样本的一般性质尚未学好

• 决策树学习中扩展分支
• 神经网络学习中增加训练轮数

原文

What does the “yield” keyword do?

翻译

To understand what yield does, you must understand what generators are. And before generators come iterables.

为了理解yield的作用，我们必须先理解生成器，而在生成器之前必须先理解迭代器

迭代器

When you create a list, you can read its items one by one. Reading its items one by one is called iteration:

1 2 3 4 5 6

>>> mylist = [1, 2, 3] >>> for i in mylist: ... print(i) 1 2 3

当我们创建一个list，我们只能一个个读取list，而挨个读取的这个过程就被称为迭代

mylist is an iterable. When you use a list comprehension, you create a list, and so an iterable:

1 2 3 4 5 6

>>> mylist = [x*x for x in range(3)] >>> for i in mylist: ... print(i) 0 1 4

mylist就是一个迭代器，当我们使用列表推导时，也就创造了一个list，或者说是一个迭代器

前言

现从事Python Web开发，以前在公司的时候关注多在业务和小trick，经过最近面试被一次次打击，才发现自己对技术背后的原理的理解太浅了，决定弄个blog做点总结，顺便没事扯扯淡，满足下自己文艺的心理。

之前用过CSDN一类，感觉太麻烦写了一半没写了。原本打算自己用Django搭个blog出来的，顺便加深对Django的学习。

对于前端一直没有好的灵感，学习了朋友的blog，才发现原来blog还可以这样，不用自己去写后台管理，主题很好看，也有不错的域名，于是研究了下官方docs，先弄个临时blog吧，后续会迁移到自己写的blog上去。