I/O多路复用select/poll/epoll

常见I/O模型

堵塞I/O

执行read或write等系统调用时，应用程序会被堵塞

应用程序由用户态陷入内核态，内核检查文件描述符是否可读，存在数据时，OS内核将准备好的数据拷贝给应用程序并交回控制权

一旦执行I/O操作，应用程序会陷入堵塞状态等待I/O操作的结束

非堵塞I/O

进程把一个文件描述符设置为非堵塞时，执行read或write等I/O操作会立刻返回

more >>

展开全文 >>

对称加密与非对称加密

对称加密

定义

加解密使用同一密钥

工作原理

  • 加密过程：明文通过加密算法和一个密钥加密成不可读的密文

  • 解密过程：接收方使用相同密钥和解密算法解密成明文

常见对称加密算法

AES

工作原理

  • 加密模式：分组加密算法，使用固定大小的块进行加密，默认是128bit/16Byte的块
  • 密钥长度：支持128/192/256位密钥长度，长度越大，安全性越高，对应加解密复杂度也会增加
  • 轮数：根据不同长度密钥，加密过程经过多轮（10、12、14）加密操作，每一轮含多个步骤，如字节替代、行移位、列混淆和轮密钥加

优点

more >>

展开全文 >>

HTTPS原理和应用

背景

HTTPS常见问题

  • 为什么用了 HTTPS 就是安全的？
  • HTTPS 的底层原理如何实现？
  • 用了 HTTPS 就一定安全吗？

HTTPS交互过程

证书验证阶段

  • 浏览器发起https请求
  • 服务端返回SSL/TLS证书，包含公钥与由可信任的证书颁发机构（CA）前面的数字签名
  • 浏览器验证证书是否合法
    • 证书颁发机构是否可信
    • 证书是否过期
    • 证书中域名与访问的域名是否匹配

数据传输阶段

  • 证书验证合法后，浏览器生成随机的对称密钥
  • 浏览器公钥加密生成的对称密钥后传输给浏览器
  • 浏览器用私钥解密得到对称密钥
  • 浏览器和服务器间使用对称密钥加密来对数据加解密
more >>

展开全文 >>

LeetCode - 70.Climbing Stair

LeetCode - 70.Climbing Stair

link: https://leetcode.com/problems/climbing-stairs/description/

题目

You are climbing a staircase. It takes n steps to reach the top.

Each time you can either climb 1 or 2 steps. In how many distinct ways can you climb to the top?

Example 1:

1
2
3
4
5
Input: n = 2
Output: 2
Explanation: There are two ways to climb to the top.
1. 1 step + 1 step
2. 2 steps

Example 2:

1
2
3
4
5
6
Input: n = 3
Output: 3
Explanation: There are three ways to climb to the top.
1. 1 step + 1 step + 1 step
2. 1 step + 2 steps
3. 2 steps + 1 step

Constraints:

more >>

展开全文 >>

Go并发编程最佳实践习题题解

背景介绍

环境

  • 操作系统
    • 本机：MacOS 15
    • 远程： 阿里云封装的centos
  • go版本
    • 本机：go1.21.0
    • 远程：go1.14.12
  • IDE：GoLand
  • 辅助：ChatGPT 4o
1
2
3
4
5
6
7
8
9
10
11
12
$ cat /etc/os-release
NAME="Alibaba Cloud Linux"
VERSION="3 (Soaring Falcon)"
ID="alinux"
ID_LIKE="rhel fedora centos anolis"
VERSION_ID="3"
UPDATE_ID="9.1"
PLATFORM_ID="platform:al8"
PRETTY_NAME="Alibaba Cloud Linux 3 (Soaring Falcon)"
ANSI_COLOR="0;31"
HOME_URL="https://www.aliyun.com/"

必做题

作业内容

使⽤任意并发⼯具，完成这样⼀个程序，并发请求 https://baidu.com 和 https://bing.com，任意⼀个站点先获取到了完整的 html，即中⽌另⼀个流程，并把结果输出⾄⽂件：{sitename}.html，例如百度先获取到了结果，即输出baidu.html，若 bing 先获取到了结果，就输出 bing.html。

作业分析

  • 这里需要两个爬虫并行，那么肯定是需要起goroutine的
  • 爬虫可能会超时，所以可以考虑设置一个带超时时间的context来做
  • 两个爬虫一但一个完成，另一个需要马上中止，而http.Get方法是很难中止的，所以这里用了http.NewRequestWithContext来实现
  • 为了显式地看到另一个爬虫确实被中止了，这里用sync.WaitGroup来进行了一个等待
  • 由于close时也可能报错，但同时又想作为defer处理，所以弄了个defer func，显式去修改返回的err值

实现

more >>

展开全文 >>

Go神奇的内置数据结构习题题解

背景介绍

环境

  • 操作系统
    • 本机：MacOS 15
    • 远程： 阿里云封装的centos
  • go版本
    • 本机：go1.21.0
    • 远程：go1.14.12
  • IDE：GoLand
  • 辅助：ChatGPT 4o
1
2
3
4
5
6
7
8
9
10
11
12
$ cat /etc/os-release
NAME="Alibaba Cloud Linux"
VERSION="3 (Soaring Falcon)"
ID="alinux"
ID_LIKE="rhel fedora centos anolis"
VERSION_ID="3"
UPDATE_ID="9.1"
PLATFORM_ID="platform:al8"
PRETTY_NAME="Alibaba Cloud Linux 3 (Soaring Falcon)"
ANSI_COLOR="0;31"
HOME_URL="https://www.aliyun.com/"

必做：封装一个数据结构 MyMap

作业内容

封装一个数据结构 MyMap，实现并发安全的 Load，Store，Delete，LoadAndDelete，LoadOrStore 几个 API(禁止使用 sync.Map)，不用考虑性能

参考

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
package main

import "sync"

// 只支持 int 即可。

type MyMap struct {
}

func (m *MyMap) Load(key interface{}) (value interface{}, ok bool) {
	return nil, false
}

func (m *MyMap) Store(key, value interface{}) {
}

func (m *MyMap) Delete(key interface{}) {

}

func (m *MyMap) LoadOrStore(key, value interface{}) (actual interface{}, loaded bool) {
	return nil, false
}

func (m *MyMap) LoadAndDelete(key interface{}) (value interface{}, loaded bool) {
	return nil, false
}

func main() {}

实现

more >>

展开全文 >>

Go语法背后的秘密作业题解

背景介绍

环境

  • 操作系统
    • 本机：MacOS 15
    • 远程： 阿里云封装的centos
  • go版本
    • 本机：go1.21.0
    • 远程：go1.14.12
  • IDE：GoLand
  • 辅助：ChatGPT 4o
1
2
3
4
5
6
7
8
9
10
11
$ cat /etc/os-release
NAME="Alibaba Cloud Linux"
VERSION="3 (Soaring Falcon)"
ID="alinux"
ID_LIKE="rhel fedora centos anolis"
VERSION_ID="3"
UPDATE_ID="9.1"
PLATFORM_ID="platform:al8"
PRETTY_NAME="Alibaba Cloud Linux 3 (Soaring Falcon)"
ANSI_COLOR="0;31"
HOME_URL="https://www.aliyun.com/"

环境准备

在本机MacOS15预览版上使用始终有问题，换用自有aliyun服务器，由于阿里云服务器代理不易设置，不好获取给的docker image，于是将本机环境的image打包后scp上去

1
2
3
4
5
6
# 本机
docker save -o go1.14.12-dev.tar xargin/go1.14.12-dev

# 远程
docker load -i go1.14.12-dev.tar
docker docker run -it -v /home/awyd234/study/ch02/:/work xargin/go1.14.12-dev

必做一 channel 一页中，找出所有红线报错在 runtime 中的位置，使用 Go 1.14.12 版本

作业内容

more >>

展开全文 >>

Go runtime相关函数源码阅读

背景介绍

环境

  • 操作系统：macos 15
  • go版本：go1.20
  • IDE：GoLand
  • 辅助：ChatGPT 4o

整体脉络

runqput

源码

位于src/runtime/proc.go

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
// runqput tries to put g on the local runnable queue.
// If next is false, runqput adds g to the tail of the runnable queue.
// If next is true, runqput puts g in the pp.runnext slot.
// If the run queue is full, runnext puts g on the global queue.
// Executed only by the owner P.
func runqput(pp *p, gp *g, next bool) {
	if randomizeScheduler && next && fastrandn(2) == 0 {
		next = false
	}

	if next {
	retryNext:
		oldnext := pp.runnext
		if !pp.runnext.cas(oldnext, guintptr(unsafe.Pointer(gp))) {
			goto retryNext
		}
		if oldnext == 0 {
			return
		}
		// Kick the old runnext out to the regular run queue.
		gp = oldnext.ptr()
	}

retry:
	h := atomic.LoadAcq(&pp.runqhead) // load-acquire, synchronize with consumers
	t := pp.runqtail
	if t-h < uint32(len(pp.runq)) {
		pp.runq[t%uint32(len(pp.runq))].set(gp)
		atomic.StoreRel(&pp.runqtail, t+1) // store-release, makes the item available for consumption
		return
	}
	if runqputslow(pp, gp, h, t) {
		return
	}
	// the queue is not full, now the put above must succeed
	goto retry
}

randomizeScheduler

more >>

展开全文 >>

「架构实战营」作业二 微信朋友圈高性能复杂度分析

背景介绍

极客大学业务架构实战营课程作业

作业 分析一下微信朋友圈的高性能复杂度

作业要求

  • 对照模块 2 讲述的复杂度分析方法，分析微信朋友圈的复杂度；

  • 针对各个复杂度，画出你的架构设计方案（无需做备选方案，只需要最终的方案即可）；

  • 给出你的架构方案中关键的设计理由。

  • 3~5 页 PPT 即可，涵盖复杂度分析、架构设计、设计理由。

朋友圈复杂度总体分析

微信朋友圈属于高质量复杂度，低业务复杂度

微信朋友圈高性能业务指标

新闻信息搜集

more >>

展开全文 >>

枯藤老树昏鸦，小桥流水人家，古道西风瘦马。