(一)背景资料
- 在Kubernetes1.2中这个第三方组件就是go-dockerclient,这是一个GO语言写的docker客户端,支持Dockerremote API,这个项目在https://github.com/fsouza/go-dockerclient中。
- 在Kubernetes1.3中直接使用docker公司提供的client来实现,通过这个client可以实现同DockerDeamon之间的通讯,这个客户端项目在https://github.com/docker/engine-api/中,感兴趣的话可以去看看。
- 在Kubernetes1.4中延用了1.3中的方式,直接使用docker公司提供的client来实现。
(二)支持Docker版本
- 对于Kubernetes1.4需要使用Docker版本至少是1.9.x,Docker1.9.x对应的API版本是1.21。
- 下面是Docker版本同API版本对应关系,其中红色字体的部分是Kubernetes1.4不支持的。
Docker版本 |
API版本 |
1.12x |
1.24 |
1.11.x |
1.23 |
1.10.x |
|
1.9.x |
|
1.8.x |
|
1.7.x |
|
1.6.x |
|
1.5.x |
|
1.4.x |
|
1.3.x |
|
1.2.x |
(三)调用Docker API
下面表格展现了Docker最新版本所有的API列表,同时也展现了Kubernetes1.4版本和1.3版本都使用了哪些API。
- 第一列是Docker 1.24版本API列表
- 第二列是这些API使用方式
- 第三列是Kubernetes1.4中使用到的API
- 第四列是Kubernetes1.3中使用到的API
- 红色字体部分为1.4版本比1.3版本增加的调用API,也就是说1.4版本比1.3版本增加的操作Docker的功能
Docker API 1.24 |
使用方式 |
Kubernetes1.4 |
Kubernetes1.3 |
Get Container stats based on resource usage |
GET /containers/(id)/stats |
|
|
Update a container |
POST /containers/(id)/update |
|
|
Rename a container |
POST /containers/(id)/rename |
|
|
Retrieving information about files and folders in a container |
HEAD /containers/(id)/archive |
|
|
List containers |
GET /containers/json | √ | √ |
Inspect a container |
GET /containers/(id)/json | √ | √ |
Inspect changes on a container’s filesystem |
GET /containers/(id)/changes | √ | √ |
Create a container |
POST /containers/create | √ | √ |
Start a container |
POST /containers/(id)/start | √ | √ |
Stop a container |
POST /containers/(id)/stop | √ | √ |
Restart a container |
POST /containers/(id)/restart |
|
|
Pause a container |
POST /containers/(id)/pause |
|
|
Unpause a container |
POST /containers/(id)/unpause |
|
|
List processes running inside a container |
GET /containers/(id)/top |
|
|
Kill a container |
POST /containers/(id)/kill | √ | √ |
Remove a container |
DELETE /containers/(id) | √ | √ |
Get an archive of a filesystem resource in a container |
GET /containers/(id)/archive |
|
|
Extract an archive of files or folders to a directory in a container |
PUT /containers/(id)/archive |
|
|
Copy files or folders from a container |
POST /containers/(id)/copy,以后会被删除掉,使用archive代替 |
|
|
Wait a container |
POST /containers/(id)/wait |
|
|
Create a new image from a container’s changes |
POST /commit |
|
|
Attach to a container |
POST /containers/(id)/attach | √ | √ |
Attach to a container (websocket) |
GET /containers/(id or name)/attach/ws | ||
Get container logs |
GET /containers/(id)/logs | √ | √ |
Resize a container TTY |
POST /containers/(id)/resize | √ |
|
Export a container |
GET /containers/(id)/export |
|
|
List Images |
GET /images/json | √ | √ |
Inspect an image |
GET /images/(name)/json | √ | √ |
Get the history of an image |
GET /images/(name)/history | √ | √ |
Push an image on the registry |
POST /images/(name)/push |
|
|
Build image from a Dockerfile |
POST /build |
|
|
Create an image |
POST /images/create | √ | √ |
Load a tarball with a set of images and tags into docker |
POST /images/load |
|
|
Get a tarball containing all images in a repository |
GET /images/(name)/get |
|
|
Get a tarball containing all images |
GET /images/get |
|
|
Tag an image into a repository |
POST /images/(name)/tag |
|
|
Remove an image |
DELETE /images/(name) | √ | √ |
Search images |
GET /images/search |
|
|
Monitor Docker’s events |
GET /events |
|
|
Show the docker version information |
GET /version | √ | √ |
Display system-wide information |
GET /info | √ | √ |
Ping the docker server |
GET /_ping |
|
|
List volumes |
GET /volumes |
|
|
Create a volume |
POST /volumes/create |
|
|
Inspect a volume |
GET /volumes/(name) |
|
|
Remove a volume |
DELETE /volumes/(name) |
|
|
List networks |
GET /networks |
|
|
Inspect network |
GET /networks/<network-id> |
|
|
Create a network |
POST /networks/create |
|
|
Remove a network |
DELETE /networks/(id) |
|
|
Connect a container to a network |
POST /networks/(id)/connect |
|
|
Disconnect a container from a network |
POST /networks/(id)/disconnect |
|
|
Check auth configuration |
POST /auth |
|
|
Exec Create |
POST /containers/(id)/exec | √ | √ |
Exec Start |
POST /exec/(id)/start | √ | √ |
Exec Resize |
POST /exec/(id)/resize | √ |
|
Exec Inspect |
GET /exec/(id)/json | √ | √ |
List plugins |
GET /plugins | ||
Install a plugin |
POST /plugins/pull?name=<plugin name> | ||
Inspect a plugin |
GET /plugins/(plugin name) | ||
Enable a plugin |
POST /plugins/(plugin name)/enable | ||
Disable a plugin |
POST /plugins/(plugin name)/disable | ||
Remove a plugin |
DELETE /plugins/(plugin name) | ||
List nodes |
GET /nodes | ||
Inspect a node |
GET /nodes/<id> | ||
Remove a node |
DELETE /nodes/<id> | ||
Update a node |
POST /nodes/<id>/update | ||
Inspect swarm |
GET /swarm | ||
Initialize a new swarm |
POST /swarm/init | ||
Join an existing swarm |
POST /swarm/join | ||
Leave a swarm |
POST /swarm/leave | ||
Update a swarm |
POST /swarm/update | ||
List services |
GET /services | ||
Create a service |
POST /services/create | ||
Remove a service |
DELETE /services/(id or name) | ||
Inspect one or more services |
GET /services/(id or name) | ||
Update a service |
POST /services/(id or name)/update | ||
List tasks |
GET /tasks | ||
Inspect a task |
GET /tasks/(task id) |
1) 从表格中可以看到,Kubernetes1.4中调用了Docker的Resize a container TTY接口,用来配置Docker容器的虚拟终端(TTY),重新设置Docker容器的虚拟终端之后,需要重新启动容器才能生效。
HTTP请求例子:
POST/containers/4fa6e0f0c678/resize?h=40&w=80 HTTP/1.1
返回响应例子:
HTTP/1.1 200 OK Content-Length: 0 Content-Type: text/plain; charset=utf-8
请求参数:
h – 虚拟终端高度
w – 虚拟终端宽度
HTTP返回响应状态值:
200 – 设置成功
404 – 没有找到指定Docker容器
500 – 不能够重新设置虚拟终端参数
2) 从表格中还可以看到,Kubernetes1.4中调用了Docker的Exec Resize接口,如果在Docker容器中执行exec命令时指定了虚拟终端(tty),那么通过这个API接口就可以重新设置虚拟终端(tty)。
HTTP请求例子:
POST/exec/e90e34656806/resize?h=40&w=80 HTTP/1.1 Content-Type: text/plain
返回响应例子:
HTTP/1.1201 Created Content-Type: text/plain
请求参数:
h –虚拟终端高度
w –虚拟终端宽度
HTTP返回响应状态值:
201 –设置成功
404 –没有找到指定exec实例
3) Kubernetes1.4新增加了上面两个接口调用,可以看看这两个接口调用在源代码中的位置:
func AttachContainer(client DockerInterface,containerID kubecontainer.ContainerID, stdin io.Reader, stdout, stderrio.WriteCloser, tty bool, resize <-chan term.Size) error { <span style="color:#FF0000;"> kubecontainer.HandleResizing(resize, func(size term.Size) { client.ResizeContainerTTY(containerID.ID,int(size.Height), int(size.Width)) })</span> opts:= dockertypes.ContainerAttachOptions{ Stream:true, Stdin: stdin != nil, Stdout:stdout != nil, Stderr:stderr != nil, } …… }
func (*NativeExecHandler)ExecInContainer(client DockerInterface, container *dockertypes.ContainerJSON,cmd []string, stdin io.Reader, stdout, stderr io.WriteCloser, tty bool, resize<-chan term.Size) error { …… <span style="color:#FF0000;"> kubecontainer.HandleResizing(resize, func(size term.Size) { client.ResizeExecTTY(execObj.ID, int(size.Height),int(size.Width)) })</span> startOpts:= dockertypes.ExecStartCheck{Detach: false, Tty: tty} streamOpts:= StreamOptions{ InputStream: stdin, OutputStream:stdout, ErrorStream: stderr, RawTerminal: tty, } err= client.StartExec(execObj.ID, startOpts, streamOpts) iferr != nil { returnerr } …… }
这两处开发开发人员的注释如下:
Have to start this before the call toclient.AttachToContainer because client.AttachToContainer is a blocking call:-( Otherwise, resize events don’t get processed and the terminal neverresizes.
Have to start this before the call toclient.StartExec because client.StartExec is a blocking call 🙁 Otherwise,resize events don’t get processed and the terminal never resizes.
通过注释可以发现,因为attach和start exec两个接口都是可以阻塞的,所以通过增加设置虚拟终端(tty)来判断向attach和start exec两个接口发送的请求是否阻塞。
4) 从表格中还可以看到,Kubernetes没有使用到Docker的网络接口,也没有使用到Docker的卷接口,原因是Kubernetes自己定义了Service和POD,自己实现了POD之间的网络和挂载到POD上的卷。
5) 从表格中也可以看到,Kubernetes对Docker容器的管理只有很少的功能,甚至都没有使用到Docker的重启接口,还是因为Kubernetes自己定义的POD,Kubernetes以POD为基本操作单元,而且是Kubernetes从容器集群管理角度设计的,所以不存在对POD里面单个Docker容器的重启操作。
(四)对Docker其他操作
1) Linux ext4文件系统要求文件名字符个数不能超过255,在Kubernetes1.4中进行了控制。
2) 由于Docker1.12支持了通过—sysctl参数来设置内核参数,所以在Kubernetes1.4可以将安全的sysctl命令放入白名单列表中,这样就可以对容器内核参数进行配置操作,下面是Kubernetes1.4对内核参数的默认设置:
• sysctl -wvm.overcommit_memory=1
表示节点上有多少物理内存就用多少,不进行内存超分配
• sysctl -w vm.panic_on_oom=0
表示当节点上物理内存耗尽时,内核触发OOM killer杀掉最耗内存的进程
• sysctl -w kernel/panic=10
表示当内核panic时,等待10秒后在重启
• sysctl -wkernel/panic_on_oops=1
设置当内核oops发生时,采用panic方式处理。不同于panic会导致OS重启,设备驱动引发的oops通常不会导致OS重启,但是可以通过设置这个参数来指定oops发生时进行OS重启
(五)K8S操作Docker的网络实现
我们可以用下面这张图来把POD和容器之间的关系形象化,此图仅供说明问题时的参考,并无实际意义。
我们可以把POD看作是机器里面的操作系统,把容器看作是里面的进程,在操作系统内部进程间是可以通过IPC(Inter-Process Communication)进行通讯的,不同操作系统之间的进程是通过操作系统IP和端口进行通讯的,那么对应到POD和容器,就变成了POD内部容器间事可以通过IPC(Inter-Process Communication)进行通讯的,不同POD之间的容器是通过POD IP和端口进行通讯的。从集群的角度来考虑问题,Kubernetes基本操作单元是POD,不需要关注到POD中的容器,那么我们可以想象一下,如果我们要按照虚拟机的使用方式来使用容器,那样的话应该如何使用Kubernetes呢?可以看下面的图:
这样我们就实现了像虚拟机那样使用容器,我们可以认为POD就是一个虚拟机,只不过在这个虚拟机中只有一个容器。但是如果要对这个虚拟机进行操作的时候我们发现问题来了,从前面的表格中可以看到,Kubernetes对Docker容器的管理只有很少的功能,没有使用到Docker的重启接口,但是如果把容器当作虚拟机用,必然要使用重启功能,抛开Kubernetes的设计理念,我们自己可以扩展Kubernetes对POD重启的实现,实现把容器当作虚拟机来使用的需求。
登录后评论
立即登录 注册