Docker为容器分配指定物理网段的静态IP

官方有关于网桥和IP配置的文档地址:https://docs.docker.com/articles/networking/

1、宿主机(系统采用ubuntu-14.04.1-server-amd64)的网络采用桥接模式(默认是DHCP模式,还有一种模式就是静态IP),网桥的网段与物理网段相同。目前的物理网段为192.168.5.1/24,网关是192.168.1.1,物理网卡设备为eth0
编辑配置文件/etc/network/interfaces,自定义网桥br0

root@ubuntu-docker:~# cat /etc/network/interfaces
# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
#auto eth0
#iface eth0 inet dhcp
#
auto br0
iface br0 inet static
    address 192.168.5.116
    netmask 255.255.255.0
    gateway 192.168.5.1
    bridge_ports eth0
    bridge_stp off
    dns-nameservers 192.168.1.12 192.168.1.13
root@ubuntu-docker:~#

配置保存退出后,重启网络

root@ubuntu-docker:~# ifdown -a && ifup -a

配置完成后用ifconfig可以看到br0和eth0的状态信息如下(宿主机的ip地址为192.168.5.116):

br0       Link encap:Ethernet  HWaddr 00:0c:29:dc:47:11
          inet addr:192.168.5.116  Bcast:192.168.5.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fedc:4711/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:737 errors:0 dropped:0 overruns:0 frame:0
          TX packets:226 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:70000 (70.0 KB)  TX bytes:26394 (26.3 KB)

eth0      Link encap:Ethernet  HWaddr 00:0c:29:dc:47:11
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:70065 errors:0 dropped:151 overruns:0 frame:0
          TX packets:19621 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:23933126 (23.9 MB)  TX bytes:2321651 (2.3 MB)

2、网桥配置好后,剩下的就是docker相关的网络配置了。
a)容器启动的网络模式必须为none,用–net=none指定,比如

docker run -it --rm --net=none eeed74b237f9 /bin/bash

b)获取目标容器的id,我的是dfe83012cda2

root@ubuntu-docker:~# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
dfe83012cda2        centos:centos6.6    /bin/bash           About an hour ago   Up 23 minutes                           test
root@ubuntu-docker:~#

c)配置ip的步骤有点繁琐,我写了个脚本。然后给脚本传递相关的参数就可以设置ip了。比如为容器dfe83012cda2设置静态ip地址192.168.5.123,掩码255.255.255.0,网关192.168.5.1。有个问题就是当容器重启后,设定的ip会丢失,此时需要重新执行该脚本一次。

root@ubuntu-docker:~# sh manual_con_static_ip.sh dfe83012cda2 192.168.5.123 24 192.168.5.1

脚本的内容如下(参考官方文档编写)

#/bin/bash
if [ -z $1 ] || [ -z $2 ] || [ -z $3 ] || [ -z $4 ];
then
        echo "*****Input the necessary parameters: CONTAINERID IP MASK GATEWAY"
        echo "*****Call the script like: sh manual_con_static_ip.sh  b0e18b6a4432 192.168.5.123 24 192.168.5.1"
        exit
fi

CONTAINERID=$1
SETIP=$2
SETMASK=$3
GATEWAY=$4

pid=`docker inspect -f '{{.State.Pid}}' $CONTAINERID`
mkdir -p /var/run/netns
find -L /var/run/netns -type l -delete
ln -s /proc/$pid/ns/net /var/run/netns/$pid
ip link add A type veth peer name B
brctl addif br0 A
ip link set A up
ip link set B netns $pid
ip netns exec $pid ip link set dev B name eth0
ip netns exec $pid ip link set eth0 up
ip netns exec $pid ip addr add $SETIP/$SETMASK dev eth0
ip netns exec $pid ip route add default via $GATEWAY

脚本包含的信息量较大,下面分行解有关语句的作用:

pid=`docker inspect -f '{{.State.Pid}}' $CONTAINERID`

为了操作容器需要获取容器的进程号PID,docker inspect 可以查看容器的底层信息,查看容器dfe83012cda2所有的底层相关信息,用docker inspect dfe83012cda2就可以查看。-f参数可以格式化输出给定的信息,比如查看容器的状态

root@ubuntu-docker:~# docker inspect -f '{{.State.Running}}' dfe83012cda2
true
root@ubuntu-docker:~#

为容器创建net命名空间,建立点对点连接(容器命名空间网卡和宿主上生成的网卡点对点),确保存放net命名空间的目录/var/run/netns存在,然后删除该目录失效的链接,再将容器的net命名空间文件软链接到/var/run/netns,以便执行ip netns能够读取。

mkdir -p /var/run/netns
find -L /var/run/netns -type l -delete
ln -s /proc/$pid/ns/net /var/run/netns/$pid

在宿主上创建2张直连网卡(A与B直连),将B作为容器里的网卡,A作为宿主机的网卡。

ip link add A type veth peer name B

将网卡A桥接到br0上,并启动网卡A

brctl addif br0 A
ip link set A up

将网卡B加入到相应的容器net命名空间,当网卡B加入到容器的net命名空间后,宿主机将无法查看到该网卡信息(执行ip netns时默认读取的目录是/var/run/netns)

ip link set B netns $pid

ip netns exec能进入容器的net命名空间,可以用来配置容器net命名空间的网络参数,配置容器内的网卡B

ip netns exec $pid ip link set dev B name eth0
ip netns exec $pid ip link set eth0 up
ip netns exec $pid ip addr add $SETIP/$SETMASK dev eth0
ip netns exec $pid ip route add default via $GATEWAY

接下来先了解下docker为容器创建网络的过程《http://dockerpool.com/static/books/docker_practice/underly/network.html》,就会明白为什么要这么配置了。
1)创建一对虚拟接口,分别放到本地主机和新容器中;
2)本地主机一端桥接到默认的 docker0 或指定网桥上,并具有一个唯一的名字,如 veth65f9;
3)容器一端放到新容器中,并修改名字作为 eth0,这个接口只在容器的名字空间可见;
4)从网桥可用地址段中获取一个空闲地址分配给容器的 eth0,并配置默认路由到桥接网卡 veth65f9。
当我们使用–net=none参数启动容器后,docker不对容器进行网络配置。如果需要容器网络可用需要我们按照相同的步骤配置容器的网络。

脚本还有一个BUG,就是当有多个容器需要配置网卡的时候,脚本中的网卡A和网卡B的命名会造成冲突,不过解决还是很简单的,嘿嘿。
后来把脚本优化了下,可能使用起来更合理:

#/bin/bash
if [ -z $1 ] || [ -z $2 ] || [ -z $3 ] || [ -z $4 ] || [ -z $5 ];
then
        echo "*****Input the necessary parameters: CONTAINERID IP MASK GATEWAY ETHNAME"
        echo "*****Call the script like: sh manual_con_static_ip.sh  b0e18b6a4432 192.168.5.123 24 192.168.5.1 deth0"
        exit
fi
 
CONTAINERID=$1
SETIP=$2
SETMASK=$3
GATEWAY=$4
ETHNAME=$5

#判断宿主机网卡是否存在
ifconfig $ETHNAME > /dev/null 2>&1
if [ $? -eq 0 ]; then
    read -p "$ETHNAME exist,do you want delelte it? y/n " del
    if [[ $del == 'y' ]]; then
	ip link del $ETHNAME
    else
	exit
    fi
fi
#
pid=`docker inspect -f '{{.State.Pid}}' $CONTAINERID`
mkdir -p /var/run/netns
find -L /var/run/netns -type l -delete

if [ -f /var/run/netns/$pid ]; then
    rm -f /var/run/netns/$pid
fi
ln -s /proc/$pid/ns/net /var/run/netns/$pid
#
ip link add $ETHNAME type veth peer name B
brctl addif br3 $ETHNAME
ip link set $ETHNAME up
ip link set B netns $pid
#先删除容器内已存在的eth0
ip netns exec $pid ip link del eth0 > /dev/null 2>&1
#设置容器新的网卡eth0
ip netns exec $pid ip link set dev B name eth0
ip netns exec $pid ip link set eth0 up
ip netns exec $pid ip addr add $SETIP/$SETMASK dev eth0
ip netns exec $pid ip route add default via $GATEWAY

文章出处:http://www.xiaomastack.com/2015/02/06/docker-static-ip/

19 Comments

 Add your comment
  1. 192.168.5.116 的那个IP有什么用?

  2. 相当于一个网关

  3. 小马哥,我使用您的脚步配置了容器内的网络后容器内部已经能看到配置的ip网关子网掩码了可以ping 通宿主和容器自己的ip。但是ping其他物理机的ip还是ping不通

  4. 开启内核net forward,网关设置为宿主机地址,宿主机本身要和其他物理主机打通,应该就没有问题了。

  5. 小马哥,我使用你的脚本给容器配置了IP,也打开了内核的net forward。出现的问题是,从容器里面可以ping到外面的主机,但是从外面的主机不能ping到容器。请问应该怎么设置呢?

  6. 你好,你在宿主机可以ping通容器么?你的网络拓扑是怎样的?

  7. 还有一个方法是用vmaclan,两种有什么区别?

  8. 你好,这个我没有了解过,其它的比如Pipework、Weave、Flannel管理docker容器网络,底层都是通过操作网络命名空间实现的,kubernetes也不例外。

  9. vmaclan形式与主机通信还得另开一个vmaclan,好恶。主要在研究docker中拨号呢,不知道作者有没有相关知识?

  10. 目前没有接触这方面的知识:)

  11. 脚本兼容CentOS吗?执行的时候出现Command is not complete

  12. 挨行测试出来了,是最后一行出的问题

  13. zhangxiaoliuer

    小马哥好,这个脚本变量 $pid 返回值是个Ture,不是进程ID,为什么能当进程ID引用,???
    多谢

  14. 可能我们的docker版本不同有差异,我们的版本是1.5.0,是可以这样取到进程的。不过现在都用k8s了。单机的已经不是我们的方向了:)

  15. zhangxiaoliuer

    额,看错了。一个是.State.Pid进程ID,另一个是.State.Running运行状态

  16. 小马哥好,我这碰到一个问题。按照你的办法给docker配置了网络。在真实服务器和自己电脑上的虚拟机上配置都没有任何问题。容器可以正常上网。但当docker安装到Vmware Vsphere虚拟化平台的虚拟机上后,创建的容器只能ping通宿主及宿主内部的其他容器,无法访问宿主外部网络,宿主外部网络也无法访问容器。这里有什么原因吗?虚拟化平台网络是用的虚拟交换机。平台内的虚拟机网络均正常。

  17. 你好,如果宿主机有公网IP,宿主机可以作为一个网关,开启转发和iptables的nat POSTROUTING规则,然后容器的默认网关指向这个IP就可以访问外网了。外网访问容器,只要在网关上映射端口到容器(iptables 的nat PREROUTING规则),就可以通过外围访问容器内服务了。如果宿主机没有公网IP,只要在内部网络找一台可以通外网的机器当成网关就可以了。

  18. 小马哥,你好。我按照你的方法试了下路由转发。但在外网访问容器的时候碰到问题。因为我这的需求是一台宿主机里有多个容器,每个容器配置IP,容器的访问端口是指定的8080,外网访问容器,采用容器IP+8080端口的方式。因为访问端口需要固定为8080,而容器又有多个,不能把宿主的8080端口映射到多个容器上,因此用端口映射的方式行不通。
    请问还有没有其他方式呢?
    你是否了解Vmware Vsphere虚拟化平台,我这怀疑是平台虚拟交换机的缘故。有没有办法从虚拟化平台网络配置下手?

  19. 已经搞定了。把虚拟化平台网络属性配置成混杂模式就可以

发表评论:

你的电子邮件地址将不会被公开.

88 − = 78