热门标签 | HotTags
当前位置:  开发笔记 > 前端 > 正文

Xen虚拟化基础篇第1/2页

Xen是一个开放源代码虚拟机监视器,由剑桥大学开发。它打算在单个计算机上运行多达128个有完全功能的操作系统

一.xen的简介

Xen是一个开放源代码虚拟机监视器,由剑桥大学开发。它打算在单个计算机上运行多达128个有完全功能的操作系统。
在旧(无虚拟硬件)的处理器上执行Xen,操作系统必须进行显式地修改(“移植”)以在Xen上运行(但是提供对用户应用的兼容性)。这使得Xen无需特殊硬件支持,就能达到高性能的虚拟化。

Xen的架构如图:

wKioL1TV102icw_lAAGPxwUhIsA783.jpg

Xen虚拟机的组成:

Xen Hypervisor:
        虚拟化技术通过在现有平台(机器)上添加一层薄的虚拟机监控程序(Virtual Machine Monitor,简称 VMM)软件而实现对系统的虚拟化,如虚拟处理器,虚拟内存管理器(MMU)和虚拟 I/O 系统等。虚拟机监控程序又被称之为监管程序(Hypervisor)。
Domain(Dom0,DomU):
特权虚拟机:Dom0;特权域
为Xen提供控制工具的;直接驱动IO硬件设备;

与DomU交互;

Linux-2.6.37内核开始直接运行在Dom0上;
其他普通虚拟机:DomU;非特权域
Linux-2.6.24+内核开始支持

Xen的虚拟化实现方式:

Type-I型:二级虚拟化技术;直接在硬件上安装hypervisor,直接接管硬件资源,运行在其上的系统都是虚拟机;
管理方面给彻底;必须让hypervisor驱动硬件,
出现的问题是必须开发驱动程序?
解决方案:Xen只是驱动CPU和内存,不驱动IO设备
当系统启动时,硬件设备加载后加载hypervisor,hypervisor拥有访问硬件权限,hypervisor加载完成后启动一个虚拟机,虚拟机有自己的内核和用户空间,这个虚拟机是 特权虚拟机,为底层hypervisor提供管理程序,能功能是为hypervisor提供IO设备硬件驱动 程序的;
我们新建的虚拟机调用IO设备硬件时,是通过特权虚拟机驱动程序连接硬件实现;

更加详细的说明请参考博文:http://www.uml.org.cn/embeded/201303201.asp

xen虚拟化实现在CentOS 6.6上安装所需要的条件:

1).需要在物理机上安装CentOS 6.6操作系统
2).安装Xen软件包
3).安装3.7.10的内核,可以使Xen运行在Dom0上
4).配置好grub,然后启动Xen
5).在用户空间上安装虚拟机Guest OS即可;

注意:最新版本的xen在CentOS 6.6平台上是只有DomU可以使用,Dom0是不能通过CentOS 6.6的原有内核实现,我这里是安装的xen-4.2.5版本的xen,还有将内核版本更新到了3.7.10;
简单介绍一些XEN和KVM: 

Xen:CentOS4-CentOS5是支持的;后续就是xen了,但是在内核版本Linux 2.6.37将xen收录进内核,CentOS7收录进内核;可以实现内核直接运行在Dom0上;
KVM:2006才出现;CentOS5.8开始支持;但是不稳定,红帽的收购造成了KVM的发展;
CentOS6.6的内核为2.6.32,不直接支持内核运行Xen的Dom0特权域;

可以支持直接运行在DomU
    红帽为了支持KVM这个亲儿子的发展,将xen给赶出家门了。 -_-!
    后来意识到XEN的使用率还是很高,所以又在后来收录进内核。

二.xen的安装及Dom0的配置

1.配置xen的yum源

# vim /etc/yum.repos.d/xen4.repo
[xen4]
name=Xen4 For CentOS6
baseurl=ftp://172.16.0.1/pub/Sources/6.x86_64/xen4centos/x86_64/
gpgcheck=0
进行清理yum缓存操作
# yum clean all

2.安装xen-4.2.5版本的软件,更新内核版本到3.7.10

# yum install -y xen-4.2.5 xen-libs-4.2.5 xen-runtime-4.2.5 kernel-xen

3.配置grub.conf配置文件
将xen设置为内核启动,而将CentOS的内核设置为Xen虚拟化平台的一个模块;

# vim /etc/grub.conf 
default=0
timeout=5
splashimage=(hd0,0)/grub/splash.xpm.gz
hiddenmenu
title CentOS (3.7.10-1.el6xen.x86_64)
  root (hd0,0)
  kernel /xen.gz dom0_mem=1024M,max:1024M dom0_max_vcpus=1 dom0_vcpus_pin
cpufreq=xen
  module /vmlinuz-3.7.10-1.el6xen.x86_64 ro root=/dev/mapper/vg0-root rd_NO_LUKS rd_NO_DM LANG=en_US.UTF-8 rd_LVM_LV=vg0/swap rd_NO_MD SYSFOnT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=vg0/root KEYBOARDTYPE=pc KEYTABLE=us rhgb crashkernel=auto quiet rhgb quiet
  module /initramfs-3.7.10-1.el6xen.x86_64.img
title CentOS 6 (2.6.32-504.el6.x86_64)
  root (hd0,0)
  kernel /vmlinuz-2.6.32-504.el6.x86_64 ro root=/dev/mapper/vg0-root rd_NO_LUKS rd_NO_DM LANG=en_US.UTF-8 rd_LVM_LV=vg0/swap rd_NO_MD SYSFOnT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=vg0/root KEYBOARDTYPE=pc KEYTABLE=us rhgb crashkernel=auto quiet rhgb quiet
  initrd /initramfs-2.6.32-504.el6.x86_64.img

配置完成后重新启动Linux系统,启动完成后自动进入了Xen的Dom0环境:
查看内核版本,已经升级到3.7.10:

代码如下:

# uname -r
3.7.10-1.el6xen.x86_64

查看xen的xend服务开机启动项:

代码如下:

# chkconfig --list xend
xend            0:off   1:off   2:off   3:on    4:on    5:on    6:off

4.启动xend服务

代码如下:

# service xend start

可以查看一下现在运行的虚拟机:

代码如下:

# xm list
Name                                        ID   Mem VCPUs      State   Time(s)
Domain-0                                     0  1024     1     r-----     21.9

三.xen虚拟机的安装和配置

上面安装好Dom0D虚拟机后,下面我们就可以在其之上配置安装DomU虚拟机了。

DomU虚拟机的安装问题思考:

1).DomU虚拟机的内核文件存放位置。

我们是在Dom0上构建DomU虚拟机,所以我们的内核文件存放在Dom0上;
第二种方式就是我们将内核文件存放在DomU虚拟机的虚拟磁盘中;

2).DomU虚拟机的创建:

内核kernel,ramdisk都由Dom0提供,而DomU只提供用户空间;
由于Dom0虚拟机有完整的用户空间,我们可以将其复制进DomU虚拟机上使用;

1.简单DomU虚拟机构建
内核kernel和ramdisk都由Dom0提供,使用busybox为DomU虚拟机提供简单的用户空间;
1).模拟创建虚拟机磁盘设备,构建本地环回文件:

创建虚拟磁盘存放目录:
# mkdir /xen/images -pv
进入目录后创建虚拟机磁盘设备:
# cd /xen/images/
# dd if=/dev/zero of=./busybox.img bs=1M oflag=direct seek=2047 count=1
查看设备大小,可以发现实际大小才1MB:
# ll -h
total 1.0M
-rw-r--r-- 1 root root 2.0G Feb 6 20:15 busybox.img

2).格式化虚拟磁盘设备

# mke2fs -t ext4 /xen/images/busybox.img 
mke2fs 1.41.12 (17-May-2010)
/xen/images/busybox.img is not a block special device.
Proceed anyway? (y,n) y #选择y
信息略...
挂载磁盘设备,等待后续操作:
# mount -o loop /xen/images/busybox.img /mnt

3).编译安装busybox为DomU虚拟机提供用户空间

编译环境需要开发包组支持:
# yum groupinstall -y Development tools 
# yum install -y ncurses-devel glibc-static

获取busybox软件:
busybox-1.22.1.tar.bz2
编译安装busybox:
# tar xf busybox-1.22.1.tar.bz2 
# cd busybox-1.22.1
# make menuconfig

配置如下图所示:
选择“Busybox settings”:

wKioL1TV2TWCDMRBAALHCTI3pso879.jpg

选择“Build options”选项:

wKiom1TV2GrjxH1PAAK6lbo36Ms846.jpg

以静态二进制创建busybox,不共享库文件:

wKioL1TV2WiDEOVOAAM9SQ1dnAM575.jpg

配置完成后点击exit,退出后点击yes保存:

wKioL1TV2X2BVXBLAABpK4UIQgg835.jpg

设置完成后进行编译和安装:

# make && make install

编译安装busybox完成后在这个目录会生成安装好的文件_install目录,我们将_install目录拷贝到挂载的虚拟磁盘中:

# cp -a _install/* /mnt
# cd /mnt
# ls
bin linuxrc lost+found sbin usr
# rm -rf linuxrc 
# mkdir dev proc sys lib/modules etc/rc.d boot mnt media opt misc -pv

至此,虚拟磁盘就构建完成了。

4).构建DomU虚拟机

创建虚拟机配置文件:
# cd /etc/xen
# vim busybox
kernel = "/boot/vmlinuz-2.6.32-504.el6.x86_64"
ramdisk = "/boot/initramfs-2.6.32-504.el6.x86_64.img"
name = "busybox"
memory = "512"
vcpus = 1
disk = ['file:/xen/images/busybox.img,xvda,w',]
root = "/dev/xvda ro"
extra = "selinux=0 init=/bin/sh"

下面进行初始化创建虚拟机:

# xm create -c /etc/xen/busybox 
Using config file "/etc/xen/busybox".
Started domain busybox (id=2)
        Initializing cgroup subsys cpuset
Initializing cgroup subsys cpu
Linux version 2.6.32-504.el6.x86_64 (mockbuild@c6b9.bsys.dev.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-11) (GCC) ) #1 SMP Wed Oct 15 04:27:16 UTC 2014
Command line: root=/dev/xvda ro selinux=0 init=/bin/sh
信息略......
device-mapper: ioctl: 4.27.0-ioctl (2013-10-30) initialised: dm-devel@redhat.com
udev: starting version 147
dracut: Starting plymouth daemon
xlblk_init: register_blkdev major: 202 
blkfront: xvda: barriers disabled
 xvda: unknown partition table
EXT4-fs (xvda): mounted filesystem with ordered data mode. Opts: 
dracut: Mounted root filesystem /dev/xvda
dracut: Switching root
/bin/sh: can't access tty; job control turned off
/ # ls
bin   dev   lib   media  mnt   proc  sys
boot  etc   lost+found misc  opt   sbin  usr

5).切换虚拟终端查看虚拟机状态

# xm list
Name          ID Mem VCPUs  State Time(s)
Domain-0          0 1024  1  r----- 197.9
busybox          2 512  1  -b----  1.4

其ID号会在关机启动后自动增长,我们来测试一下:

关闭虚拟机:
# xm destroy busybox
启动虚拟机:
# xm create -c busybox 
然后查看虚拟机列表的信息,可以发现ID号自动增长:
# xm list
Name          ID Mem VCPUs  State Time(s)
Domain-0          0 1024  1  r----- 201.4
busybox          3 512  1  -b----  1.2

其中State状态信息中的选项详解:

r:running,虚拟机处于运行态
b:blocked,被阻塞,当前虚拟机等待任务完成;
p:pause,暂停态,当前虚拟机暂停在内存中;
恢复使用unpause:如#xm unpause linux
s:shutdown,正处于关闭过程中,正在关机状态
c:crashed,正处于崩溃过程/崩溃后重启过程中;
d:dying,正处于关机过程中;

Time(s):表示域累计占用的CPU的时长

6).虚拟机加入网卡设备
需要先给Dom0设置桥设备,方便DomU桥接到Dom0上;

添加网卡桥设备文件:
# cd /etc/sysconfig/network-scripts/
# cp ifcfg-eth0 ifcfg-xenbr0
配置桥接设备:
# vim ifcfg-xenbr0 
DEVICE="xenbr0"
BOOTPROTO="static"
NM_COnTROLLED="no"
OnBOOT="yes"
TYPE="Bridge"
IPADDR=172.16.31.1
NETMASK=255.255.0.0
GATEWAY=172.16.0.1
配置网卡设备:
# vim ifcfg-eth0 
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="08:00:27:16:D9:AA"
NM_COnTROLLED="no"
OnBOOT="yes"
BRIDGE="xenbr0"
TYPE="Ethernet"
USERCTL="no"
配置桥接模式需要将NetworkManager服务关闭:
#chkconfig NetworkManager off
#service NetworkManager stop
配置完成后重启网络服务:
#service network restart

如图所示:

wKioL1TV2fTAxNeVAAEg40pKiBs137.jpg

登录终端查看桥接状态:

# ifconfig
eth0  Link encap:Ethernet HWaddr 08:00:27:16:D9:AA 
   inet6 addr: fe80::a00:27ff:fe16:d9aa/64 Scope:Link
   UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
   RX packets:37217 errors:0 dropped:7 overruns:0 frame:0
   TX packets:4541 errors:0 dropped:0 overruns:0 carrier:0
   collisions:0 txqueuelen:1000 
   RX bytes:7641467 (7.2 MiB) TX bytes:773075 (754.9 KiB)
lo  Link encap:Local Loopback 
   inet addr:127.0.0.1 Mask:255.0.0.0
   inet6 addr: ::1/128 Scope:Host
   UP LOOPBACK RUNNING MTU:65536 Metric:1
   RX packets:12 errors:0 dropped:0 overruns:0 frame:0
   TX packets:12 errors:0 dropped:0 overruns:0 carrier:0
   collisions:0 txqueuelen:0 
   RX bytes:1032 (1.0 KiB) TX bytes:1032 (1.0 KiB)
xenbr0 Link encap:Ethernet HWaddr 08:00:27:16:D9:AA 
   inet addr:172.16.31.1 Bcast:172.16.255.255 Mask:255.255.0.0
   inet6 addr: fe80::a00:27ff:fe16:d9aa/64 Scope:Link
   UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
   RX packets:1211 errors:0 dropped:0 overruns:0 frame:0
   TX packets:90 errors:0 dropped:0 overruns:0 carrier:0
   collisions:0 txqueuelen:0 
   RX bytes:116868 (114.1 KiB) TX bytes:15418 (15.0 KiB)

7).将busybox虚拟机关联到这个桥接设备上

需要配置虚拟机配置文件没加入桥设备名称:
# vim /etc/xen/busybox 
kernel = "/boot/vmlinuz-2.6.32-504.el6.x86_64"
ramdisk = "/boot/initramfs-2.6.32-504.el6.x86_64.img"
name = "busybox"
memory = "512"
vcpus = 1
disk = ['file:/xen/images/busybox.img,xvda,w',]
root = "/dev/xvda ro"
extra = "selinux=0 init=/bin/sh"
vif = ['bridge=xenbr0',]

如果希望busybox这个用户空间能够设置网卡,我们还需要加载xen-netfront.ko进入虚拟机磁盘的指定目录:

# xm destroy busybox
# mount -o loop /xen/images/busybox.img /mnt
# ls /mnt
bin dev lib   media mnt proc sys
boot etc lost+found misc opt sbin usr
我们将Dom0中的xen-netfront.ko模块复制进虚拟机磁盘的lib/modules/目录中:
# cd /lib/modules/2.6.32-504.el6.x86_64/kernel/drivers/net/
需要查看模块依赖关系:
# modinfo xen-netfront.ko 
filename:  xen-netfront.ko
alias:   xennet
alias:   xen:vif
license:  GPL
description: Xen virtual network device frontend
srcversion:  5C6FC78BC365D9AF8135201
depends:  
vermagic:  2.6.32-504.el6.x86_64 SMP mod_unload modversions 
可以发现无依赖关系,我们可以直接使用:
# cp xen-netfront.ko /mnt/lib/modules/

复制完成后卸载虚拟机磁盘:
# umount /mnt

启动busybox这个虚拟机:

# xm create -c busybox
信息略......
/ # ifconfig -a
lo  Link encap:Local Loopback 
   LOOPBACK MTU:65536 Metric:1
   RX packets:0 errors:0 dropped:0 overruns:0 frame:0
   TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
   collisions:0 txqueuelen:0 
   RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
#发现只存在lo环回设备,我们还未加载xen-netfront模块,我们加入网卡模块;
/ # insmod /lib/modules/xen-netfront.ko
Initialising Xen virtual ethernet driver.
#再次查看所有网卡设备,可以发现网卡设备;
/ # ifconfig -a
eth0  Link encap:Ethernet HWaddr 00:16:3E:72:18:9B 
   BROADCAST MULTICAST MTU:1500 Metric:1
   RX packets:0 errors:0 dropped:0 overruns:0 frame:0
   TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
   collisions:0 txqueuelen:1000 
   RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
   Interrupt:247 
lo  Link encap:Local Loopback 
   LOOPBACK MTU:65536 Metric:1
   RX packets:0 errors:0 dropped:0 overruns:0 frame:0
   TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
   collisions:0 txqueuelen:0 
   RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
#设置IP地址;
/ # ifconfig eth0 172.16.31.100 up
/ # ifconfig
eth0  Link encap:Ethernet HWaddr 00:16:3E:72:18:9B 
   inet addr:172.16.31.100 Bcast:172.16.255.255 Mask:255.255.0.0
   UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
   RX packets:137 errors:0 dropped:0 overruns:0 frame:0
   TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
   collisions:0 txqueuelen:1000 
   RX bytes:10127 (9.8 KiB) TX bytes:0 (0.0 B)
   Interrupt:247 
#我们来进行ping测试;
/ # ping 172.16.31.1 -c 2
PING 172.16.31.1 (172.16.31.1): 56 data bytes
64 bytes from 172.16.31.1: seq=0 ttl=64 time=2.955 ms
64 bytes from 172.16.31.1: seq=1 ttl=64 time=0.605 ms
--- 172.16.31.1 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 0.605/1.780/2.955 ms

至此,一个简单的虚拟机的创建就完成了。

四.实现Xen部署CentOS 6.6系统

1.先关闭我们先前创建的busybox虚拟机
# xm destroy busybox

我们部署安装CentOS 6.6系统,其内核kernel和ramdisk文件由光盘文件提供,选择光盘中isolinux目录下的vmlinuz和initrd.img文件即可;

# ll -h
total 38M
-rw-r--r-- 1 root root 34M Oct 24 22:12 initrd.img
-rw-r--r-- 1 root root 4.0M Oct 24 22:12 vmlinuz

2.创建虚拟机配置文件

# cd /etc/xen/
# cp busybox centos6
# vim centos6 
kernel = "/tmp/vmlinuz"
ramdisk = "/tmp/initrd.img"
name = "CentOS6"
memory = "512"
vcpus = 1
disk = ['file:/xen/images/centos6.img,xvda,w',]
root = "/dev/xvda ro"
vif = ['bridge=xenbr0',]

3.创建虚拟机系统的磁盘IO设备文件

# cd /xen/images/
# qemu-img-xen create -f qcow2 -o preallocation=metadata centos6.img 120G
Formatting 'centos6.img', fmt=qcow2 size=128849018880 encryption=off cluster_size=65536 preallocation='metadata' 
# ll -h
total 119M
-rw-r--r-- 1 root root 2.0G Feb 6 16:01 busybox.img
-rw-r--r-- 1 root root 121G Feb 6 16:34 centos6.img

4.由于我是在虚拟机上构建Xen虚拟化,需要提供一个能够能够安装CentOS系统的环境,我选择的是http服务提供系统ISO存放,在安装系统时通过URL安装;

挂载CentOS6.6系统的光盘:
# mkdir /var/www/html/centos
# mount -t iso9660 /dev/sr0 /var/www/html/centos
启动默认的httpd服务:
# service httpd start

访问测试如图:

wKioL1TV2qCT2nr8AALckHDSZHE768.jpg

12下一页阅读全文

推荐阅读
  • 在CentOS上构建Ntopng实时网络流量监控平台
    本文详细介绍了如何在CentOS操作系统上安装和配置Ntopng,一个强大的网络流量监控工具。Ntopng能够提供实时的网络流量分析,并通过Web界面展示详细的流量报告。 ... [详细]
  • 在Linux系统上构建Web服务器的详细步骤
    本文详细介绍了如何在Linux系统上搭建Web服务器的过程,包括安装Apache、PHP和MySQL等关键组件,以及遇到的一些常见问题及其解决方案。 ... [详细]
  • 深入理解动态链接库及其应用
    本文将探讨动态链接库的基本概念,包括Windows下的动态链接库(DLL)和Linux下的共享库(Shared Library),并详细介绍如何在Linux环境中创建和使用这些库。 ... [详细]
  • 在DELL Inspiron 14R上部署CentOS X64 6.4的详细步骤
    本文详细记录了在DELL Inspiron 14R笔记本电脑上安装CentOS X64 6.4操作系统的过程,包括遇到的问题及解决方法。 ... [详细]
  • 本文探讨了在支付项目开发中使用SS5 Socket Server实现内部网络访问外部网络的技术方案。详细介绍了SS5的安装、配置及性能测试过程,旨在为面临相同需求的技术人员提供参考。 ... [详细]
  • 本文介绍了如何在Ubuntu 16.04系统上配置Nginx服务器,以便能够通过网络访问存储在服务器上的图片资源。这解决了在网页开发中需要使用自定义在线图标的需求。 ... [详细]
  • 解决腾讯社区开放平台.NET SDK在Linux下的兼容性问题
    本文探讨了腾讯社区开放平台.NET SDK在Linux系统(如CentOS)中遇到的QzoneException异常,并提供了通过安装根证书等方法解决该问题的具体步骤。 ... [详细]
  • 本文详细介绍了在Ubuntu 7.10操作系统上安装多种常用软件的方法,包括RAR压缩工具、即时通讯软件Pidgin、办公软件永中Office 2007试用版、多线程下载软件MultiGet及d4x、FTP客户端gFTP与FireFTP插件,以及P2P下载工具aMule。每部分都提供了具体的安装步骤和配置方法。 ... [详细]
  • Linux环境下通过PHP SMTP发送邮件的配置指南
    本文详细介绍了如何在Linux系统中配置PHP通过SMTP发送邮件,包括防火墙设置、端口检查与释放、IPv6到IPv4的转换、DNS缓存刷新以及PHP相关配置等步骤。 ... [详细]
  • 本文档详细介绍了在 CentOS 7 系统上安装 Redis 的步骤,包括环境准备、软件安装、配置调整及服务管理等环节。 ... [详细]
  • 本文介绍了在VMware Workstation虚拟环境中,当初始分配的磁盘空间不足以支持更多软件安装时,如何为Linux操作系统添加新的磁盘分区的方法。 ... [详细]
  • CentOS系统下设置JDK环境变量的方法
    本文将详细介绍如何在CentOS系统中为root用户配置JDK环境变量。包括JDK的安装路径设定、环境变量的添加及验证方法。 ... [详细]
  • CGroups: 资源管理和控制
    CGroups(Control Groups)是Linux内核提供的一个功能,旨在限制、记录和隔离进程组使用的物理资源,如CPU、内存和I/O等。它通过精细的资源管理,支持现代容器技术如Docker的资源限制需求。 ... [详细]
  • VMware Horizon View 5.0桌面虚拟化部署实践与心得
    在近期的研究中,我花费了大约两天时间成功部署了桌面虚拟化环境,并在此过程中积累了一些宝贵的经验。本文将分享这些经验和部署细节,希望能对同样关注桌面虚拟化的同行有所帮助。 ... [详细]
  • 本文介绍如何为普通用户设置必要的权限以启动Tomcat服务,并解决在切换用户时遇到的资源限制问题。 ... [详细]
author-avatar
百脑汇_惠州店_909
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有