nginx+uWSGI+django+virtualenv+supervisor发布web服务器

国际太阳娱乐网站2138 2

大家都学过了django,用django写了各种功能,写了bbs项目,写了路飞学城。

uWSGI是为Python语言定义的通用网关接口,它承担python
web框架(django、flask、web.py等)和web服务器(nginx、apache、lighttpd等)之间的中间层。

此文纯粹记录个人在搭建此博客时候遇到的情况。

咱们都知道django是一个web框架,方便我们快速开发web程序,http请求的动态数据就是由web框架来提供处理的。

    浏览器                      chrome、firefox、ie等
      |
    web服务器                  nginx、apache等
      |
    网关接口                    CGI、FastCGI、WSGI等
      |
    Python(程序、Web框架)    Django、Flask、Tornado等

国际太阳娱乐网站2138 1nginx、uwsgi、django之间的相互联系图

前面超哥也对nginx简单的介绍了,本文将nginx、WSGI、uwsgi、uWSGI、django这几个关系梳理一下。

python中自带的wsgiref就是一种wsgi接口的标准实现,但是,由于100%使用python实现等原因,导致wsgiref实在过于缓慢,只能用于测试和学习。生产环境中我们需要使用性能更高的服务器,目前常用的wsgi服务器有:uWSGI、Gunicorn、twisted.web。

ubuntu 16.04 64位

wsgi    全称web server gateway interface,wsgi不是服务器,也不是python模块,只是一种协议,描述web server如何和web application通信的规则。
运行在wsgi上的web框架有bottle,flask,django

uwsgi    和wsgi一样是通信协议,是uWSGI服务器的单独协议,用于定义传输信息的类型

uWSGI    是一个web服务器,实现了WSGI协议,uwsgi协议。a

nginx    web服务器,更加安全,更好的处理处理静态资源,缓存功能,负载均衡,因此nginx的强劲性能,配合uWSGI服务器会更加安全,性能有保障。

django 高级的python web框架,用于快速开发,解决web开发的大部分麻烦,程序员可以更专注业务逻辑,无须重新造轮子

1 uWSGI的安装
uWSGI是用C语言写的高性能WSGI服务器,安装uWSGI前我们需要安装Python和C编译器(GCC)。推荐使用python包管理器pip安装uWSGI。

python 3.5

逻辑图

国际太阳娱乐网站2138 2

web服务器

传统的c/s架构,请求的过程是
客户端 > 服务器 
服务器 > 客户端
服务器就是:1.接收请求 2.处理请求 3.返回响应

web框架层

HTTP的动态数据交给web框架,例如django遵循MTV模式处理请求。
HTTp协议使用url定位资源,urls.py将路由请求交给views视图处理,然后返回一个结果,完成一次请求。
web框架使用者只需要处理业务的逻辑即可。

如果将一次通信转化为“对话”的过程

Nginx:hello wsgi,我刚收到一个请求,你准备下然后让django来处理吧

WSGI:好的nginx,我马上设置环境变量,然后把请求交给django

Django:谢谢WSGI,我处理完请求马上给你响应结果

WSGI:好的,我在等着

Django:搞定啦,麻烦wsgi吧响应结果传递给nginx

WSGI:太棒了,nginx,响应结果请收好,已经按照要求传递给你了

nginx:好滴。我把响应交给用户。合作愉快

#安装最新稳定版
pip install uWSGI
#也可以安装长期支持版(LTS版本)
#pip install
在Ubuntu下可以使用apt-get来安装

django 2.0

Django Nginx+uwsgi 安装配置

在前面的章节中我们使用 python manage.py
runserver
 来运行服务器。这只适用测试环境中使用。

正式发布的服务,需要一个可以稳定而持续的服务器。

apt-get install uwsgi 

kindeditor

基础开发环境配置

yum groupinstall "Development tools"
yum install zlib-devel bzip2-devel pcre-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel

在Fedora、RedHat、CentOS下使用yum安装

virtualenv 15.2.0

提前安装好python3环境

https://www.cnblogs.com/pyyu/p/7402145.html

yum groupinstall “Development Tools”
yum install python 

mysql 5.7.21

virtualenv

请确保你的虚拟环境正常工作
https://www.cnblogs.com/pyyu/p/9015317.html

编译安装,从github下载uwsgi代码,cd到目录下

nginx 1.10.3

安装django1.11

pip3 install django==1.11
#创建django项目mysite
django-admin startproject mysite
#创建app01
python3 manage.py startapp app01

mysite/settings.py

#settings.py设置
ALLOWED_HOSTS = ['*']
install app01

mysite/urls.py

from app01 import views
urlpatterns = [
    url(r'^admin/', admin.site.urls),
    url(r'^hello_django/', views.hello),
]

app01/views.py

from django.shortcuts import render,HttpResponse

# Create your views here.
def hello(request):
    print('request is :',request)
    return HttpResponse('django is ok ')

python uwsgiconfig.py –build

uwsgi

安装uWSGI

进入虚拟环境venv,安装uwsgi
(venv) [root@slave 192.168.11.64 /opt]$pip3 install uwsgi
检查uwsgi版本
(venv) [root@slave 192.168.11.64 /opt]$uwsgi --version
2.0.17.1
#检查uwsgi python版本
uwsgi --python-version

运行简单的uWSGI

#启动一个python
uwsgi --http :8000 --wsgi-file test.py
  • http :8000: 使用http协议,端口8000
  • wsgi-file test.py: 加载指定的文件,test.py

#test.py
def application(env, start_response):
    start_response('200 OK', [('Content-Type','text/html')])
    return [b"Hello World"] # python3

uWsgi热加载python程序

在启动命令后面加上参数
uwsgi --http :8088 --module mysite.wsgi --py-autoreload=1 
#发布命令
command= /home/venv/bin/uwsgi --uwsgi 0.0.0.0:8000 --chdir /opt/mysite --home=/home/venv --module mysite.wsgi

#此时修改django代码,uWSGI会自动加载django程序,页面生效

运行django程序

#mysite/wsgi.py  确保找到这个文件
uwsgi --http :8000 --module mysite.wsgi
  • module mysite.wsgi: 加载指定的wsgi模块

uwsgi配置文件

国际太阳娱乐网站2138 3国际太阳娱乐网站2138 4

uwsgi支持ini、xml等多种配置方式,本文以 ini 为例, 在/etc/目录下新建uwsgi_nginx.ini,添加如下配置:

# mysite_uwsgi.ini file
[uwsgi]

# Django-related settings
# the base directory (full path)
chdir           = /opt/mysite
# Django's wsgi file
module          = mysite.wsgi
# the virtualenv (full path)
home            = /opt/venv
# process-related settings
# master
master          = true
# maximum number of worker processes
processes       = 1
# the socket (use the full path to be safe
socket          = 0.0.0.0:8000
# ... with appropriate permissions - may be needed
# chmod-socket    = 664
# clear environment on exit
vacuum          = true

uwsgi.ini

2 测试uwsgi是否安装成功
在终端中输入以下命令查看uwsgi的版本号,如果输出正常,说明uswgi已安装成功

主要配置难点在于在django
setting.py文件的配置、uwsgi.ini文件配置,nginx配置上。

指定配置文件启动命令

uwsgi --ini  /etc/uwsgi_nginx.ini

$ uwsgi –version
2.0.11.1
我们可以编写一个简单的wsgi应用来测试uwsgi是否被安装成功,首先创建一个test.py文件:

1.若要放在云服务器上部署。

配置nginx结合uWSGI

配置nginx.conf

worker_processes  1;
error_log  logs/error.log;
pid        logs/nginx.pid;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    access_log  logs/access.log  main;
    sendfile        on;
    keepalive_timeout  65;
   #nginx反向代理uwsgi
    server {
        listen       80;
        server_name  192.168.11.64;
        location / {
         include  /opt/nginx1-12/conf/uwsgi_params;
         uwsgi_pass 0.0.0.0:8000;
            root   html;
            index  index.html index.htm;
        }
      #nginx处理静态页面资源
      location /static{
        alias /opt/nginx1-12/static;   
         }
     #nginx处理媒体资源
     location /media{
        alias /opt/nginx1-12/media;   

         }
        error_page   500 502 503 504  /50x.html;

        location = /50x.html {
            root   html;
        }
    }
}

配置完启动nginx

# test.py
def application(env, start_response):
    start_response(‘200 OK’, [(‘Content-Type’,’text/html’)])
    return [b”Hello World”] # python3
    #return [“Hello World”] # python2
运行uwsgi:

ALLOWED_HOSTS = [

supervisor

supervisor 是基于 python
的任务管理工具,用来自动运行各种后台任务,当然你也能直接利用 nohup
命令使任务自动后台运行,但如果要重启任务,每次都自己手动 kill
掉任务进程,这样很繁琐,而且一旦程序错误导致进程退出的话,系统也无法自动重载任务。

这里超哥要配置基于virtualenv的supervisor

由于supervisor在python3下无法使用,因此只能用python2去下载!!!!!!

#注意此时已经退出虚拟环境了!!!!!
yum install python-setuptools
easy_install supervisor

通过命令生成supervisor的配支文件

echo_supervisord_conf > /etc/supervisord.conf

然后再/etc/supervisord.conf末尾添加上如下代码!!!!!!

[program:my]
#command=/opt/venv/bin/uwsgi --ini  /etc/uwsgi_nginx.ini  #这里是结合virtualenv的命令 和supervisor的精髓!!!!
command= /home/venv/bin/uwsgi --uwsgi 0.0.0.0:8000 --chdir /opt/mysite --home=/home/venv --module mysite.wsgi
#--home指的是虚拟环境目录  --module找到 mysite/wsgi.py

directory=/opt/mysite
startsecs=0
stopwaitsecs=0
autostart=true
autorestart=true

最后启动supervisor,完成uWSGI启动django,nginx反向代理

supervisord -c /etc/supervisord.conf #启动supervisor
supervisorctl -c /etxc/supervisord.conf restart my  #重启my项目
supervisorctl -c /etc/supervisord.conf [start|stop|restart] [program-name|all]

 重新加载supervisor

一、添加好配置文件后

二、更新新的配置到supervisord    

supervisorctl update
三、重新启动配置中的所有程序

supervisorctl reload
四、启动某个进程(program_name=你配置中写的程序名称)

supervisorctl start program_name
五、查看正在守候的进程

supervisorctl
六、停止某一进程 (program_name=你配置中写的程序名称)

pervisorctl stop program_name
七、重启某一进程 (program_name=你配置中写的程序名称)

supervisorctl restart program_name
八、停止全部进程

supervisorctl stop all
注意:显示用stop停止掉的进程,用reload或者update都不会自动重启。

uwsgi –http :8000 –wsgi-file test.py
参数中,http
:8000表示使用http协议,端口号为8000,wigi-file则表示要运行的wsgi应用程序文件。uwsgi运行后打开浏览器,访问
,或者是相应服务器地址的8000端口,就可以看到hello world 页面了。

‘{云服务器ip地址}’,

  django的静态文件与nginx配置

mysite/settings.py

STATIC_ROOT='/opt/nginx1-12/static'
STATIC_URL = '/static/'
STATICFILES_DIRS=[
    os.path.join(BASE_DIR,"static"),
]

上述的参数STATIC_ROOT用在哪?

通过python3 manage.py collectstatic
收集所有你使用的静态文件保存到STATIC_ROOT!

STATIC_ROOT 文件夹 是用来将所有STATICFILES_DIRS中所有文件夹中的文件,以及各app中static中的文件都复制过来
# 把这些文件放到一起是为了用nginx等部署的时候更方便

 

 

参考文档:

 uwsgi热加载:

上面的例子中,我们用浏览器直接访问了uwsgi运行的python程序(只有一个入口函数的wsgi测试应用test.py),其访问结构如下所示。

‘127.0.0.1’,

    浏览器 <-> uWSGI <-> Python
上述方式运行uWSGI服务的过程中,可以使用CTRL+C即可停止服务,在后续的章节中会讲到自动管理和部署。

]

3 nginx和django的配置
nginx和django的安装不是本文的重点,故在此略去,只讨论配置部分。在这里,我们要实现的效果如下:

首先要对服务器访问ip与web程序进行绑定才可以由云服务器的ip访问web资源。

    浏览器 <-> nginx <-> uWSGI <-> Django(python)
uwsgi_params 配置文件
uWSGI使用的协议不完全是标准的WSGI协议,我们需要从Github下载uwsgi_paraments配置文件,并将该文件拷贝到项目路径中(例如:/user/home/pengquanxin/projects/mysite1/)。

2.更改数据库配置。

Nginx服务器配置
接下来,要配置nginx服务器和uWSGI互通,可以使用unix套接字方式和TCP端口方式。在nginx配置文件夹(/etc/naginx/site-enabled

/usr/local/etc/nginx/sites-enabled)中新建网站的配置文件mystie_nginx.conf,输入以下内容:

数据库在云服务器中使用的是mysql,在此建议在安装了mysql后,将云服务器上安装的mysql配置为可远程访问操控,方便在远程使用第三方工具对数据库进行操控。

# mysite_nginx.conf

DATABASES = {

# nginx需要连接的上游
upstream django {
    server unix:///path/to/your/mysite/mysite.sock; # 使用unix套接字
    #server 127.0.0.1:8001; #
使用TCP端口请注释上一行,并取消本行注释,这里的端口指的是跑uwsgi的端口
}

‘default’: {

# nginx服务器配置
server {
    # 监听端口
    listen      80;
    # 域名
    server_name .example.com;
    # 编码
    charset    utf-8;

# ‘ENGINE’: ‘django.db.backends.sqlite3’,

    # 最大上传大小
    client_max_body_size 75M; 

# ‘NAME’: os.path.join(BASE_DIR, ‘db.sqlite3’),

    # Django 的media路径
    location /media  {
        alias /path/to/your/mysite/media; 
    }

‘ENGINE’: ‘django.db.backends.mysql’,

    # 静态文件路径
    location /static {
        alias /path/to/your/mysite/static;
    }

‘NAME’: ‘{数库名}’,

    # 将动态请求转发到uwsgi跑的django程序
    location / {
        uwsgi_pass  django;
        include    /path/to/your/mysite/uwsgi_params; #
从github上下载的uwsgi_params 文件路径
    }
}
你也可以把这个配置文件放在项目路径中,然后建立一个链接到nginx配置文件夹:

‘USER’: ‘{数据库访问用户}’,

sudo ln -s ~/path/to/your/mysite/mysite_nginx.conf
/etc/nginx/sites-enabled/
部署静态文件
在部署服务器之前,需要先将Django的静态文件部署到静态文件夹中,首先,编辑django网站的settings.py文件

国际太阳娱乐网站2138,’PASSWORD’: ‘{数据库访问密码}’,

STATIC_ROOT = os.path.join(BASE_DIR, “static/”)
然后,运行以下命令

‘HOST’: ‘{数据库所在的ip地址}’,

python manage.py collectstatic
4 启动服务
在启动nginx之前,我们需要先启动uWSGI,进入项目目录然后输入以下命令,在这里我们使用unix套接字方式:

‘PORT’: ‘3306’,

#注:django1.6 前的版本需要手动添加wsgi.py
uwsgi –socket mysite.sock
如果nginx和uwsgi跑在同一台服务器上,使用unix套接字就可以了,unix套接字方式性能要高很多,但不能跨机器访问。当nginx和uWSGI不在一台服务器上时,就需要使用TCP端口方式(别忘了更改nginx配置文件,取消相应注释):

}

uwsgi –socket :8001 –module mysite.wsgi –chmod-socket=664
接下来,启动nginx服务器,就可以访问django站点了。

}

5 使用ini配置文件跑uWSGI
到这里,我们已经把nginx+uWSGI+Django跑起来了,但uWSGI的参数比较多的时候,每次都要输入非常麻烦,这时,我们可以在django项目目录下建立一个mysite.uwsgi.ini

使用时,对数据库依赖安装了有以下:

[uwsgi]
# 项目根目录路径(full path)
chdir          = /path/to/your/project
# Django的 wsgi 文件
module          = mysite.wsgi
# virtualenv目录 (full path)
home            = /path/to/virtualenv

sudo apt-get build-dep python-lxml

master          = true
#
最大工作进程数(CPU密集型建议设为CPU核心数,IO密集型建议设为CPU核心数的两倍)
processes      = 16
# unix套接字文件路径
socket          = /path/to/your/project/mysite.sock
# socket文件权限
# chmod-socket    = 664
# 退出时清空环境
vacuum          = true
然后,直接根据配置文件运行uwsgi即可:

pip install PyMSQL

uwsgi –ini mysite.uwsgi.ini
6 管理uwsgi
Emperor模式
uWSGI的Epreror模式可以用来管理机器上部署的uwsgi服务,在这种模式下,会有一个特殊的进程(皇帝)对其它部署的服务(诸侯)进行监视。我们将所有配置文件(ini或xml文件,如上一节中的mysite.uwsgi.ini)统一放到一个文件夹(如:/etc/uwsgi/vassals)中,然后启动Emperor模式:

pip install mysqlclient

uwsgi –emperor /etc/uwsgi/vassals
这样,就会自动读取文件夹中的配置文件,并自动监控这些uwsgi服务: –
检测文件夹中有新的配置文件时,会启动新的uwsgi服务实例 –
检测到一个配置文件发生改变,会自动重启该服务 –
检测到一个配置文件被移除,则自动停止该服务 –
如果一个服务死了(诸侯),皇帝进程会重启该服务 –
如果监控进程(皇帝)死了,所有服务(诸侯)都会停止

pip install Pollow ### model中ImageField需要的依赖

用systemd管理uwsgi服务
配合Eperor模式,在centos、fedora、archlinux中,我们可以用systemd来管理uwsgi,首先,创建一个systemd
service文件(/etc/systemd/system/emperor.uwsgi.service)

3.对静态文件和上传文件的更改。

[Unit]
Description=uWSGI Emperor
After=syslog.target

django框架下,对静态文件和上传文件是需要进行配置才会有效,要指定访问后缀和文件目录地址,这一切都可以在setting配置中实现。

[Service]
ExecStart=/root/uwsgi/uwsgi –emperor /etc/uwsgi/vassals
Restart=always
KillSignal=SIGQUIT
Type=notify
StandardError=syslog
NotifyAccess=all

#设置静态文件目录。其中前端js、css、kindeditor富文本、UI第三方都放在其中

[Install]
WantedBy=multi-user.target
这样我们就可以用systemd来管理uwsgi服务了。启动服务:

#此地址是指在云服务器上 最后所有的static文件夹都会集中在此目录下
运行命令为

$ systemctl start emperor.uwsgi.service
查询服务运行状态:

python manage.py collectstatic

$ systemctl status emperor.uwsgi.service
停止服务

MEDIA_ROOT=’/var/www/blog/static/’

systemctl stop emperor.uwsgi.service
Linux系统中,还有一种通用的方法,就是在init.d 或 rc.d
中加入启动脚本,这种方式不够智能,而且网上资料很多,在这里暂不讨论。

STATIC_URL = ‘/static/’ #访问url后缀地址 如 127.0.0.1/static/js/jq.js

7 常用参数和选项
关于参数的具体使用,可以阅读官方文档
,在这里列出一些常用的参数:

STATICFILES_DIRS = (

chdir 项目目录
home virtualenv目录(如没有运行virtualenv虚拟环境,则无需设置)
socket 套接字文件或TCP套接字,例如:site1.uwsgi.sock 或 127.0.0.1:8000
uid 用户id
gid 用户组id
processes 工作进程数
harakiri 进程超过该时间未响应就重启该进程(默认单位为秒)
module 要启动的wsgi模块入口,如:mysite.wsgi:application
ini 指定ini配置文件
xml 指定xml配置文件(与ini类似)
file 指定要运行的wsgi程序文件,如:test.py
emperor Emperor模式
so-keepalive 开启TCP KEEPALIVE(unix套接字方式下无效)
vacuum 退出时清空环境

os.path.join(BASE_DIR, “static”), #开发时存放静态文件目录

更多参考

)

Nginx+uWSGI+Supervisor在Ubuntu上部署Flask应用 
http://www.linuxidc.com/Linux/2016-07/133064.htm

# 设置媒体文件目录 与上静态文件目录配置说明同理

uWSGI+Django+Nginx的工作原理流程与部署过程
http://www.linuxidc.com/Linux/2017-03/141785.htm

MEDIA_URL = ‘/media/’

You can leave a response, or trackback from your own site.

Leave a Reply

网站地图xml地图