云服务器项目部署
项目部署的相关概念
关于部署流程,主要包含以下两个方面:部署方案、部署环境:
部署方案
- 制定产品需求文档的基础上明确 deployment 方向
- 基于开发文档对功能模块进行剖析 确定 deployment 节点
- 根据功能模块合理选择 deploy 的软件 并使其匹配当前业务环境中的应用
- 梳理 project 中涉及的各种 deployment 工具及其实现方案 结合第2步规划好的 deployment 节点 制定初步 deployment 方案
- 根据 project 的实际运行情况 对初步 deployment 方案进行优化配置 并最终确定 project deployment 方案
部署环境
- 个人开发环境:
工作负责人:由本人负责
工作平台:包括个人使用的手持设备和公司提供的电脑设备
平台特点:工作环境主要基于个人配置的基础上进行扩展,并且不同团队成员可能根据自身需求选择不同的开发工具和配置方案
工作内容:涉及项目中的各个细分模块及辅助功能的具体实现
完成标准:确保按照领导指示完成项目各功能模块的开发任务
- 公司开发环境:
开发团队构成人员配置
运行平台限定于内部服务器架构
运行环境在本地与云端完全一致
涉及不同子模块之间的功能协同优化过程
在项目各阶段均经过系统性测试与验证
- 项目测试环境:
测试团队负责人员执行相关任务。
采用公司内部IT系统的资源进行测试。
平台架构在本地与线上环境无差别。
负责项目的功能性、非功能性以及探索性测试任务。
确保各阶段系统均正常运行。
- 项目预发布环境:
工作人员:运维部门
工作平台:其中一台在线服务器
平台特点:与线上服务器环境无差别
工作内容:如支付功能等特殊功能测试、数据压力测试、其他安全测试等
完成标准:项目阶段的功能实现了预期目标,最终防护措施到位
- 项目生产环境:
负责运维的团队人员是运维团队。
运行环境是公司内部的线上服务器集群。
运行环境的特点是基于标准化的线上服务器架构。
主要负责代码的部署与版本管理、整理并维护项目的技术文档。
确保项目的稳定性和可靠性运行状态。
前端项目部署
在之前的开发过程中,并未将项目上传至云平台。因此,在后续步骤中,我们的团队将首先建立一个云仓库。
git remote add origin https://gitee.com/mooluo/luffyproject_pc.git
git add .
git commit -m "项目完成"
git push orgin master
AI写代码
自动化程序会将打包的文件自动生成到项目的dist文件夹中。
npm run build
请注意,编译生成的文件必须依赖HTTP协议才能访问。直接双击index.html也无法打开。
因为根据我们上面的部署方案,我们需要安装nginx来运行这个项目。
后端项目部署
使用docker进行容器化管理进行持续集成部署
更新ubuntu的apt源索引
sudo apt-get update
安装包允许apt通过HTTPS使用仓库
通过sudo执行dpkg命令并启用或禁用软件包管理器的配置选项
添加Docker官方GPG key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
设置Docker稳定版仓库
通过执行sudo add-apt-repository命令并加入该 Docker 官方镜像 repository 后ward 确保 apt 源列表已更新
sudo apt-get update
安装最新版Docker CE(社区版)
```sudo apt-get install docker-ce````
检查Docker CE是否安装正确
sudo docker run hello-world
- 启动与停止
安装完成Docker后,默认已经启动了docker服务,如需手动控制docker服务的启停,可执行如下命令
- 启动docker
```sudo service docker start````
-
停止docker
sudo service docker stop
-
重启docker
sudo service docker restart
-
列出镜像
docker image ls
-
拉取镜像
docker image pull library/hello-world
-
删除镜像
docker image rm 镜像id/镜像ID
-
创建容器
docker run [选项参数] 镜像名 [命令]
-
停止一个已经在运行的容器
```docker container stop 容器名或容器id````
-
启动一个已经停止的容器
docker container start 容器名或容器id
-
kill掉一个已经在运行的容器
docker container kill 容器名或容器id
-
删除容器
docker container rm 容器名或容器id
把前端项目通过nginx容器来运行
-
在docker中下载nginx镜像
docker image pull nginx
-
使用git把码云上面的编译过的vue项目克隆到服务器/home
-
阿里云服务器中,我们从码云克隆下来的前端项目: /home/luffyproject_pc/dist
git clone 项目git地址
-
创建nginx容器,并以80端口对外提供服务
docker run -itd -p 80:80 -v /home/luffyproject_pc/dist:/usr/share/nginx/html nginx
-
启动nginx容器中的nginx【容器ID通过docker container ls --all可以查看到】
docker container exec -itd [容器ID] nginx
“”"
/etc/nginx # nginx容器中nginx的配置目录
/usr/share/nginx/html # nginx容器中www目录
“”"
Nginx+uwsgi
Nginx是一款基于异步框架的轻量级/高性能的Web 服务器/反向代理服务器/缓存服务器/电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like协议下发行。由俄罗斯的程序设计师Igor Sysoev(伊戈尔·赛索耶夫)所开发,最初供俄国大型网站Rambler.ru及搜寻引擎Rambler使用。
后端项目部署到docker容器中
在项目中复制开发配置文件dev.py 到生产配置prod.py
修改配置中的地址相关即可。
"""
Django settings for luffy project.
Generated by 'django-admin startproject' using Django 2.2.1.
For more information on this file, see
https://docs.djangoproject.com/en/2.2/topics/settings/
For the full list of settings and their values, see
https://docs.djangoproject.com/en/2.2/ref/settings/
"""
import os
#Build paths inside the project like this: os.path.join(BASE_DIR, ...)
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
导入sys模块以便后续操作。
将系统路径插入到 apps 应用程序所在的目录之前。
快速启动开发设置 - 不适合生产环境
注意
安全性提示
应用配置
中间件配置
其他设置
自定义用户模型类
#Database
#https://docs.djangoproject.com/en/2.2/ref/settings/#databases
DATABASES = {
# 默认数据库
"default": {
"ENGINE": "django.db.backends.mysql",
"HOST": "127.0.0.1",
"PORT": 3306,
"USER": "luffy_user",
"PASSWORD": "luffy",
"NAME": "luffycity",
}
}
#缓存配置
CACHES = {
"default":{
"BACKEND": "django_redis.cache.RedisCache",
# 项目上线时,需要调整这里的路径
"LOCATION": "redis://127.0.0.1:6379/0",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
"session": {
"BACKEND": "django_redis.cache.RedisCache",
# 项目上线时,需要调整这里的路径
"LOCATION": "redis://127.0.0.1:6379/1",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
# 提供存储短信验证码
"sms_code": {
"BACKEND": "django_redis.cache.RedisCache",
"LOCATION": "redis://127.0.0.1:6379/2",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
# 提供存储购物车相关信息
"cart": {
"BACKEND": "django_redis.cache.RedisCache",
"LOCATION": "redis://127.0.0.1:6379/3",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
}
},
}
#设置xadmin用户登录时,登录信息session保存到redis
SESSION_ENGINE = "django.contrib.sessions.backends.cache"
SESSION_CACHE_ALIAS = "session"
#Password validation
#https://docs.djangoproject.com/en/2.2/ref/settings/#auth-password-validators
AUTH_PASSWORD_VALIDATORS = [
{
'NAME': 'django.contrib.auth.password_validation.UserAttributeSimilarityValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.MinimumLengthValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.CommonPasswordValidator',
},
{
'NAME': 'django.contrib.auth.password_validation.NumericPasswordValidator',
},
]
#Internationalization
#https://docs.djangoproject.com/en/2.2/topics/i18n/
LANGUAGE_CODE = 'zh-hans'
TIME_ZONE = 'Asia/Shanghai'
USE_I18N = True
USE_L10N = True
USE_TZ = False
#Static files (CSS, JavaScript, Images)
#https://docs.djangoproject.com/en/2.2/howto/static-files/
#访问静态文件的url地址前缀
STATIC_URL = '/static/'
#设置django的静态文件目录
STATICFILES_DIRS = [
os.path.join(BASE_DIR,"luffy/statics")
]
STATIC_ROOT = os.path.join(os.path.dirname(BASE_DIR), 'static')
#项目中存储上传文件的根目录[暂时配置],注意,static目录需要手动创建否则上传文件时报错
MEDIA_ROOT=os.path.join(BASE_DIR,"luffy/statics")
#访问上传文件的url地址前缀
MEDIA_URL ="/media/"
#日志配置
LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'formatters': {
'verbose': {
'format': '%(levelname)s %(asctime)s %(module)s %(lineno)d %(message)s'
},
'simple': {
'format': '%(levelname)s %(module)s %(lineno)d %(message)s'
},
},
'filters': {
'require_debug_true': {
'()': 'django.utils.log.RequireDebugTrue',
},
},
'handlers': {
'console': {
'level': 'DEBUG',
'filters': ['require_debug_true'],
'class': 'logging.StreamHandler',
'formatter': 'simple'
},
'file': {
'level': 'INFO',
'class': 'logging.handlers.RotatingFileHandler',
# 日志位置,日志文件名,日志保存目录必须手动创建
'filename': os.path.join(os.path.dirname(BASE_DIR), "logs/luffy.log"),
# 日志文件的最大值,这里我们设置300M
'maxBytes': 300 * 1024 * 1024,
# 日志文件的数量,设置最大日志数量为10
'backupCount': 10,
# 日志格式:详细格式
'formatter': 'verbose'
},
},
# 日志对象
'loggers': {
'django': {
'handlers': ['console', 'file'],
'propagate': True, # 是否让日志信息继续冒泡给其他的日志处理系统
},
}
}
REST_FRAMEWORK = {
# 异常处理
'EXCEPTION_HANDLER': 'luffy.utils.exceptions.custom_exception_handler',
# 配置用户认证方式
'DEFAULT_AUTHENTICATION_CLASSES': (
'rest_framework_jwt.authentication.JSONWebTokenAuthentication',
'rest_framework.authentication.SessionAuthentication',
'rest_framework.authentication.BasicAuthentication',
),
}
import datetime
JWT_AUTH = {
# 配置jwt的有效期
'JWT_EXPIRATION_DELTA': datetime.timedelta(days=1),
# 设置jwt登录视图的返回值
'JWT_RESPONSE_PAYLOAD_HANDLER': 'users.utils.jwt_response_payload_handler',
}
#配置django的认证类功能,增加手机号登录
AUTHENTICATION_BACKENDS = [
'users.utils.UsernameMobileAuthBackend',
]
#极验验证码配置
PC_GEETEST_ID = '5f4ab1914455506edffaffd4da37fea5'
PC_GEETEST_KEY ='460e13a49d687e5e44e25c383f0473a6'
#短信配置
#主账号
SMS_ACCOUNTSID = '8a216da86ab0b4d2016ab3e05fe400b1'
#主账号Token
SMS_ACCOUNTTOKEN = '5f0ba4296bbb4e248aa77253ccfe0b31'
#创建应用的APPID
SMS_APPID = '8a216da86ab0b4d2016ab3e0603900b7'
#说明:请求地址,生产环境配置成app.cloopen.com
SMS_SERVERIP = 'sandboxapp.cloopen.com'
#富文本编辑器ckeditor配置
CKEDITOR_CONFIGS = {
'default': {
'toolbar': 'full', # 工具条功能
'height': 300, # 编辑器高度
# 'width': 300, # 编辑器宽
'language':'zh-hans',
},
}
CKEDITOR_UPLOAD_PATH = '' # 上传图片保存路径,留空则调用django的文件上传功能
#保利威视频加密服务
POLYV_CONFIG = {
"userId":"62dc475e3f",
"secretkey":"h6FiaEBRMU",
"servicesUrl":"https://hls.videocc.net/service/v1/token",
}
#支付宝电脑网站支付配置信息
ALIPAY_APPID = "2016091600523592"
APP_NOTIFY_URL = None
ALIPAY_DEBUG = True
#APIPAY_GATEWAY="https://openapi.alipay.com/gateway.do"
APIPAY_GATEWAY="https://openapi.alipaydev.com/gateway.do"
#客户端接受get回调支付结果
ALIPAY_RETURN_URL = "http://luffy.pythonyuan.com/success"
#服务端接受post回调支付结果
ALIPAY_NOTIFY_URL = "http://api.pythonyuan.com:8000/payments/success"
AI写代码
上线前先收集静态文件
当Django运行在生产环境中,我们会关闭debug调试,那么项目将不再提供静态文件的支持,需要将静态文件交给静态文件的nginx服务器来提供访问。
我们先收集所有静态文件。项目中的静态文件除了我们使用的上传文件之外,django本身还有自己的静态文件,如rest_framework、xadmin、admin、ckeditor等。我们需要收集这些静态文件,集中一起放到静态文件服务器中。
我们要将收集的静态文件放到项目的static目录中,所以先创建目录static。
Django提供了收集静态文件的方法。先在配置文件中配置收集之后存放的目录
settings/prop.py,代码:
STATIC_ROOT = os.path.join(os.path.dirname(BASE_DIR), ‘static’)
然后执行收集命令
python manage.py collectstatic
django的程序通常使用uwsgi服务器来运行
修改wsgi.py文件
os.environ.setdefault(‘DJANGO_SETTINGS_MODULE’, ‘luffy.settings.prop’)
我们可以在本地环境中先安装uwsgi模块进行使用,然后成功了再上传到服务器中。
pip install uwsgi
uwsgi --version # 查看 uwsgi 版本
在项目根目录下创建uwsgi配置文件uwsgi.ini
[uwsgi]
#使用nginx连接时使用,Django程序所在服务器地址
socket=127.0.0.1:8000
#直接做web服务器使用,Django程序所在服务器地址
#http=127.0.0.1:8000
#项目目录
chdir=/Home/moluo/luffycity
#项目中wsgi.py文件的目录,相对于项目目录
wsgi-file=luffycity/wsgi.py
#进程数
processes=4
#线程数
threads=2
#uwsgi服务器的角色
master=True
#存放进程编号的文件
pidfile=uwsgi.pid
#日志文件,因为uwsgi可以脱离终端在后台运行,日志看不见。我们以前的runserver是依赖终端的
daemonize=uwsgi.log
#指定依赖的虚拟环境
virtualenv=/Home/moluo/.virtualenv/luffycity
启动uwsgi服务器,必须在uwsgi配置文件中运行下面的命令
注意,在本地环境中必须先把runserver关闭
uwsgi --ini uwsgi.ini
停止uwsgi服务器,还可以通过使用kill命令停止
uwsgi --stop uwsgi.pid
把django项目上传部署到服务器并使用uwsgi服务器运行
导出当前虚拟环境中的模块包列表
pip freeze > requirements.txt
在服务器中使用git拉取最新的项目内容。
cd /home/luffyproject
git pull
安装基本虚拟环境[直接把项目运行在服务器中,不在容器里面]
#安装python3的pip工具
apt install python3-pip
#使用pip安装虚拟环境
pip3 install virtualenv
pip3 install virtualenvwrapper
#配置虚拟环境的环境变量
#执行命令
mkdir KaTeX parse error: Expected 'EOF', got '#' at position 21: ….virtualenvs #̲执行命令,打开并编辑 ~/.b…HOME/.virtualenvs
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
source /usr/local/bin/virtualenvwrapper.sh
#刷新配置文件
source ~/.bashrc
#创建虚拟环境
mkvirtualenv luffyproject -p python3
#在虚拟环境中同步之前的个人开发环境中安装包列表 requirements.txt
cd /home/luffyproject/docs
pip install -r requirements.txt -i https://pypi.douban.com/simple
#项目中有些包是之前使用下载包方式安装的,则这里需要我们手动安装
#例如:xadmin
pip install https://codeload.github.com/sshwsfc/xadmin/zip/django2
#安装完成这些手动安装的包以后,我们再次执行上面的命令
pip install -r requirements.txt -i https://pypi.douban.com/simple
#经过上面的步骤,我们直接切到uwsgi.ini所在目录下,运行项目
uwsgi --ini uwsgi.ini
#我们会发现上面命令运行不起来,原因是我们的本地模块包是从新安装的,之前有修改过,所以需要调整。同时因为我们之前已经在项目中使用到了redis和mysql
#因此我们需要在docker中下载redis和mysql的容器
docker pull redis
docker pull mysql
#创建redis容器并运行redis
docker container run -itd -p6379:6379 redis
#创建mysql容器并启动mysql
docker container run -itd -p3306:3306 -e MYSQL_ROOT_PASSWORD=luffy mysql
#接下来远程在本地环境中导出当前项目的数据库,并导入到服务器中的数据库中
#1. 本地导出数据
cd ~/Desktop/luffy/docs/
mysqldump -uroot -p123 luffycity>./luffycity.sql # 本地数据库账号
#2. 在服务器中创建数据和数据库用户
mysql -uroot -pluffy -h47.112.204.45 # 本地登陆线上的mysql数据库
create database luffycity charset=utf8mb4;
create user luffy_user identified by ‘luffy’;
grant all privileges on luffycity.* to ‘luffy_user’@’%’;
flush privileges;
exit
#3. 退出服务器数据库终端,使用以下命令导入数据库
cd ~/Desktop/luffy/docs/
mysql -uroot -pluffy -h47.112.204.45 luffycity < ./luffycity.sql
4. 继续使用manage.py运行django项目,修改数据库的decode错误以后,就正常运行。
#5. 使用uwsgi来运行django项目
uwsgi --ini uwsgi.ini
#新的配置信息 uwsgi.ini
[uwsgi]
#使用nginx连接时使用,Django程序所在服务器地址
;socket=127.0.0.1:8000
#直接单独做web服务器使用,Django程序所在服务器地址
http=0.0.0.0:8000
#项目根目录
chdir=/home/luffyproject
#项目中wsgi.py文件的目录,相对于项目目录
wsgi-file=luffy/wsgi.py
#进程数
processes=4
#线程数
threads=2
#uwsgi服务器的角色
master=True
#存放进程编号的文件
pidfile=uwsgi.pid
#日志文件,因为uwsgi可以脱离终端在后台运行,日志看不见。我们以前的runserver是依赖终端的
daemonize=uwsgi.log
#指定依赖的虚拟环境
virtualenv=/root/.virtualenvs/luffyproject
接下来,我们就可以使用nginx对uwsgi进行反向代理
我们直接在服务器安装一个nginx,不再使用容器.
sudo apt-get install nginx
修改Nginx配置文件,让Nginx接收到请求后转发给uwsgi服务器
upstream luffy {
server 10.211.55.2:8000;
}
AI写代码
#gzip on;
server {
listen 8000;
server_name api.luffycity.com;
location / {
include uwsgi_params;
uwsgi_pass luffy;
}
}
server {
listen 80;
server_name www.luffycity.com;
#charset koi8-r;
#access_log logs/host.access.log main;
location /xadmin {
include uwsgi_params;
uwsgi_pass luffy;
}
location /ckeditor {
include uwsgi_params;
uwsgi_pass luffy;
}
# 前端
location / {
root /home/Home/luffycity;
index index.html index.htm;
}
AI写代码
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
重启nginx
service nginx restart
我们使用Nginx服务器作为静态文件服务器,打开Nginx容器的配置文件,修改配置:
sudo vim /etc/nginx/sites-available/default
在server部分中配置
server {
listen 80;
server_name luffy.pythonyuan.com;
location /static {
root /home/luffyproject_pc/static;
index index.html index.htm;
}
…
}
重启Nginx服务器
service nginx restart
启动nginx服务器
service nginx start
停止nginx服务器
service nginx stop
