Docker部署MySQL、Redis、Kafka、ES、Kibana
Docker
Docker的基础概念和安装就不多讲了,参考官网学习就行。
https://www.docker.com/
https://docs.docker.com/engine/install/
镜像仓库
https://hub.docker.com/explore
https://hub.docker.com/search?badges=official
hub.docker已经提供了非常多的镜像,一般情况来讲使用官方镜像就好了。
如:
https://hub.docker.com/_/mysql
官方写的也相当明白,如何使用镜像,运行容器可以配置那些参数,日志等
还包括进入容器执行命名、查看文件等等
Docker Compose
Docker Compose 相较于单独使用 docker run 命令有很多优势,特别是在管理多容器应用时。
1. 简化复杂环境的配置
- 多容器管理:当您的应用程序由多个服务组成(如前端、后端、数据库等),使用 docker run 需要为每个服务单独启动容器,并手动配置它们之间的网络和依赖关系。而 Docker Compose 可以通过一个简单的 docker-compose.yml 文件定义所有服务及其配置。
- 统一配置文件:所有服务的配置都集中在一个 YAML 文件中,易于阅读和维护。
2. 自动化服务依赖
- 自动处理依赖:在 docker-compose.yml 中可以指定服务之间的依赖关系。例如,您可以设置 MySQL 服务必须在应用服务之前启动。Docker Compose 会确保这些依赖关系得到满足。
- 重启策略:可以定义重启策略来保证服务的高可用性,比如某个服务失败后自动重启。
3. 网络配置简化
- 内置网络管理:Docker Compose 自动创建一个默认网络供所有服务使用,使得容器间通信变得非常简单。您不需要手动创建和管理网络。
- 自定义网络:虽然可以手动创建网络并在 docker run 中指定,但 Docker Compose 提供了更简洁的方式来自定义网络。
4. 环境变量管理
- .env 文件支持:Docker Compose 支持从 .env 文件加载环境变量,这使得管理和切换不同环境下的配置更加容易。
- 环境变量文件:还可以通过 env_file 指令引用外部环境变量文件,进一步增强灵活性。
5. 卷和绑定挂载的便捷配置
- 持久化存储:在 Docker Compose 文件中,可以通过简单的声明来配置卷或绑定挂载,从而轻松实现数据持久化。
- 一致的开发与生产环境:可以在不同环境中复用相同的配置,只需调整少量参数即可适应不同的部署场景。
6. 命令行简化
- 单命令操作多个容器:使用 docker-compose up 即可一次性启动所有定义的服务,而无需分别执行 docker run 命令。
- 便捷的生命周期管理:除了启动服务外,还可以使用 docker-compose down 来停止并移除所有相关容器、网络和卷。
7. 版本控制友好
- YAML 格式便于版本控制:将 docker-compose.yml 文件纳入版本控制系统(如 Git)中,便于团队协作和历史记录追踪。
- 回滚方便:如果需要恢复到之前的配置版本,只需切换到相应的分支或标签即可。
8. 扩展性和伸缩性
- 轻松扩展服务实例数:通过 docker-compose scale 或者在 docker-compose.yml 中定义 deploy 部分,可以轻松地增加或减少服务实例的数量。
- 负载均衡:对于Web应用等场景,Docker Compose 能够结合 Docker Swarm 实现负载均衡。
示例对比
假设我们要部署一个包含 MySQL 和 Redis 的应用:
使用 docker run
# 启动 MySQL 容器
docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag
# 启动 Redis 容器
docker run --name some-redis -d redis:alpine
使用 Docker Compose
version: '3'
services:
db:
image: mysql:tag
environment:
MYSQL_ROOT_PASSWORD: my-secret-pw
redis:
image: redis:alpine
只需运行 docker-compose up -d 即可同时启动这两个服务,并且它们之间能够自动发现对方(如果在同一网络下)。
Docker Compose 提供了一种更为高效、灵活的方式来管理和部署复杂的多容器应用,特别适合开发、测试以及小规模生产环境中的快速部署需求。
示例Compose
https://github.com/wnhyang/coolGuard
也是此项目的部署方式
.env
mysql_root_password=mysql_password
mysql_database=mysql_database
mysql_user=mysql_user
mysql_password=mysql_password
redis_password=redis_password
elasticsearch_password=elasticsearch_password
kibana_password=kibana_password
kibana_url=http://localhost:5601
coolguard_image=coolguard_image
docker-compose.yml
services:
mysql:
image: mysql:8.0.36
container_name: mysql
volumes:
- mysqldata:/var/lib/mysql
ports:
- "3306:3306"
environment:
MYSQL_ROOT_HOST: 'localhost'
TZ: Asia/Shanghai
MYSQL_ROOT_PASSWORD: ${mysql_root_password}
MYSQL_DATABASE: ${mysql_database}
MYSQL_USER: ${mysql_user}
MYSQL_PASSWORD: ${mysql_password}
networks:
- custom_network
redis:
image: redis:7.2.7-alpine
container_name: redis
command: redis-server --requirepass ${redis_password}
volumes:
- redisdata:/data
ports:
- "6379:6379"
environment:
TZ: Asia/Shanghai
networks:
- custom_network
kafka:
image: apache/kafka:3.7.0
container_name: kafka
volumes:
- kafkadata:/var/lib/kafka/data
ports:
- "9092:9092"
- "9093:9093"
environment:
KAFKA_NODE_ID: 1
KAFKA_LOG_DIRS: /var/lib/kafka/data
KAFKA_METADATA_LOG_REPLICATION_FACTOR: 1
KAFKA_DEFAULT_REPLICATION_FACTOR: 1
KAFKA_PROCESS_ROLES: broker,controller
KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092
KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
KAFKA_CONTROLLER_QUORUM_VOTERS: 1@kafka:9093
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
KAFKA_NUM_PARTITIONS: 3
TZ: Asia/Shanghai
networks:
- custom_network
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:8.17.3
container_name: elasticsearch
volumes:
- esdata:/usr/share/elasticsearch/data
ports:
- "9200:9200"
- "9300:9300"
environment:
ES_JAVA_OPTS: "-Xms1g -Xmx1g"
discovery.type: single-node
ELASTIC_PASSWORD: ${elasticsearch_password}
xpack.security.enabled: "true"
xpack.security.http.ssl.enabled: "false"
xpack.security.transport.ssl.enabled: "false"
TZ: Asia/Shanghai
networks:
- custom_network
kibana:
depends_on:
- elasticsearch
image: docker.elastic.co/kibana/kibana:8.17.3
container_name: kibana
volumes:
- kibanadata:/usr/share/kibana/data
ports:
- "5601:5601"
environment:
ELASTICSEARCH_HOSTS: http://elasticsearch:9200
ELASTICSEARCH_USERNAME: kibana
ELASTICSEARCH_PASSWORD: ${kibana_password}
SERVER_PUBLICBASEURL: ${kibana_url}
XPACK_SECURITY_ENABLED: "true"
XPACK_SECURITY_HTTP_SSL_ENABLED: "false"
TZ: Asia/Shanghai
networks:
- custom_network
coolguard:
image: ${coolguard_image}
container_name: coolguard
volumes:
- /docker/coolguard/logs:/coolguard/logs
ports:
- "8081:8081"
environment:
- "SPRING_PROFILES_ACTIVE=demo"
networks:
- custom_network
volumes:
mysqldata:
driver: local
redisdata:
driver: local
kafkadata:
driver: local
esdata:
driver: local
kibanadata:
driver: local
networks:
custom_network:
driver: bridge
运行
在docker-compose.yml同目录执行
# 单独运行
docker compose up -d <service_name>
# 一起运行
docker compose up -d
或指定
- -f 参数 指定 docker-compose.yml 文件的路径
- -p 参数 指定项目名,默认不指定时使用当前目录名作为项目的名称
docker-compose -f /home/user/projects/myapp/docker-compose.yml -p myapp up -d mysql redis