小工具知识网

当前位置: 首页 > 行业知识 > 【DataSophon】大数据服务组件之Flink升级

行业知识

【DataSophon】大数据服务组件之Flink升级

2026-11-18 03:02:34 来源:互联网转载

��个人主页——开着拖拉机回家_Linux,大数据运维-CSDN博客 ✨

感谢点赞和关注 ,每天进步一点点!加油!

目录

一、DataSophon是什么

1.1 DataSophon概述

1.2 架构概览

1.3 设计思想

二、解压新旧组件安装包

三、 修改安装包中文件和目录

四、重新生成安装包

3.1 重新打包

3.2 生成加密码

3.3 生成md5加密文件

五、 删除已装的组件包flink(ALL)

六、修改service_ddl.json

七、修改env环境变量(ALL)

7.1修改环境变量配置参数(ALL)

7.2 重启manager服务

八、重新安装服务

九、测试验证


一、DataSophon是什么


1.1 DataSophon概述


DataSophon也是个类似的管理平台,只不过与智子不同的是,智子的目的是锁***人类的基础科学阻碍人类技术爆炸,而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。

主要特性有:

  • 快速部署,可快速完成300个节点的大数据集群部署
  • 兼容复杂环境,极少的依赖使其很容易适配各种复杂环境
  • 监控指标全面丰富,基于生产实践展示用户最关心的监控指标
  • 灵活便捷的告警服务,可实现用户自定义告警组和告警指标
  • 可扩展性强,用户可通过配置的方式集成或升级大数据组件

    官方地址:DataSophon | DataSophon

    GITHUB地址:datasophon/README_CN.md at dev · datavane/datasophon

    1.2 架构概览


    1.3 设计思想


    为设计出轻量级,高性能,高可扩的,可满足国产化环境要求的大数据集群管理平台。需满足以下设计要求:

    (1)一次编译,处处运行,项目部署仅依赖java环境,无其他系统环境依赖。

    (2)DataSophon工作端占用资源少,不占用大数据计算节点资源。

    (3)可扩展性高,可通过配置的方式集成托管第三方组件。


    二、解压新旧组件安装包


    flink-1.6.2升级到flink-1.6.3,安装包下载

    https://mirrors.tuna.tsinghua.edu.cn/apache/https://archive.apache.org/dist/flink/flink-1.6.3/

    解压

    tar  -zxvf  flink-1.16.3-bin-scala_2.12.tgz  -C  /opt/datasophon/DDP/packages

    三、 修改安装包中文件和目录


    cd  /opt/datasophon/DDP/packageschown  -R root:root  flink-1.16.3

    四、重新生成安装包


    4.1 重新打包

    cd  /opt/datasophon/DDP/packagestar -zcvf flink-1.16.3.tar.gz flink-1.16.3

    4.2 生成加密码

    md5sum flink-1.16.3.tar.gz

    4.3 生成md5加密文件

    echo '4d292114646f220e43ec56b75c53dfdb' > flink-1.16.3.tar.gz.md5

    五、 删除已装的组件包flink(ALL)


    从DataSophon上把flink停止并删除

    删除已装的组件包,所有安装的服务器都要执行

    rm -rf  /opt/datasophon/flink*

    六、修改service_ddl.json


    vim /opt/datasophon/DDP/packages/datasophon-manager-1.2.1/conf/meta/DDP-1.2.1/FLINK/service_ddl.json

    *datasophon-manager-1.2.1 为当前的datasohon安装版本,可能多处地方需要修改

    七、修改env环境变量(ALL)


    7.1修改环境变量配置参数(ALL)

    [root@ddp01 packages]# cat   /etc/profile.d/datasophon-env.shexport FLINK_HOME=/opt/datasophon/flink-1.16.3[root@ddp01 packages]#  source  /etc/profile.d/datasophon-env.sh

    7.2 重启manager服务

    rm -rf   /opt/datasophon/DDP/packages/datasophon-manager-1.2.1/logs/*/opt/datasophon/DDP/packages/datasophon-manager-1.2.1/bin/datasophon-api.sh restart apicd /opt/datasophon/DDP/packages/datasophon-manager-1.2.1/logs  

    查看相应的表配置数据

       select * from t_ddh_frame_service;   select * from t_ddh_frame_service_role;

    八、重新安装服务


    选择Flink服务

    选择 FlinkClient 安装

    配置根据实际情况调整

    安装成功,如若失败可查看失败原因再重新安装

    客户端查看版本

    九、测试验证


    运行WordCount测试程序

    export HADOOP_CLASSPATH=`hadoop classpath`flink run -m yarn-cluster /opt/datasophon/flink/examples/batch/WordCount.jar

    集群提交,日志需要在yarn上查看

    执行成功

上一篇:房管局是怎么给合同备案的

下一篇:揭秘HLS,全新解读,瞬间掌握概念!