相关文章
PySpark 优雅的解决依赖包管理
背景
平台所有的Spark任务都是采用Spark on yarn cluster的模式进行任务提交的,driver和executor随机分配在集群的各个节点,pySpark 由于python语言的性质,所以pySpark项目的依赖注定不能像java/scala项目那样把依赖打进jar包中轻松解决问题…
建站知识
2024/11/1 7:59:42
XR Interaction ToolKit
一、简介
XR Interaction Toolkit是unity官方的XR交互工具包。
官方XRI示例地址:https://github.com/Unity-Technologies/XR-Interaction-Toolkit-Examples
2023.3.14官方博客,XRIT v2.3 https://blog.unity.com/engine-platform/whats-new-in-xr-int…
建站知识
2024/10/23 11:34:21
记录腾讯云重置密码之后ssh就连不上的踩坑
腾讯云轻量级服务器SSH连不上
解决方案在最后,点我跳转
问题背景:
首先ssh ubuntu用户我是能用xshell带上密钥正常连接的 其次我重置了root密码,自己改了一个root密码,因为我要用root账号使用ftp传输文件 然后重置密码之后&…
建站知识
2024/11/21 13:19:43
K8S部署时IP问题
本次环境搭建需要安装三台Centos服务器(一主二从);搭配的前提时做好ip的设置
主机IP规划
IP地址的设定需要根据自己主机来设置,在虚拟机的虚拟网络编辑器中看他给你的ip;不要查什么ipconfig了。 在虚拟网络编辑器中…
建站知识
2024/10/22 8:49:17
ELK + kafka 日志方案
概述
本文介绍使用ELK(elasticsearch、logstash、kibana) kafka来搭建一个日志系统。主要演示使用spring aop进行日志收集,然后通过kafka将日志发送给logstash,logstash再将日志写入elasticsearch,这样elasticsearc…
建站知识
2024/10/23 11:34:18
7.spark sql编程
概述 spark 版本为 3.2.4,注意 RDD 转 DataFrame 的代码出现的问题及解决方案 本文目标如下:
RDD ,Datasets,DataFrames 之间的区别入门 SparkSession创建 DataFramesDataFrame 操作编程方式运行 sql 查询创建 DatasetsDataFrames 与 RDDs 互相转换 使用…
建站知识
2024/10/22 14:12:45
Ubuntu20.04下安装Redis环境
apt安装Redis环境
更新apt-get安装镜像源
安装Redis
sudo apt-get install -y redis-server设置密码
# 编辑Redis的配置文件redis.conf,如果不知道配置文件的位置可以执行whereis redis.conf查看
sudo vim /etc/redis/redis.conf取消文件中的requirepass注释&am…
建站知识
2024/10/22 16:47:40
vue3 ts 导出PDF jsPDF
jsPDF 是一个基于 HTML5 的客户端解决方案,用于生成各种用途的 PDF 文档。
1、安装:npm install jspdf npm install --save html2canvas
2、引入:import jsPDF from "jspdf" import html2canvas from html2canvas
3、使用 <…
建站知识
2024/10/21 0:25:16