行业知识
hive的自定义函数以及自定义加密函数
2026-11-12 04:17:52
来源：互联网转载
hive对于���感数据的加密还不够完善，现在开发一个udf函数，自己设置密钥（hive的加密函数等级比较低，也没有集成自己加密的密钥函数，所以自己开发一个），如果要加密一些数据则可以自己使用特定的密钥进行加密解密，这样很好的方便数据的加密下面将实现过程如下：
1，写一个Java类专门进行加密算法，这个代码网上很多都写好了，可以直接抄一个过来，代码如下：
package hive_udf;import sun.misc.BASE64Decoder;import sun.misc.BASE64Encoder;import javax.crypto.*;import javax.crypto.spec.SecretKeySpec;import java.io.IOException;import java.nio.charset.StandardCharsets;import java.security.InvalidKeyException;import java.security.NoSuchAlgorithmException;import java.security.SecureRandom;import java.util.Scanner;/* * AES对称加密和解密 */public class AES {public static final String ENCODE_RULES = "8DFC34B0B7C98EFA0A299A6C3FFFBD9D";/* * 加密 * 1.构造密钥生成器 * 2.根据ecnodeRules规则初始化密钥生成器 * 3.产生密钥 * 4.创建和初始化密码器 * 5.内容加密 * 6.返回字符串 */ public static String AESEncode(String encodeRules,String content){try {//1.构造密钥生成器，指定为AES算法,不区分大小写 KeyGenerator keygen=KeyGenerator.getInstance("AES");//2.根据ecnodeRules规则初始化密钥生成器 //生成一个128位的随机源,根据传入的字节数组 SecureRandom random = SecureRandom.getInstance("SHA1PRNG");random.setSeed(encodeRules.getBytes());keygen.init(128, random); //3.产生原始对称密钥 SecretKey original_key=keygen.generateKey();//4.获得原始对称密钥的字节数组 byte [] raw=original_key.getEncoded();//5.根据字节数组生成AES密钥 SecretKey key=new SecretKeySpec(raw, "AES");//6.根据指定算法AES自成密码器 Cipher cipher=Cipher.getInstance("AES");//7.初始化密码器，第一个参数为加密(Encrypt_mode)或者解密解密(Decrypt_mode)操作，第二个参数为使用的KEY cipher.init(Cipher.ENCRYPT_MODE, key);//8.获取加密内容的字节数组(这里要设置为utf-8)不然内容中如果有中文和英文混合中文就会解密为乱码 byte [] byte_encode=content.getBytes(StandardCharsets.UTF_8);//9.根据密码器的初始化方式--加密：将数据加密 byte [] byte_AES=cipher.doFinal(byte_encode);//10.将加密后的数据转换为字符串 //这里用Base64Encoder中会找不到包 //解决办法： //在项目的Build path中先移除JRE System Library，再添加库JRE System Library，重新编译后就一切正常了。 //11.将字符串返回 return new BASE64Encoder().encode(byte_AES); } catch (NoSuchAlgorithmException | NoSuchPaddingException | InvalidKeyException | IllegalBlockSizeException | BadPaddingException e) { e.printStackTrace(); }//如果有错就返加nulll return null; }/* * 解密 * 解密过程： * 1.同加密1-4步 * 2.将加密后的字符串反纺成byte[]数组 * 3.将加密内容解密 */ public static String AESDncode(String encodeRules,String content){try {//1.构造密钥生成器，指定为AES算法,不区分大小写 KeyGenerator keygen=KeyGenerator.getInstance("AES");//2.根据ecnodeRules规则初始化密钥生成器 //生成一个128位的随机源,根据传入的字节数组 SecureRandom random = SecureRandom.getInstance("SHA1PRNG");random.setSeed(encodeRules.getBytes());keygen.init(128, random);//3.产生原始对称密钥 SecretKey original_key=keygen.generateKey();//4.获得原始对称密钥的字节数组 byte [] raw=original_key.getEncoded();//5.根据字节数组生成AES密钥 SecretKey key=new SecretKeySpec(raw, "AES");//6.根据指定算法AES自成密码器 Cipher cipher=Cipher.getInstance("AES");//7.初始化密码器，第一个参数为加密(Encrypt_mode)或者解密(Decrypt_mode)操作，第二个参数为使用的KEY cipher.init(Cipher.DECRYPT_MODE, key);//8.将加密并编码后的内容解码成字节数组 byte [] byte_content= new BASE64Decoder().decodeBuffer(content);/* * 解密 */ byte [] byte_decode=cipher.doFinal(byte_content);return new String(byte_decode, StandardCharsets.UTF_8); } catch (NoSuchAlgorithmException | NoSuchPaddingException | InvalidKeyException | IOException | IllegalBlockSizeException | BadPaddingException e) { e.printStackTrace(); }//如果有错就返加nulll return null; }public static void main(String[] args) {Scanner scanner=new Scanner(System.in);/* * 加密 */ System.out.println("使用AES对称加密，请输入加密的规则");String encodeRules=scanner.next();System.out.println("请输入要加密的内容:");String content = scanner.next();System.out.println("根据输入的规则"+encodeRules+"加密后的密文是:"+ AESEncode(encodeRules, content));/* * 解密 */ System.out.println("使用AES对称解密，请输入加密的规则：(须与加密相同)"); encodeRules=scanner.next();System.out.println("请输入要解密的内容（密文）:"); content = scanner.next();System.out.println("根据输入的规则"+encodeRules+"解密后的明文是:"+ AESDncode(encodeRules, content)); }} 2，写一个hive的udf类，集成hiveUdf,代码实现如下：
package hive_udf;import org.apache.hadoop.hive.ql.exec.UDF;public class AesUdf extends UDF { //String password = "8DFC34B0B7C98EFA0A299A6C3FFFBD9D"; public String evaluate ( String content,String password ,String type) throws Exception {// if (content == null) return null;//// if(! type.equals("encode") && ! type.equals("decode")){// throw new Exception("Parmeter one is needed encode/decode");// } if(!content.equals(null) & type.equals("jiami")){ //进行加密 return AES.AESEncode (password, content); } else{ if(!content.equals(null) & type.equals("jiemi")){ //进行解密 return AES.AESDncode(password, content); } return content; } } public static void main(String[] args) { try {// System.out.println("开始加密");// System.out.println("没加密前原始数据为 test"); System.out.println(new AesUdf().evaluate("test","1234abcd","jiami"));// System.out.println("加密后为"+new AesUdf().evaluate("test","1234abcd","jiami"));// String result = new AesUdf().evaluate("test","1234abcd","jiami");// System.out.println("不加密也不解密，数据为"+new AesUdf().evaluate("test","1234abcd","jiami1"));// System.out.println("开始解密"); System.out.println(new AesUdf().evaluate("result","1234abcd","jiemi"));// System.out.println("解密后的值为"+new AesUdf().evaluate(result,"1234abcd","jiemi")); } catch (Exception e) { e.printStackTrace(); } }} 上面代码可以自己手动设定密钥，自己记住就行，后面可以直接加密解密，一般不同的数据都有自己的密钥，不能共用一个密钥
3，将代码打成jar包，以及依赖关系如下
4.0.0 org.example hive 1.0-SNAPSHOT 8 8 org.apache.hive hive-exec 3.1.2 org.apache.maven.plugins maven-assembly-plugin 3.0.0 jar-with-dependencies make-assembly package single
4，将打成的jar包上传到hdfs上，过程如下：
#一定记得，不然创建函数的时候会报警Class com.zmlearn.udf.AESUDF not found，因为没有执行权限
chmod 777 hive-1.0-SNAPSHOT.jar
hadoop fs -mkdir /hive_UDF
hadoop fs -put /root/data/hive-1.0-SNAPSHOT.jar /hive_UDF
5.进入hive客户端，创建UDF函数。
create function test.AES_UDF as 'hive_udf.AesUdf' using jar 'hdfs://namenode:9000/hive_UDF/hive-1.0-SNAPSHOT.jar';
加上库名是为了在哪个库下面生效，如果不加的话默认是default库
6.使用创建的UDF函数：
select AES_UDF(a.name,'1234abcd','jiami') as jiam,AES_UDF(AES_UDF(a.name,'1234abcd','jiami'),'1234abcd','jiemi') as jiem,name,id from student a;
