insert overwrite table：数据仓库和数据分析中的常用技术

一、介绍：

INSERT OVERWRITE TABLE 是用于覆盖（即替换）目标表中的数据的操作。它将新的数据写入表中，并删除原有的数据。这个操作适用于非分区表和分区表。

二、使用场景：

1、数据更新：当您需要更新表中的数据时，可以使用覆写操作。通过覆写，您可以将新的数据写入表中，替换原有的数据。这在需要定期更新或替换表中数据的情况下非常有用。

2、数据重载：如果您需要重新加载表中的数据，覆写操作可以清空表并将新的数据加载进去。这在数据仓库或数据分析任务中很常见，当需要重新加载或替换表中的数据时，覆写操作是一个快速有效的方法。

3、数据清理：当需要删除表中的数据时，可以使用覆写操作。通过将一个空表覆写到目标表中，可以清空表中的数据并释放存储空间。

注：insert overwrite table 是一个具有破坏性操作的语句，因为它会完全覆盖表中的数据。在使用之前，请确保您理解该操作的影响，并备份重要的数据以防止意外数据丢失。

三、普通表应用：

1、准备工作

create table db_1.tb_student(    id  int,    name string,    city    string)row format delimited fields terminated by ',';insert into db_1.tb_student values(1,'张三','beijing') ,                                 (2, '李四', 'beijing'),(3, '王五', 'beijing'),(4, '妲己', 'shanghai'),(5, '哪吒', 'shanghai'),(6, '雷震子', 'shanghai'),(7, '悟空', 'guangzhou'),(8, '八戒', 'guangzhou'),(9, '沙和尚', 'guangzhou');create table db_1.tb_student_2(    id  int,    name string,    city    string)row format delimited fields terminated by ',';drop table if exists tb_student_3_part;create table db_1.tb_student_3_part(    id  int,    name string)partitioned by (city    string)row format delimited fields terminated by ',';

2、插入数据

insert into db_1.tb_student_2select * from tb_student;select * from db_1.tb_student_2; 

3、按条件覆写

insert overwrite table db_1.tb_student_2select * from tb_studentwhere id>=6;

四、分区表应用

1、全部插入

set hive.exec.dynamic.partition.mode=nonstrict;insert into db_1.tb_student_3_part partition(city)select * from tb_student;select * from tb_student_3_part;

2、部分插入

insert overwrite table db_1.tb_student_3_part partition(city)select * from tb_student where id between 6 and 8;select * from tb_student_3_part;

五、总结

1、对于分区表，insert overwrite table 操作会覆盖指定分区的数据，而不会影响其他分区的数据。只有指定的分区会被更新或替换。这样可以实现更精细和高效的数据管理。

2、而对于普通表（即非分区表），insert overwrite table 操作将完全覆盖表中的所有数据，不考虑任何分区。所有的数据将被删除，并被新插入的数据替换。

3、因此，分区表和普通表在 insert overwrite table 操作上的区别在于操作的粒度。分区表仅覆盖指定分区的数据，而普通表覆盖整个表的数据。