作为 Hive 资深开发者，我们常常在复杂的数据计算中游刃有余，但 NULL 值在不等式比较（!= 或 <>）中的行为，却是一个极易踩坑、导致数据偏差的经典陷阱。理解这一点，是写出健壮、准确 Hive SQL 代码的关键基础。

1. NULL 的本质

NULL 的本质：NULL 不是值，而是未知的标记。

Hive 遵循 SQL 标准，NULL 既不是数字 0，也不是空字符串 ''，也不是布尔值 FALSE。NULL 只是一个占位符，表示该字段没有有效值，可能是缺失、未知或不适用的数据。NULL 可能出现在任何数据类型的列中（如 INT、STRING、ARRAY 等）。

最关键的特性在于：任何与 NULL 进行的比较操作（包括 =、!=、<、> 等），其结果都不是 TRUE 或 FALSE，而是 NULL。

2. NULL 的陷阱

2.1 现场重现

假设我们有一张销售记录表 sales：

order_id	customer_id	region	amount
1001	C001	North	100.00
1002	C002	South	150.00
1003	C003	East	200.00
1004	C004	NULL	50.00
1005	C005	West	175.00

场景： 我们需要计算 所有不在 North 区域 的订单。

菜鸟的写法（会导致错误结果）：

SELECT order_id, customer_id, region, amount
FROM sales
WHERE region != 'North'; -- 或者 region <> 'North'

你以为的结果： 会返回 South, East, West, 以及那个 NULL 的记录：

order_id	customer_id	region	amount
1002	C002	South	150.00
1003	C003	East	200.00
1004	C004	NULL	50.00
1005	C005	West	175.00

但实际结果：

order_id	customer_id	region	amount
1002	C002	South	150.00
1003	C003	East	200.00
1005	C005	West	175.00

那个 region 为 NULL 的记录（1004）消失了！

2.2 原因解析

执行 region != 'North' 语句查看表达式的值：

SELECT order_id, customer_id, region, amount, region != 'North' AS condtiton
FROM sales;

执行结果如下所示：

order_id	customer_id	region	amount	condtiton
1001	C001	North	100.00	FALSE
1002	C002	South	150.00	TRUE
1003	C003	East	200.00	TRUE
1004	C004	NULL	50.00	NULL
1005	C005	West	175.00	TRUE

• 对于 region = 'North' 的行 (1001)：'North' != 'North' -> FALSE -> 被过滤。
• 对于 region = 'South' 的行 (1002)：'South' != 'North' -> TRUE -> 被保留。
• 对于 region = 'East' 的行 (1003)：'East' != 'North' -> TRUE -> 被保留。
• 对于 region = NULL 的行 (1004)：NULL != 'North' -> NULL -> 被过滤！
• 对于 region = 'West' 的行 (1005)：'West' != 'North' -> TRUE -> 被保留。

关键点：NULL 与任何值（包括另一个 NULL）进行 != 比较，结果都是 NULL。 ** 而 WHERE、HAVING 等子句的冷酷法则：只接受条件计算为 TRUE 的行，FALSE 和 NULL 都会被无情地过滤掉！

2.3 如何处理

要得到 不在 North 区域 的完整且正确的结果集（包括 NULL），必须显式地将 NULL 情况纳入条件：

方法 1：使用 OR 明确包含 IS NULL

SELECT order_id, customer_id, region, amount
FROM sales
WHERE region != 'North'
   OR region IS NULL; -- 明确告诉 Hive：NULL 我也要！

方法 2：使用 COALESCE OR NVL 函数提供默认值（谨慎选择默认值）

SELECT order_id, customer_id, region, amount
FROM sales
WHERE COALESCE(region, '') != 'North';
-- 将 NULL 转换为 ''，然后比较。确保 '' 符合你的业务逻辑。

3. NULL 的陷阱无处不在

不只是 WHERE 场景中，NULL 的陷阱无处不在。

3.1 NULL 运算

任何涉及 NULL 的运算结果均为 NULL。

SELECT 100 + NULL;   --> 结果 NULL
SELECT 'Hello' || NULL;  --> 结果 NULL（字符串拼接）
SELECT CONCAT('Hello', NULL); --> 结果 NULL（字符串拼接）

3.2 IF

IF 函数：IF(region != 'North', 'Not North', 'North')，region 为 NULL 时，条件为 NULL（不为 TRUE），所以返回 'North'，这很可能不是你想要的结果。

SELECT IF(region != 'North', 'Not North', 'North') AS is_north, region, amount
FROM sales;

你以为的结果： North 只会有1条记录，但实际结果：

is_north	region	amount
North	North	100.00
Not North	South	150.00
Not North	East	200.00
North	NULL	50.00
Not North	West	175.00

3.3 CASE WHEN

CASE WHEN 表达式： CASE WHEN region != 'North' THEN ...，当 region 是 NULL 时，这个 WHEN 条件不满足，会跳到 ELSE（如果有）或返回 NULL。

SELECT
    CASE WHEN region != 'North' THEN 'Not North' ELSE 'North' END AS is_north,
    region, amount
FROM sales;

你以为的结果： North 只会有1条记录，但实际结果：

is_north	region	amount
North	North	100.00
Not North	South	150.00
Not North	East	200.00
North	NULL	50.00
Not North	West	175.00

3.4 HAVING

HAVING 子句对分组结果进行过滤时，NULL 参与的比较同样产生 NULL 并被过滤。

SELECT customer_id, SUM(amount) AS amount
FROM sales
GROUP BY customer_id
HAVING amount != 200;

你以为的结果： 会返回 C001, C002, C004, C005 4个用户的记录，但实际结果：

customer_id	amount
C001	100.00
C002	150.00
C005	175.00

3.5 聚合函数

SUM()、AVG()、MAX() 等聚合函数自动跳过 NULL 值。

-- 625 5 4
SELECT SUM(amount) AS amount, COUNT(*) AS num1, COUNT(region) AS num2
FROM sales;

3.6 JOIN

不匹配原则：NULL 与任何值（包括另一个 NULL）在 JOIN 条件中不相等。ON table1.column != table2.column，如果有一边是 NULL，该行将不会匹配。

假设我们还有一张区域总销售记录表 region_amount：

region	amount
North	500.00
South	750.00
East	800.00
NULL	119.00
West	475.00

场景： 我们需要计算每个用户订单金额占区域总金额的占比。

SELECT order_id, customer_id, a1.region, a1.amount, a2.amount AS region_amount
FROM sales AS a1
LEFT OUTER JOIN region_amount AS a2
ON a1.region = a2.region;

实际结果如下：

order_id	customer_id	region	amount	region_amount
1001	C001	North	100.00	500.00
1002	C002	South	150.00	750.00
1003	C003	East	200.00	800.00
1004	C004	NULL	50.00	NULL
1005	C005	West	175.00	475.00

显式处理 NULL：

SELECT order_id, customer_id, a1.region, a1.amount, a2.amount AS region_amount
FROM sales AS a1
LEFT OUTER JOIN region_amount AS a2
ON COALESCE(a1.region, '') =  COALESCE(a2.region, '');

4. 最佳实践与总结

1. 时刻警惕 NULL： 在编写任何涉及比较（尤其是 !=）的 Hive SQL 时，首要问题就是思考：“这个字段可能为 NULL 吗？如果为 NULL，我希望它被包含还是排除？我的代码能正确处理它吗？”
2. 明确意图： 如果你希望 NULL 被包含在“非 North”的结果中，必须使用 ... OR column IS NULL。如果你希望排除 NULL，确保你的逻辑清晰（有时 != 本身隐式排除了 NULL 可能恰好符合需求，但要明确知道这点）。
3. 善用 IS NULL / IS NOT NULL： 这是判断 NULL 的唯一安全方式。
4. COALESCE / NVL 的合理运用： 在比较前将 NULL 转换为一个确定的、有意义的默认值，可以使逻辑更清晰。但要非常小心选择默认值，确保它不会引入新的歧义或错误。
5. 数据质量： 尽量在数据接入层（ETL）处理掉无意义的 NULL，用合理的默认值或明确的标记（如 'Unknown', 'N/A'）代替。干净的源数据能大幅降低查询逻辑的复杂性。
6. 测试！测试！测试！ 构造包含 NULL 的测试用例，验证你的查询是否按预期处理了它们。这是避免生产环境数据错误的最有效手段。

大师箴言： “在 SQL 的逻辑世界里，NULL 如同幽灵，常规的比较武器对它无效。唯有 IS NULL 与 IS NOT NULL 是猎魔的银弹，而 COALESCE 则是赋予其形体的咒语。忽视 NULL 的查询，终将在数据真相的迷雾中迷失方向。” —— 谨记于每一次 WHERE 子句的书写之时。

牢记：NULL 不等于任何值，也不不等于任何值。它只等于它自己（NULL IS NULL 为 TRUE）。在“不等”的世界里，NULL 永远置身事外。显式处理它，是写出准确、可靠 Hive 查询的不二法门。