From 8ccbbad48d3dc7ce4ca0a53ab27ad5603f9d1baf Mon Sep 17 00:00:00 2001 From: Aolin Zhang Date: Wed, 18 May 2022 10:52:54 +0800 Subject: [PATCH 1/5] add Optimized batch update of hotspot indexes --- releases/release-6.0.0-dmr.md | 6 ++++++ 1 file changed, 6 insertions(+) diff --git a/releases/release-6.0.0-dmr.md b/releases/release-6.0.0-dmr.md index 5afc1f1a15c7..b4420f388f34 100644 --- a/releases/release-6.0.0-dmr.md +++ b/releases/release-6.0.0-dmr.md @@ -111,6 +111,12 @@ v6.0.0 是 DMR 版本，版本名称为 6.0.0-DMR。 [用户文档](/functions-and-operators/expressions-pushed-down.md#加入黑名单)，[#30738](https://github.com/pingcap/tidb/issues/30738) +- 热点索引批量更新优化 + + 热点自增唯一索引在批量写入下容易形成性能瓶颈，影响整体写入吞吐。TiDB v6.0.0 支持通过 `tidb_shard` 函数将热点自增唯一索引打散到不同节点，以提升写入性能。该方案不需要修改原有查询条件，对业务非常友好，适用于高吞吐写入、点查询、批量点查询场景。请注意如果业务中使用范围查询打散后的数据，可能造成性能回退，请验证后使用。 + + [用户文档](/functions-and-operators/tidb-functions.md#tidbshard)，[#31040](https://github.com/pingcap/tidb/issues/31040) + - TiFlash MPP 引擎支持分区表的动态裁剪模式（实验特性） 在该模式下，TiDB 也可以使用 TiFlash MPP 引擎读取和计算分区表的数据，从而大大提升分区表的查询性能。 From a3477ec2462dd80a3ef7e9282f2b01c2429bd4ec Mon Sep 17 00:00:00 2001 From: Aolin Date: Fri, 20 May 2022 14:27:35 +0800 Subject: [PATCH 2/5] Apply suggestions from code review Co-authored-by: TonsnakeLin <87681388+TonsnakeLin@users.noreply.github.com> --- releases/release-6.0.0-dmr.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/releases/release-6.0.0-dmr.md b/releases/release-6.0.0-dmr.md index b4420f388f34..e3da188dea82 100644 --- a/releases/release-6.0.0-dmr.md +++ b/releases/release-6.0.0-dmr.md @@ -111,9 +111,9 @@ v6.0.0 是 DMR 版本，版本名称为 6.0.0-DMR。 [用户文档](/functions-and-operators/expressions-pushed-down.md#加入黑名单)，[#30738](https://github.com/pingcap/tidb/issues/30738) -- 热点索引批量更新优化 +- 热点索引优化 - 热点自增唯一索引在批量写入下容易形成性能瓶颈，影响整体写入吞吐。TiDB v6.0.0 支持通过 `tidb_shard` 函数将热点自增唯一索引打散到不同节点，以提升写入性能。该方案不需要修改原有查询条件，对业务非常友好，适用于高吞吐写入、点查询、批量点查询场景。请注意如果业务中使用范围查询打散后的数据，可能造成性能回退，请验证后使用。 + 二级索引上批量写入单调递增的值会形成索引热点，影响整体写入吞吐。TiDB v6.0.0 支持通过 `tidb_shard` 函数将热点索引打散，以提升写入性能。目前 `tidb_shard` 只能打散二级唯一索引的热点。该方案不需要修改原有查询条件，对业务非常友好，适用于高吞吐写入、点查询、批量点查询场景。请注意如果业务中使用范围查询打散后的数据，可能造成性能回退，请验证后使用。 [用户文档](/functions-and-operators/tidb-functions.md#tidbshard)，[#31040](https://github.com/pingcap/tidb/issues/31040) From 108abcb967d8e0ace9f699e8f3617476b382f31a Mon Sep 17 00:00:00 2001 From: Aolin Date: Wed, 25 May 2022 15:26:26 +0800 Subject: [PATCH 3/5] Apply suggestions from code review --- releases/release-6.0.0-dmr.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-6.0.0-dmr.md b/releases/release-6.0.0-dmr.md index e3da188dea82..5c20ba181dfc 100644 --- a/releases/release-6.0.0-dmr.md +++ b/releases/release-6.0.0-dmr.md @@ -115,7 +115,7 @@ v6.0.0 是 DMR 版本，版本名称为 6.0.0-DMR。 二级索引上批量写入单调递增的值会形成索引热点，影响整体写入吞吐。TiDB v6.0.0 支持通过 `tidb_shard` 函数将热点索引打散，以提升写入性能。目前 `tidb_shard` 只能打散二级唯一索引的热点。该方案不需要修改原有查询条件，对业务非常友好，适用于高吞吐写入、点查询、批量点查询场景。请注意如果业务中使用范围查询打散后的数据，可能造成性能回退，请验证后使用。 - [用户文档](/functions-and-operators/tidb-functions.md#tidbshard)，[#31040](https://github.com/pingcap/tidb/issues/31040) + [用户文档](/functions-and-operators/tidb-functions.md#tidb_shard)，[#31040](https://github.com/pingcap/tidb/issues/31040) - TiFlash MPP 引擎支持分区表的动态裁剪模式（实验特性） From 233fd58a83453b52faca2615abc50656ea5872b7 Mon Sep 17 00:00:00 2001 From: Aolin Date: Wed, 25 May 2022 17:07:51 +0800 Subject: [PATCH 4/5] Apply suggestions from code review Co-authored-by: TomShawn <41534398+TomShawn@users.noreply.github.com> --- releases/release-6.0.0-dmr.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-6.0.0-dmr.md b/releases/release-6.0.0-dmr.md index 5c20ba181dfc..3c753ee7d5ce 100644 --- a/releases/release-6.0.0-dmr.md +++ b/releases/release-6.0.0-dmr.md @@ -113,7 +113,7 @@ v6.0.0 是 DMR 版本，版本名称为 6.0.0-DMR。 - 热点索引优化 - 二级索引上批量写入单调递增的值会形成索引热点，影响整体写入吞吐。TiDB v6.0.0 支持通过 `tidb_shard` 函数将热点索引打散，以提升写入性能。目前 `tidb_shard` 只能打散二级唯一索引的热点。该方案不需要修改原有查询条件，对业务非常友好，适用于高吞吐写入、点查询、批量点查询场景。请注意如果业务中使用范围查询打散后的数据，可能造成性能回退，请验证后使用。 + 在二级索引上批量写入单调递增的值会形成索引热点，影响整体写入吞吐。TiDB v6.0.0 支持通过 `tidb_shard` 函数将热点索引打散，以提升写入性能。目前 `tidb_shard` 只能打散二级唯一索引的热点。该方案不需要用户修改原有查询条件，对业务非常友好，适用于高吞吐写入、点查询、批量点查询场景。请注意如果业务中使用范围查询打散后的数据，可能造成性能回退，请验证后使用。 [用户文档](/functions-and-operators/tidb-functions.md#tidb_shard)，[#31040](https://github.com/pingcap/tidb/issues/31040) From 728dec62b311075e2773f3c18ce26e72212c535c Mon Sep 17 00:00:00 2001 From: Aolin Date: Wed, 25 May 2022 17:17:25 +0800 Subject: [PATCH 5/5] Apply suggestions from code review Co-authored-by: TomShawn <41534398+TomShawn@users.noreply.github.com> --- releases/release-6.0.0-dmr.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/releases/release-6.0.0-dmr.md b/releases/release-6.0.0-dmr.md index 3c753ee7d5ce..8ffc857fbbf8 100644 --- a/releases/release-6.0.0-dmr.md +++ b/releases/release-6.0.0-dmr.md @@ -113,7 +113,7 @@ v6.0.0 是 DMR 版本，版本名称为 6.0.0-DMR。 - 热点索引优化 - 在二级索引上批量写入单调递增的值会形成索引热点，影响整体写入吞吐。TiDB v6.0.0 支持通过 `tidb_shard` 函数将热点索引打散，以提升写入性能。目前 `tidb_shard` 只能打散二级唯一索引的热点。该方案不需要用户修改原有查询条件，对业务非常友好，适用于高吞吐写入、点查询、批量点查询场景。请注意如果业务中使用范围查询打散后的数据，可能造成性能回退，请验证后使用。 + 在二级索引上批量写入单调递增的值会形成索引热点，影响整体写入吞吐。自 v6.0.0 起，TiDB 支持通过 `tidb_shard` 函数将热点索引打散，以提升写入性能。目前 `tidb_shard` 只能打散二级唯一索引的热点。该方案不需要用户修改原有查询条件，对业务非常友好，适用于高吞吐写入、点查询、批量点查询场景。请注意如果业务中使用范围查询打散后的数据，可能造成性能回退，请验证后使用。 [用户文档](/functions-and-operators/tidb-functions.md#tidb_shard)，[#31040](https://github.com/pingcap/tidb/issues/31040)