diff --git a/src/UserGuide/Master/Table/Reference/System-Config-Manual.md b/src/UserGuide/Master/Table/Reference/System-Config-Manual.md index 0bc1ea5e6..df65a24f9 100644 --- a/src/UserGuide/Master/Table/Reference/System-Config-Manual.md +++ b/src/UserGuide/Master/Table/Reference/System-Config-Manual.md @@ -1796,48 +1796,48 @@ The `iotdb-system.properties` file contains various configurations for managing - cross_performer -| Name | cross_performer | -| ----------- | ------------------------------------------------------- | -| Description | the compaction performer of cross space compaction task | -| Type | String | -| Default | fast | -| Effective | Restart required. | +| Name | cross_performer | +| ----------- |-----------------------------------------------------------| +| Description | the compaction performer of cross space compaction task, Options: read_point, fast | +| Type | String | +| Default | fast | +| Effective | Hot reload . | - inner_seq_selector -| Name | inner_seq_selector | -| ----------- | ---------------------------------------------------- | -| Description | the selector of inner sequence space compaction task | -| Type | String | -| Default | size_tiered_multi_target | -| Effective | Hot reload | +| Name | inner_seq_selector | +| ----------- |--------------------------------------------------------| +| Description | the selector of inner sequence space compaction task, Options: size_tiered_single_target,size_tiered_multi_target | +| Type | String | +| Default | size_tiered_multi_target | +| Effective | Hot reload | - inner_seq_performer -| Name | inner_seq_performer | -| ----------- | ----------------------------------------------------- | -| Description | the performer of inner sequence space compaction task | -| Type | String | -| Default | read_chunk | -| Effective | Restart required. | +| Name | inner_seq_performer | +| ----------- |---------------------------------------------------------| +| Description | the performer of inner sequence space compaction task, Options: read_chunk, fast | +| Type | String | +| Default | read_chunk | +| Effective | Hot reload | - inner_unseq_selector -| Name | inner_unseq_selector | -| ----------- | ------------------------------------------------------ | -| Description | the selector of inner unsequence space compaction task | -| Type | String | -| Default | size_tiered_multi_target | -| Effective | Hot reload | +| Name | inner_unseq_selector | +| ----------- |----------------------------------------------------------| +| Description | the selector of inner unsequence space compaction task, Options: size_tiered_single_target,size_tiered_multi_target | +| Type | String | +| Default | size_tiered_multi_target | +| Effective | Hot reload | - inner_unseq_performer -| Name | inner_unseq_performer | -| ----------- | ------------------------------------------------------- | -| Description | the performer of inner unsequence space compaction task | -| Type | String | -| Default | fast | -| Effective | Restart required. | +| Name | inner_unseq_performer | +| ----------- |-----------------------------------------------------------| +| Description | the performer of inner unsequence space compaction task, Options: read_point, fast | +| Type | String | +| Default | fast | +| Effective | Hot reload | - compaction_priority @@ -1846,7 +1846,7 @@ The `iotdb-system.properties` file contains various configurations for managing | Description | The priority of compaction executionINNER_CROSS: prioritize inner space compaction, reduce the number of files firstCROSS_INNER: prioritize cross space compaction, eliminate the unsequence files firstBALANCE: alternate two compaction types | | Type | String | | Default | INNER_CROSS | -| Effective | 重启服务生效 | +| Effective | Restart required. | - candidate_compaction_task_queue_size @@ -1897,19 +1897,19 @@ The `iotdb-system.properties` file contains various configurations for managing | Name | target_chunk_size | | ----------- | ------------------------------------------------------------ | -| Description | The target chunk size in compaction and when memtable reaches this threshold, flush the memtable to disk. | +| Description | The target chunk size in flushing and compaction. If the size of a timeseries in memtable exceeds this, the data will be flushed to multiple chunks.| | Type | Int64 | -| Default | 1048576 | +| Default | 1600000 | | Effective | Restart required. | - target_chunk_point_num -| Name | target_chunk_point_num | -| ----------- | ------------------------------------------------ | -| Description | The target point nums in one chunk in compaction | -| Type | int32 | -| Default | 100000 | -| Effective | Restart required. | +| Name | target_chunk_point_num | +| ----------- |-----------------------------------------------------------------| +| Description | The target point nums in one chunk in flushing and compaction. If the point number of a timeseries in memtable exceeds this, the data will be flushed to multiple chunks. | +| Type | Int64 | +| Default | 100000 | +| Effective | Restart required. | - chunk_size_lower_bound_in_compaction @@ -1922,12 +1922,12 @@ The `iotdb-system.properties` file contains various configurations for managing - chunk_point_num_lower_bound_in_compaction -| Name | chunk_point_num_lower_bound_in_compaction | -| ----------- | ------------------------------------------------------------ | +| Name | chunk_point_num_lower_bound_in_compaction | +| ----------- |------------------------------------------------------------------------------------------| | Description | If the chunk point num is lower than this threshold, it will be deserialized into points | -| Type | int32 | -| Default | 100 | -| Effective | Restart required. | +| Type | Int64 | +| Default | 100 | +| Effective | Restart required. | - inner_compaction_candidate_file_num diff --git a/src/UserGuide/Master/Tree/Reference/Common-Config-Manual.md b/src/UserGuide/Master/Tree/Reference/Common-Config-Manual.md index e8ca5ced0..e2bc814e8 100644 --- a/src/UserGuide/Master/Tree/Reference/Common-Config-Manual.md +++ b/src/UserGuide/Master/Tree/Reference/Common-Config-Manual.md @@ -239,7 +239,7 @@ Different configuration parameters take effect in the following three ways: |Name| datanode\_memory\_proportion | |:---:|:-------------------------------------------------------------------------------------------------------------| -|Description| Memory Allocation Ratio: StorageEngine, QueryEngine, SchemaEngine, Consensus, StreamingEngine, and Free Memory | +|Description| Memory Allocation Ratio: StorageEngine, QueryEngine, SchemaEngine, Consensus, StreamingEngine, and Free Memory | |Type| Ratio | |Default| 3:3:1:1:1:1 | |Effective| After restarting system | @@ -251,7 +251,7 @@ Different configuration parameters take effect in the following three ways: |Description| Schema Memory Allocation Ratio: SchemaRegion, SchemaCache, and PartitionCache. | |Type| Ratio | |Default| 5:4:1 | -|Effective| After restarting system | +|Effective| After restarting system | * storage\_engine\_memory\_proportion @@ -881,55 +881,55 @@ Different configuration parameters take effect in the following three ways: |Name| cross\_selector | |:---:|:-------------------------------------------------| -|Description| the task selector type of cross space compaction | +|Description| the selector of cross space compaction task | |Type| String | |Default| rewrite | |Effective| After restart system | * cross\_performer -|Name| cross\_performer | -|:---:|:---------------------------------------------------| -|Description| the task performer type of cross space compaction. The options are read_point and fast, read_point is the default and fast is still under test | -|Type| String | -|Default| read\_point | -|Effective| After restart system | +|Name| cross\_performer | +|:---:|:----------------------------------------------------------| +|Description| the compaction performer of cross space compaction task, Options: read_point, fast | +|Type| String | +|Default| fast | +|Effective| hot-load | * inner\_seq\_selector |Name| inner\_seq\_selector | |:---:|:-----------------------------------------------------------------------------------------------------------------------------| -|Description| the task selector type of inner sequence space compaction. Options: size\_tiered\_single_\target,size\_tiered\_multi\_target | +|Description| the task selector of inner sequence space compaction task. Options: size\_tiered\_single_\target,size\_tiered\_multi\_target | |Type| String | -|Default| hot-load | +|Default| size_tiered_multi_target | |Effective| hot-load | * inner\_seq\_performer -|Name| inner\_seq\_peformer | -|:---:|:--------------------------------------------------------------------------------------------------------------------------------------------------------| -|Description| the task performer type of inner sequence space compaction. The options are read_chunk and fast, read_chunk is the default and fast is still under test | -|Type| String | -|Default| read\_chunk | -|Effective| After restart system | +|Name| inner\_seq\_peformer | +|:---:|:------------------------------------------------------------------------------------------------| +|Description| the task performer of inner sequence space compaction task. The options are read_chunk and fast | +|Type| String | +|Default| fast | +|Effective| hot-load | * inner\_unseq\_selector -|Name| inner\_unseq\_selector | -|:---:|:------------------------------------------------------------| -|Description| the task selector type of inner unsequence space compactionn. Options: size\_tiered\_single_\target,size\_tiered\_multi\_target | -|Type| String | -|Default| hot-load | -|Effective| hot-load | +|Name| inner\_unseq\_selector | +|:---:|:--------------------------------------------------------------------------------------------------------------------------------| +|Description| the task selector of inner unsequence space compactionn task. Options: size\_tiered\_single_\target,size\_tiered\_multi\_target | +|Type| String | +|Default| size_tiered_multi_target | +|Effective| hot-load | * inner\_unseq\_performer -|Name| inner\_unseq\_peformer | -|:---:|:--------------------------------------------------------------| -|Description| the task performer type of inner unsequence space compaction. The options are read_point and fast, read_point is the default and fast is still under test | -|Type| String | -|Default| read\_point | -|Effective| After restart system | +|Name| inner\_unseq\_peformer | +|:---:|:----------------------------------------------------------------------------------------------------------------------------------------------------------| +|Description| the task performer of inner unsequence space compaction task. The options are read_point and fast| +|Type| String | +|Default| fast | +|Effective| hot-load | * compaction\_priority @@ -944,52 +944,52 @@ Different configuration parameters take effect in the following three ways: | Name | target\_compaction\_file\_size | | :---------: |:-----------------------------------------------| -| Description | The target file size in compaction | +| Description | This parameter is used in two places: 1. The target tsfile size of inner space compaction. 2. The candidate size of seq tsfile in cross space compaction will be smaller than target_compaction_file_size * 1.5. In most cases, the target file size of cross compaction won't exceed this threshold, and if it does, it will not be much larger than it. | | Type | Int64 | | Default | 2147483648 | -| Effective | After restart system | +| Effective | hot_reload | * target\_chunk\_size | Name | target\_chunk\_size | | :---------: | :--------------------------------- | -| Description | The target size of compacted chunk | +| Description | The target chunk size in flushing and compaction.If the size of a timeseries in memtable exceeds this, the data will be flushed to multiple chunks.| | Type | Int64 | -| Default | 1048576 | +| Default | 1600000 | | Effective | After restart system | * target\_chunk\_point\_num -|Name| target\_chunk\_point\_num | -|:---:|:---| -|Description| The target point number of compacted chunk | -|Type| int32 | -|Default| 100000 | -|Effective|After restart system| +|Name| target\_chunk\_point\_num | +|:---:|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------| +|Description| The target point nums in one chunk in flushing and compaction. If the point number of a timeseries in memtable exceeds this, the data will be flushed to multiple chunks. | +|Type| Int64 | +|Default| 100000 | +|Effective| After restart system | * chunk\_size\_lower\_bound\_in\_compaction -| Name | chunk\_size\_lower\_bound\_in\_compaction | -| :---------: |:----------------------------------------------------------------------------------------| -| Description | A source chunk will be deserialized in compaction when its size is less than this value | -| Type | Int64 | -| Default | 10240 | -| Effective | After restart system | +| Name | chunk\_size\_lower\_bound\_in\_compaction | +| :---------: |:---------------------------------------------------------------------------------------------------------| +| Description | If the chunk size is lower than this threshold, it will be deserialized into points, default is 128 byte | +| Type | Int64 | +| Default | 128 | +| Effective | After restart system | * chunk\_point\_num\_lower\_bound\_in\_compaction -|Name| chunk\_point\_num\_lower\_bound\_in\_compaction | -|:---:|:---------------------------------------------------------------------------------------------| -|Description| A source chunk will be deserialized in compaction when its point num is less than this value | -|Type| int32 | -|Default| 1000 | -|Effective| After restart system | +|Name| chunk\_point\_num\_lower\_bound\_in\_compaction | +|:---:|:-----------------------------------------------------------------------------------------| +|Description| If the chunk point num is lower than this threshold, it will be deserialized into points | +|Type| Int64 | +|Default| 100 | +|Effective| After restart system | * inner\_compaction\_total\_file\_num\_threshold |Name| inner\_compaction\_total\_file\_num\_threshold | |:---:|:---------------------------------------------------------| -|Description| The max num of files encounter in inner space compaction | +|Description| The total file num limit in inner space compaction. | |Type| int32 | |Default| 100 | |Effective| hot-load | @@ -1032,18 +1032,18 @@ Different configuration parameters take effect in the following three ways: * max\_cross\_compaction\_file\_num -|Name| max\_cross\_compaction\_candidate\_file\_num | -|:---:|:---------------------------------------------------------| -|Description| The max num of files encounter in cross space compaction | -|Type| int32 | -|Default| 500 | -|Effective| hot-load | +|Name| max\_cross\_compaction\_candidate\_file\_num | +|:---:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------| +|Description| The max file when selecting cross space compaction candidate files. At least one unseq file with it's overlapped seq files will be selected even exceeded this number | +|Type| int32 | +|Default| 500 | +|Effective| hot-load | * max\_cross\_compaction\_file\_size |Name| max\_cross\_compaction\_candidate\_file\_size | |:---:|:----------------------------------------------------------| -|Description| The max size of files encounter in cross space compaction | +|Description| The max total size when selecting cross space compaction candidate files. At least one unseq file with it's overlapped seq files will be selected even exceeded this number | |Type| Int64 | |Default| 5368709120 | |Effective| hot-load | @@ -1066,29 +1066,20 @@ Different configuration parameters take effect in the following three ways: | Default | 60000 | | Effective | After restart system | -* compaction\_submission\_interval\_in\_ms - -| Name | compaction\_submission\_interval\_in\_ms | -| :---------: | :--------------------------------------- | -| Description | interval of submitting compaction task | -| Type | Int64 | -| Default | 60000 | -| Effective | After restart system | - * compaction\_write\_throughput\_mb\_per\_sec -|Name| compaction\_write\_throughput\_mb\_per\_sec | -|:---:|:-------------------------------------------------| -|Description| The write rate of all compaction tasks in MB/s, values less than or equal to 0 means no limit | -|Type| int32 | -|Default| 16 | -|Effective| hot-load | +|Name| compaction\_write\_throughput\_mb\_per\_sec | +|:---:|:----------------------------------------------------------| +|Description| The limit of write throughput merge can reach per second,values less than or equal to 0 means no limit | +|Type| int32 | +|Default| 16 | +|Effective| hot-load | * compaction\_read\_throughput\_mb\_per\_sec |Name| compaction\_read\_throughput\_mb\_per\_sec | |:---:|:------------------------------------------------| -|Description| The read rate of all compaction tasks in MB/s, values less than or equal to 0 means no limit | +|Description| The limit of read throughput merge can reach per second, values less than or equal to 0 means no limit | |Type| int32 | |Default| 0 | |Effective| hot-load | @@ -1097,7 +1088,7 @@ Different configuration parameters take effect in the following three ways: |Name| compaction\_read\_operation\_per\_sec | |:---:|:---------------------------------------------------------------------------------------------------------------| -|Description| The read operation of all compaction tasks can reach per second, values less than or equal to 0 means no limit | +|Description| The limit of read operation merge can reach per second, values less than or equal to 0 means no limit | |Type| int32 | |Default| 0 | |Effective| hot-load | @@ -1106,7 +1097,7 @@ Different configuration parameters take effect in the following three ways: |Name| sub\_compaction\_thread\_count | |:---:|:--------------------------------------------------------------------------| -|Description| the number of sub-compaction threads to accelerate cross space compaction | +|Description| The number of sub compaction threads to be set up to perform compaction. Currently only works for nonAligned data in cross space compaction and unseq inner space compaction. | |Type| Int32 | |Default| 4 | |Effective| hot-load | diff --git a/src/UserGuide/latest-Table/Reference/System-Config-Manual.md b/src/UserGuide/latest-Table/Reference/System-Config-Manual.md index 0bc1ea5e6..df65a24f9 100644 --- a/src/UserGuide/latest-Table/Reference/System-Config-Manual.md +++ b/src/UserGuide/latest-Table/Reference/System-Config-Manual.md @@ -1796,48 +1796,48 @@ The `iotdb-system.properties` file contains various configurations for managing - cross_performer -| Name | cross_performer | -| ----------- | ------------------------------------------------------- | -| Description | the compaction performer of cross space compaction task | -| Type | String | -| Default | fast | -| Effective | Restart required. | +| Name | cross_performer | +| ----------- |-----------------------------------------------------------| +| Description | the compaction performer of cross space compaction task, Options: read_point, fast | +| Type | String | +| Default | fast | +| Effective | Hot reload . | - inner_seq_selector -| Name | inner_seq_selector | -| ----------- | ---------------------------------------------------- | -| Description | the selector of inner sequence space compaction task | -| Type | String | -| Default | size_tiered_multi_target | -| Effective | Hot reload | +| Name | inner_seq_selector | +| ----------- |--------------------------------------------------------| +| Description | the selector of inner sequence space compaction task, Options: size_tiered_single_target,size_tiered_multi_target | +| Type | String | +| Default | size_tiered_multi_target | +| Effective | Hot reload | - inner_seq_performer -| Name | inner_seq_performer | -| ----------- | ----------------------------------------------------- | -| Description | the performer of inner sequence space compaction task | -| Type | String | -| Default | read_chunk | -| Effective | Restart required. | +| Name | inner_seq_performer | +| ----------- |---------------------------------------------------------| +| Description | the performer of inner sequence space compaction task, Options: read_chunk, fast | +| Type | String | +| Default | read_chunk | +| Effective | Hot reload | - inner_unseq_selector -| Name | inner_unseq_selector | -| ----------- | ------------------------------------------------------ | -| Description | the selector of inner unsequence space compaction task | -| Type | String | -| Default | size_tiered_multi_target | -| Effective | Hot reload | +| Name | inner_unseq_selector | +| ----------- |----------------------------------------------------------| +| Description | the selector of inner unsequence space compaction task, Options: size_tiered_single_target,size_tiered_multi_target | +| Type | String | +| Default | size_tiered_multi_target | +| Effective | Hot reload | - inner_unseq_performer -| Name | inner_unseq_performer | -| ----------- | ------------------------------------------------------- | -| Description | the performer of inner unsequence space compaction task | -| Type | String | -| Default | fast | -| Effective | Restart required. | +| Name | inner_unseq_performer | +| ----------- |-----------------------------------------------------------| +| Description | the performer of inner unsequence space compaction task, Options: read_point, fast | +| Type | String | +| Default | fast | +| Effective | Hot reload | - compaction_priority @@ -1846,7 +1846,7 @@ The `iotdb-system.properties` file contains various configurations for managing | Description | The priority of compaction executionINNER_CROSS: prioritize inner space compaction, reduce the number of files firstCROSS_INNER: prioritize cross space compaction, eliminate the unsequence files firstBALANCE: alternate two compaction types | | Type | String | | Default | INNER_CROSS | -| Effective | 重启服务生效 | +| Effective | Restart required. | - candidate_compaction_task_queue_size @@ -1897,19 +1897,19 @@ The `iotdb-system.properties` file contains various configurations for managing | Name | target_chunk_size | | ----------- | ------------------------------------------------------------ | -| Description | The target chunk size in compaction and when memtable reaches this threshold, flush the memtable to disk. | +| Description | The target chunk size in flushing and compaction. If the size of a timeseries in memtable exceeds this, the data will be flushed to multiple chunks.| | Type | Int64 | -| Default | 1048576 | +| Default | 1600000 | | Effective | Restart required. | - target_chunk_point_num -| Name | target_chunk_point_num | -| ----------- | ------------------------------------------------ | -| Description | The target point nums in one chunk in compaction | -| Type | int32 | -| Default | 100000 | -| Effective | Restart required. | +| Name | target_chunk_point_num | +| ----------- |-----------------------------------------------------------------| +| Description | The target point nums in one chunk in flushing and compaction. If the point number of a timeseries in memtable exceeds this, the data will be flushed to multiple chunks. | +| Type | Int64 | +| Default | 100000 | +| Effective | Restart required. | - chunk_size_lower_bound_in_compaction @@ -1922,12 +1922,12 @@ The `iotdb-system.properties` file contains various configurations for managing - chunk_point_num_lower_bound_in_compaction -| Name | chunk_point_num_lower_bound_in_compaction | -| ----------- | ------------------------------------------------------------ | +| Name | chunk_point_num_lower_bound_in_compaction | +| ----------- |------------------------------------------------------------------------------------------| | Description | If the chunk point num is lower than this threshold, it will be deserialized into points | -| Type | int32 | -| Default | 100 | -| Effective | Restart required. | +| Type | Int64 | +| Default | 100 | +| Effective | Restart required. | - inner_compaction_candidate_file_num diff --git a/src/UserGuide/latest/Reference/Common-Config-Manual.md b/src/UserGuide/latest/Reference/Common-Config-Manual.md index 68e8eef0d..e2bc814e8 100644 --- a/src/UserGuide/latest/Reference/Common-Config-Manual.md +++ b/src/UserGuide/latest/Reference/Common-Config-Manual.md @@ -881,55 +881,55 @@ Different configuration parameters take effect in the following three ways: |Name| cross\_selector | |:---:|:-------------------------------------------------| -|Description| the task selector type of cross space compaction | +|Description| the selector of cross space compaction task | |Type| String | |Default| rewrite | |Effective| After restart system | * cross\_performer -|Name| cross\_performer | -|:---:|:---------------------------------------------------| -|Description| the task performer type of cross space compaction. The options are read_point and fast, read_point is the default and fast is still under test | -|Type| String | -|Default| read\_point | -|Effective| After restart system | +|Name| cross\_performer | +|:---:|:----------------------------------------------------------| +|Description| the compaction performer of cross space compaction task, Options: read_point, fast | +|Type| String | +|Default| fast | +|Effective| hot-load | * inner\_seq\_selector |Name| inner\_seq\_selector | |:---:|:-----------------------------------------------------------------------------------------------------------------------------| -|Description| the task selector type of inner sequence space compaction. Options: size\_tiered\_single_\target,size\_tiered\_multi\_target | +|Description| the task selector of inner sequence space compaction task. Options: size\_tiered\_single_\target,size\_tiered\_multi\_target | |Type| String | -|Default| hot-load | +|Default| size_tiered_multi_target | |Effective| hot-load | * inner\_seq\_performer -|Name| inner\_seq\_peformer | -|:---:|:--------------------------------------------------------------------------------------------------------------------------------------------------------| -|Description| the task performer type of inner sequence space compaction. The options are read_chunk and fast, read_chunk is the default and fast is still under test | -|Type| String | -|Default| read\_chunk | -|Effective| After restart system | +|Name| inner\_seq\_peformer | +|:---:|:------------------------------------------------------------------------------------------------| +|Description| the task performer of inner sequence space compaction task. The options are read_chunk and fast | +|Type| String | +|Default| fast | +|Effective| hot-load | * inner\_unseq\_selector -|Name| inner\_unseq\_selector | -|:---:|:------------------------------------------------------------| -|Description| the task selector type of inner unsequence space compactionn. Options: size\_tiered\_single_\target,size\_tiered\_multi\_target | -|Type| String | -|Default| hot-load | -|Effective| hot-load | +|Name| inner\_unseq\_selector | +|:---:|:--------------------------------------------------------------------------------------------------------------------------------| +|Description| the task selector of inner unsequence space compactionn task. Options: size\_tiered\_single_\target,size\_tiered\_multi\_target | +|Type| String | +|Default| size_tiered_multi_target | +|Effective| hot-load | * inner\_unseq\_performer -|Name| inner\_unseq\_peformer | -|:---:|:--------------------------------------------------------------| -|Description| the task performer type of inner unsequence space compaction. The options are read_point and fast, read_point is the default and fast is still under test | -|Type| String | -|Default| read\_point | -|Effective| After restart system | +|Name| inner\_unseq\_peformer | +|:---:|:----------------------------------------------------------------------------------------------------------------------------------------------------------| +|Description| the task performer of inner unsequence space compaction task. The options are read_point and fast| +|Type| String | +|Default| fast | +|Effective| hot-load | * compaction\_priority @@ -944,52 +944,52 @@ Different configuration parameters take effect in the following three ways: | Name | target\_compaction\_file\_size | | :---------: |:-----------------------------------------------| -| Description | The target file size in compaction | +| Description | This parameter is used in two places: 1. The target tsfile size of inner space compaction. 2. The candidate size of seq tsfile in cross space compaction will be smaller than target_compaction_file_size * 1.5. In most cases, the target file size of cross compaction won't exceed this threshold, and if it does, it will not be much larger than it. | | Type | Int64 | | Default | 2147483648 | -| Effective | After restart system | +| Effective | hot_reload | * target\_chunk\_size | Name | target\_chunk\_size | | :---------: | :--------------------------------- | -| Description | The target size of compacted chunk | +| Description | The target chunk size in flushing and compaction.If the size of a timeseries in memtable exceeds this, the data will be flushed to multiple chunks.| | Type | Int64 | -| Default | 1048576 | +| Default | 1600000 | | Effective | After restart system | * target\_chunk\_point\_num -|Name| target\_chunk\_point\_num | -|:---:|:---| -|Description| The target point number of compacted chunk | -|Type| int32 | -|Default| 100000 | -|Effective|After restart system| +|Name| target\_chunk\_point\_num | +|:---:|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------| +|Description| The target point nums in one chunk in flushing and compaction. If the point number of a timeseries in memtable exceeds this, the data will be flushed to multiple chunks. | +|Type| Int64 | +|Default| 100000 | +|Effective| After restart system | * chunk\_size\_lower\_bound\_in\_compaction -| Name | chunk\_size\_lower\_bound\_in\_compaction | -| :---------: |:----------------------------------------------------------------------------------------| -| Description | A source chunk will be deserialized in compaction when its size is less than this value | -| Type | Int64 | -| Default | 10240 | -| Effective | After restart system | +| Name | chunk\_size\_lower\_bound\_in\_compaction | +| :---------: |:---------------------------------------------------------------------------------------------------------| +| Description | If the chunk size is lower than this threshold, it will be deserialized into points, default is 128 byte | +| Type | Int64 | +| Default | 128 | +| Effective | After restart system | * chunk\_point\_num\_lower\_bound\_in\_compaction -|Name| chunk\_point\_num\_lower\_bound\_in\_compaction | -|:---:|:---------------------------------------------------------------------------------------------| -|Description| A source chunk will be deserialized in compaction when its point num is less than this value | -|Type| int32 | -|Default| 1000 | -|Effective| After restart system | +|Name| chunk\_point\_num\_lower\_bound\_in\_compaction | +|:---:|:-----------------------------------------------------------------------------------------| +|Description| If the chunk point num is lower than this threshold, it will be deserialized into points | +|Type| Int64 | +|Default| 100 | +|Effective| After restart system | * inner\_compaction\_total\_file\_num\_threshold |Name| inner\_compaction\_total\_file\_num\_threshold | |:---:|:---------------------------------------------------------| -|Description| The max num of files encounter in inner space compaction | +|Description| The total file num limit in inner space compaction. | |Type| int32 | |Default| 100 | |Effective| hot-load | @@ -1032,18 +1032,18 @@ Different configuration parameters take effect in the following three ways: * max\_cross\_compaction\_file\_num -|Name| max\_cross\_compaction\_candidate\_file\_num | -|:---:|:---------------------------------------------------------| -|Description| The max num of files encounter in cross space compaction | -|Type| int32 | -|Default| 500 | -|Effective| hot-load | +|Name| max\_cross\_compaction\_candidate\_file\_num | +|:---:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------| +|Description| The max file when selecting cross space compaction candidate files. At least one unseq file with it's overlapped seq files will be selected even exceeded this number | +|Type| int32 | +|Default| 500 | +|Effective| hot-load | * max\_cross\_compaction\_file\_size |Name| max\_cross\_compaction\_candidate\_file\_size | |:---:|:----------------------------------------------------------| -|Description| The max size of files encounter in cross space compaction | +|Description| The max total size when selecting cross space compaction candidate files. At least one unseq file with it's overlapped seq files will be selected even exceeded this number | |Type| Int64 | |Default| 5368709120 | |Effective| hot-load | @@ -1066,29 +1066,20 @@ Different configuration parameters take effect in the following three ways: | Default | 60000 | | Effective | After restart system | -* compaction\_submission\_interval\_in\_ms - -| Name | compaction\_submission\_interval\_in\_ms | -| :---------: | :--------------------------------------- | -| Description | interval of submitting compaction task | -| Type | Int64 | -| Default | 60000 | -| Effective | After restart system | - * compaction\_write\_throughput\_mb\_per\_sec -|Name| compaction\_write\_throughput\_mb\_per\_sec | -|:---:|:-------------------------------------------------| -|Description| The write rate of all compaction tasks in MB/s, values less than or equal to 0 means no limit | -|Type| int32 | -|Default| 16 | -|Effective| hot-load | +|Name| compaction\_write\_throughput\_mb\_per\_sec | +|:---:|:----------------------------------------------------------| +|Description| The limit of write throughput merge can reach per second,values less than or equal to 0 means no limit | +|Type| int32 | +|Default| 16 | +|Effective| hot-load | * compaction\_read\_throughput\_mb\_per\_sec |Name| compaction\_read\_throughput\_mb\_per\_sec | |:---:|:------------------------------------------------| -|Description| The read rate of all compaction tasks in MB/s, values less than or equal to 0 means no limit | +|Description| The limit of read throughput merge can reach per second, values less than or equal to 0 means no limit | |Type| int32 | |Default| 0 | |Effective| hot-load | @@ -1097,7 +1088,7 @@ Different configuration parameters take effect in the following three ways: |Name| compaction\_read\_operation\_per\_sec | |:---:|:---------------------------------------------------------------------------------------------------------------| -|Description| The read operation of all compaction tasks can reach per second, values less than or equal to 0 means no limit | +|Description| The limit of read operation merge can reach per second, values less than or equal to 0 means no limit | |Type| int32 | |Default| 0 | |Effective| hot-load | @@ -1106,7 +1097,7 @@ Different configuration parameters take effect in the following three ways: |Name| sub\_compaction\_thread\_count | |:---:|:--------------------------------------------------------------------------| -|Description| the number of sub-compaction threads to accelerate cross space compaction | +|Description| The number of sub compaction threads to be set up to perform compaction. Currently only works for nonAligned data in cross space compaction and unseq inner space compaction. | |Type| Int32 | |Default| 4 | |Effective| hot-load | diff --git a/src/zh/UserGuide/Master/Table/Reference/System-Config-Manual.md b/src/zh/UserGuide/Master/Table/Reference/System-Config-Manual.md index a8dd20dd3..11f1b6ecf 100644 --- a/src/zh/UserGuide/Master/Table/Reference/System-Config-Manual.md +++ b/src/zh/UserGuide/Master/Table/Reference/System-Config-Manual.md @@ -111,12 +111,12 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 - cluster_name -| 名字 | cluster_name | -| -------- | ------------------------------------------------------------ | -| 描述 | 集群名称 | -| 类型 | String | -| 默认值 | default_cluster | -| 修改方式 | CLI 中执行语句 `set configuration cluster_name='xxx'` （xxx为希望修改成的集群名称） | +| 名字 | cluster_name | +| -------- |--------------------------------------------------------------------------------------------------------------------------------------------------------------------| +| 描述 | 集群名称 | +| 类型 | String | +| 默认值 | default_cluster | +| 修改方式 | CLI 中执行语句 `set configuration cluster_name = 'xxx'` （xxx为希望修改成的集群名称） | | 注意 | 此修改通过网络分发至每个节点。在网络波动或者有节点宕机的情况下，不保证能够在全部节点修改成功。未修改成功的节点重启时无法加入集群，此时需要手动修改该节点的配置文件中的cluster_name项，再重启。正常情况下，不建议通过手动修改配置文件的方式修改集群名称，不建议通过`load configuration`的方式热加载。 | ### 3.2 SeedConfigNode 配置 @@ -550,11 +550,11 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 - cn_rpc_max_concurrent_client_num | 名字 | cn_rpc_max_concurrent_client_num | -| ------------ |----------------------------------| -| 描述 | 最大连接数。 | -| 类型 | int | -| 默认值 | 3000 | -| 改后生效方式 | 重启服务生效 | +| ------------ |---------------------------------| +| 描述 | 最大连接数。 | +| 类型 | int | +| 默认值 | 3000 | +| 改后生效方式 | 重启服务生效 | - cn_connection_timeout_ms @@ -634,7 +634,7 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 | ------------ |----------------------------------| | 描述 | 最大连接数 | | 类型 | Short Int : [0,65535] | -| 默认值 | 1000 | +| 默认值 | 1000 | | 改后生效方式 | 重启服务生效 | - dn_thrift_max_frame_size @@ -1757,106 +1757,106 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 | 名字 | enable_auto_repair_compaction | | ------------ | ----------------------------- | -| 描述 | 修复文件的合并任务 | +| 描述 | 启用通过合并操作自动修复未排序文件的功能 | | 类型 | Boolean | | 默认值 | true | | 改后生效方式 | 热加载 | - cross_selector -| 名字 | cross_selector | -| ------------ | -------------------------- | -| 描述 | 跨空间合并任务选择器的类型 | -| 类型 | String | -| 默认值 | rewrite | -| 改后生效方式 | 重启服务生效 | +| 名字 | cross_selector | +| ------------ |----------------| +| 描述 | 跨空间合并任务的选择器 | +| 类型 | String | +| 默认值 | rewrite | +| 改后生效方式 | 重启服务生效 | - cross_performer -| 名字 | cross_performer | -| ------------ | ------------------------------------------------------------ | -| 描述 | 跨空间合并任务执行器的类型，可选项是read_point和fast，默认是read_point，fast还在测试中 | -| 类型 | String | -| 默认值 | read_point | -| 改后生效方式 | 重启服务生效 | +| 名字 | cross_performer | +| ------------ |-----------------------------------| +| 描述 | 跨空间合并任务的执行器，可选项：read_point 和 fast | +| 类型 | String | +| 默认值 | fast | +| 改后生效方式 | 热加载 | - inner_seq_selector -| 名字 | inner_seq_selector | -| ------------ | ------------------------------------------------------------ | -| 描述 | 顺序空间内合并任务选择器的类型,可选 size_tiered_single_\target,size_tiered_multi_target | -| 类型 | String | -| 默认值 | size_tiered_multi_target | -| 改后生效方式 | 热加载 | +| 名字 | inner_seq_selector | +| ------------ |------------------------------------------------------------------------| +| 描述 | 顺序空间内合并任务的选择器,可选 size_tiered_single_\target,size_tiered_multi_target | +| 类型 | String | +| 默认值 | size_tiered_multi_target | +| 改后生效方式 | 热加载 | - inner_seq_performer -| 名字 | inner_seq_performer | -| ------------ | ------------------------------------------------------------ | -| 描述 | 顺序空间内合并任务执行器的类型，可选项是read_chunk和fast，默认是read_chunk，fast还在测试中 | -| 类型 | String | -| 默认值 | read_chunk | -| 改后生效方式 | 重启服务生效 | +| 名字 | inner_seq_performer | +| ------------ |--------------------------------------| +| 描述 | 顺序空间内合并任务的执行器，可选项是 read_chunk 和 fast | +| 类型 | String | +| 默认值 | read_chunk | +| 改后生效方式 | 热加载 | - inner_unseq_selector -| 名字 | inner_unseq_selector | -| ------------ | ------------------------------------------------------------ | -| 描述 | 乱序空间内合并任务选择器的类型,可选 size_tiered_single_\target,size_tiered_multi_target | -| 类型 | String | -| 默认值 | size_tiered_multi_target | -| 改后生效方式 | 热加载 | +| 名字 | inner_unseq_selector | +| ------------ |-------------------------------------------------------------------------| +| 描述 | 乱序空间内合并任务的选择器,可选 size_tiered_single_\target,size_tiered_multi_target | +| 类型 | String | +| 默认值 | size_tiered_multi_target | +| 改后生效方式 | 热加载 | - inner_unseq_performer -| 名字 | inner_unseq_performer | -| ------------ | ------------------------------------------------------------ | -| 描述 | 乱序空间内合并任务执行器的类型，可选项是read_point和fast，默认是read_point，fast还在测试中 | -| 类型 | String | -| 默认值 | read_point | -| 改后生效方式 | 重启服务生效 | +| 名字 | inner_unseq_performer | +| ------------ |--------------------------------------| +| 描述 | 乱序空间内合并任务的执行器，可选项是 read_point 和 fast | +| 类型 | String | +| 默认值 | fast | +| 改后生效方式 | 热加载 | - compaction_priority -| 名字 | compaction_priority | -| ------------ | ------------------------------------------------------------ | -| 描述 | 合并时的优先级，BALANCE 各种合并平等，INNER_CROSS 优先进行顺序文件和顺序文件或乱序文件和乱序文件的合并，CROSS_INNER 优先将乱序文件合并到顺序文件中 | -| 类型 | String | -| 默认值 | INNER_CROSS | -| 改后生效方式 | 重启服务生效 | +| 名字 | compaction_priority | +| ------------ |-------------------------------------------------------------------------------------------| +| 描述 | 合并时的优先级。INNER_CROSS：优先执行空间内合并，优先减少文件数量；CROSS_INNER：优先执行跨空间合并，优先清理乱序文件；BALANCE：交替执行两种合并类型。 | +| 类型 | String | +| 默认值 | INNER_CROSS | +| 改后生效方式 | 重启服务生效 | - candidate_compaction_task_queue_size | 名字 | candidate_compaction_task_queue_size | | ------------ | ------------------------------------ | -| 描述 | 合并任务优先级队列的大小 | +| 描述 | 待选合并任务队列容量 | | 类型 | int32 | | 默认值 | 50 | | 改后生效方式 | 重启服务生效 | - target_compaction_file_size -| 名字 | target_compaction_file_size | -| ------------ | --------------------------- | -| 描述 | 合并后的目标文件大小 | -| 类型 | Int64 | -| 默认值 | 2147483648 | -| 改后生效方式 | 热加载 | +| 名字 | target_compaction_file_size | +| ------------ |-----------------------------------------------------------------------------------------------------------------------------------------------| +| 描述 | 该参数作用于两个场景：1. 空间内合并的目标文件大小 2. 跨空间合并中待选序列文件的大小需小于 target_compaction_file_size * 1.5 多数情况下，跨空间合并的目标文件大小不会超过此阈值，即便超出，幅度也不会过大 。 默认值：2GB ，单位：byte | +| 类型 | Long | +| 默认值 | 2147483648 | +| 改后生效方式 | 热加载 | - inner_compaction_total_file_size_threshold -| 名字 | inner_compaction_total_file_size_threshold | -| ------------ | -------------------------------------------- | -| 描述 | 空间内合并任务最大选中文件总大小，单位：byte | -| 类型 | int64 | -| 默认值 | 10737418240 | -| 改后生效方式 | 热加载 | +| 名字 | inner_compaction_total_file_size_threshold | +| ------------ |--------------------------------------------| +| 描述 | 空间内合并的文件总大小阈值，单位：byte | +| 类型 | Long | +| 默认值 | 10737418240 | +| 改后生效方式 | 热加载 | - inner_compaction_total_file_num_threshold | 名字 | inner_compaction_total_file_num_threshold | | ------------ | ----------------------------------------- | -| 描述 | 空间内合并中一次合并最多参与的文件数 | +| 描述 | 空间内合并的文件总数阈值 | | 类型 | int32 | | 默认值 | 100 | | 改后生效方式 | 热加载 | @@ -1865,52 +1865,52 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 | 名字 | max_level_gap_in_inner_compaction | | ------------ | -------------------------------------- | -| 描述 | 空间内合并选文件时最大允许跨的文件层级 | +| 描述 | 空间内合并筛选的最大层级差 | | 类型 | int32 | | 默认值 | 2 | | 改后生效方式 | 热加载 | - target_chunk_size -| 名字 | target_chunk_size | -| ------------ | ----------------------- | -| 描述 | 合并时 Chunk 的目标大小 | -| 类型 | Int64 | -| 默认值 | 1048576 | -| 改后生效方式 | 重启服务生效 | +| 名字 | target_chunk_size | +| ------------ |--------------------------------------------------| +| 描述 | 刷盘与合并操作的目标数据块大小， 若内存表中某条时序数据的大小超过该值，数据会被刷盘至多个数据块 | +| 类型 | Long | +| 默认值 | 1600000 | +| 改后生效方式 | 重启服务生效 | - target_chunk_point_num -| 名字 | target_chunk_point_num | -| ------------ | ----------------------- | -| 描述 | 合并时 Chunk 的目标点数 | -| 类型 | int32 | -| 默认值 | 100000 | -| 改后生效方式 | 重启服务生效 | +| 名字 | target_chunk_point_num | +| ------------ |------------------------------------------------------| +| 描述 | 刷盘与合并操作中单个数据块的目标点数， 若内存表中某条时序数据的点数超过该值，数据会被刷盘至多个数据块中 | +| 类型 | Long | +| 默认值 | 100000 | +| 改后生效方式 | 重启服务生效 | - chunk_size_lower_bound_in_compaction -| 名字 | chunk_size_lower_bound_in_compaction | -| ------------ | ----------------------------------------------------- | -| 描述 | 合并时源 Chunk 的大小小于这个值，将被解开成点进行合并 | -| 类型 | Int64 | -| 默认值 | 10240 | -| 改后生效方式 | 重启服务生效 | +| 名字 | chunk_size_lower_bound_in_compaction | +| ------------ |--------------------------------------| +| 描述 | 若数据块大小低于此阈值，则会被反序列化为数据点，默认值为128字节 | +| 类型 | Long | +| 默认值 | 128 | +| 改后生效方式 | 重启服务生效 | - chunk_point_num_lower_bound_in_compaction -| 名字 | chunk_point_num_lower_bound_in_compaction | -| ------------ | ----------------------------------------------------- | -| 描述 | 合并时源 Chunk 的点数小于这个值，将被解开成点进行合并 | -| 类型 | int32 | -| 默认值 | 1000 | -| 改后生效方式 | 重启服务生效 | +| 名字 | chunk_point_num_lower_bound_in_compaction | +| ------------ |------------------------------------------| +| 描述 | 若数据块内的数据点数低于此阈值，则会被反序列化为数据点 | +| 类型 | Long | +| 默认值 | 100 | +| 改后生效方式 | 重启服务生效 | - inner_compaction_candidate_file_num | 名字 | inner_compaction_candidate_file_num | | ------------ | ---------------------------------------- | -| 描述 | 符合构成一个空间内合并任务的候选文件数量 | +| 描述 | 空间内合并待选文件筛选的文件数量要求 | | 类型 | int32 | | 默认值 | 30 | | 改后生效方式 | 热加载 | @@ -1919,7 +1919,7 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 | 名字 | max_cross_compaction_candidate_file_num | | ------------ | --------------------------------------- | -| 描述 | 跨空间合并中一次合并最多参与的文件数 | +| 描述 | 跨空间合并待选文件筛选的文件数量上限 | | 类型 | int32 | | 默认值 | 500 | | 改后生效方式 | 热加载 | @@ -1927,20 +1927,20 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 - max_cross_compaction_candidate_file_size | 名字 | max_cross_compaction_candidate_file_size | -| ------------ | ---------------------------------------- | -| 描述 | 跨空间合并中一次合并最多参与的文件总大小 | -| 类型 | Int64 | +| ------------ |------------------------------------------| +| 描述 | 跨空间合并待选文件筛选的总大小上限 | +| 类型 | Long | | 默认值 | 5368709120 | -| 改后生效方式 | 热加载 | +| 改后生效方式 | 热加载 | - min_cross_compaction_unseq_file_level -| 名字 | min_cross_compaction_unseq_file_level | -| ------------ | ---------------------------------------------- | -| 描述 | 乱序空间中跨空间合并中文件的最小内部压缩级别。 | -| 类型 | int32 | -| 默认值 | 1 | -| 改后生效方式 | 热加载 | +| 名字 | min_cross_compaction_unseq_file_level | +| ------------ |---------------------------------------| +| 描述 | 可被选为待选文件的乱序文件的最小空间内合并层级 | +| 类型 | int32 | +| 默认值 | 1 | +| 改后生效方式 | 热加载 | - compaction_thread_count @@ -1963,26 +1963,26 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 - compaction_schedule_interval_in_ms | 名字 | compaction_schedule_interval_in_ms | -| ------------ | ---------------------------------- | -| 描述 | 合并调度的时间间隔 | -| 类型 | Int64 | +| ------------ |------------------------------------| +| 描述 | 合并调度的时间间隔，单位 ms | +| 类型 | Long | | 默认值 | 60000 | -| 改后生效方式 | 重启服务生效 | +| 改后生效方式 | 重启服务生效 | - compaction_write_throughput_mb_per_sec | 名字 | compaction_write_throughput_mb_per_sec | -| ------------ | -------------------------------------- | -| 描述 | 每秒可达到的写入吞吐量合并限制。 | +| ------------ |----------------------------------------| +| 描述 | 合并操作每秒可达到的写入吞吐量上限， 小于或等于 0 的取值表示无限制 | | 类型 | int32 | | 默认值 | 16 | -| 改后生效方式 | 重启服务生效 | +| 改后生效方式 | 重启服务生效 | - compaction_read_throughput_mb_per_sec | 名字 | compaction_read_throughput_mb_per_sec | | --------- | ---------------------------------------------------- | -| 描述 | 合并每秒读吞吐限制，单位为 byte，设置为 0 代表不限制 | +| 描述 | 合并每秒读吞吐限制，单位为 megabyte，小于或等于 0 的取值表示无限制 | | 类型 | int32 | | 默认值 | 0 | | Effective | 热加载 | @@ -1991,7 +1991,7 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 | 名字 | compaction_read_operation_per_sec | | --------- | ------------------------------------------- | -| 描述 | 合并每秒读操作数量限制，设置为 0 代表不限制 | +| 描述 | 合并每秒读操作数量限制，小于或等于 0 的取值表示无限制 | | 类型 | int32 | | 默认值 | 0 | | Effective | 热加载 | diff --git a/src/zh/UserGuide/Master/Tree/Reference/Common-Config-Manual.md b/src/zh/UserGuide/Master/Tree/Reference/Common-Config-Manual.md index 3ebffd6ac..4616cc7b3 100644 --- a/src/zh/UserGuide/Master/Tree/Reference/Common-Config-Manual.md +++ b/src/zh/UserGuide/Master/Tree/Reference/Common-Config-Manual.md @@ -892,7 +892,7 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 | 名字 | enable\_auto\_repair\_compaction | | :----------: |:---------------------------------| -| 描述 | 修复文件的合并任务 | +| 描述 | 启用通过合并操作自动修复未排序文件的功能 | | 类型 | Boolean | | 默认值 | true | | 改后生效方式 | 热加载 | @@ -902,131 +902,150 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 |名字| cross\_selector | |:---:|:----------------| -|描述| 跨空间合并任务选择器的类型 | +|描述| 跨空间合并任务的选择器 | |类型| String | |默认值| rewrite | -|改后生效方式| 重启生效 | +|改后生效方式| 重启生效 | * cross\_performer -|名字| cross\_performer | -|:---:|:-----------------| -|描述| 跨空间合并任务执行器的类型，可选项是read_point和fast，默认是read_point，fast还在测试中 | -|类型| String | -|默认值| read\_point | -|改后生效方式| 重启生效 | +|名字| cross\_performer | +|:---:|:-------------------------------------------| +|描述| 跨空间合并任务的执行器，可选项：read_point 和 fast| +|类型| String | +|默认值| fast | +|改后生效方式| 重启生效 | * inner\_seq\_selector -|名字| inner\_seq\_selector | -|:---:|:----------------------------------------------------------------------------| -|描述| 顺序空间内合并任务选择器的类型,可选 size\_tiered\_single_\target,size\_tiered\_multi\_target | -|类型| String | -|默认值| size\_tiered\_multi\_target | -|改后生效方式| 热加载 | +|名字| inner\_seq\_selector | +|:---:|:-----------------------------------------------------------------------------| +|描述| 顺序空间内合并任务的选择器,可选 size\_tiered\_single_\target,size\_tiered\_multi\_target | +|类型| String | +|默认值| size\_tiered\_multi\_target | +|改后生效方式| 热加载 | * inner\_seq\_performer -|名字| inner\_seq\_performer | -|:---:|:------------------------------------------------------------| -|描述| 顺序空间内合并任务执行器的类型，可选项是read_chunk和fast，默认是read_chunk，fast还在测试中 | -|类型| String | -|默认值| read\_chunk | -|改后生效方式| 重启生效 | +|名字| inner\_seq\_performer | +|:---:|:-------------------------------------| +|描述| 顺序空间内合并任务的执行器，可选项是 read_chunk 和 fast | +|类型| String | +|默认值| read\_chunk | +|改后生效方式| 热加载 | * inner\_unseq\_selector -|名字| inner\_unseq\_selector | -|:---:|:----------------------------------------------------------------------------| -|描述| 乱序空间内合并任务选择器的类型,可选 size\_tiered\_single_\target,size\_tiered\_multi\_target | -|类型| String | -|默认值| size\_tiered\_multi\_target | -|改后生效方式| 热加载 | +|名字| inner\_unseq\_selector | +|:---:|:-----------------------------------------------------------------------------| +|描述| 乱序空间内合并任务的选择器,可选 size\_tiered\_single_\target,size\_tiered\_multi\_target | +|类型| String | +|默认值| size\_tiered\_multi\_target | +|改后生效方式| 热加载 | * inner\_unseq\_performer -|名字| inner\_unseq\_performer | -|:---:|:------------------------------------------------------------| -|描述| 乱序空间内合并任务执行器的类型，可选项是read_point和fast，默认是read_point，fast还在测试中 | -|类型| String | -|默认值| read\_point | -|改后生效方式| 重启生效 | +|名字| inner\_unseq\_performer | +|:---:|:-------------------------------------| +|描述| 乱序空间内合并任务的执行器，可选项是 read_point 和 fast | +|类型| String | +|默认值| fast | +|改后生效方式| 热加载 | * compaction\_priority | 名字 | compaction\_priority | | :----------: |:------------------------------------------------------------------------------------------| -| 描述 | 合并时的优先级，BALANCE 各种合并平等，INNER_CROSS 优先进行顺序文件和顺序文件或乱序文件和乱序文件的合并，CROSS_INNER 优先将乱序文件合并到顺序文件中 | +| 描述 | 合并时的优先级。INNER_CROSS：优先执行空间内合并，优先减少文件数量；CROSS_INNER：优先执行跨空间合并，优先清理乱序文件；BALANCE：交替执行两种合并类型。 | | 类型 | String | | 默认值 | INNER_CROSS | | 改后生效方式 | 重启服务生效 | +* candidate\_compaction\_task\_queue\_size + +| 名字 | candidate\_compaction\_task\_queue\_size | +| ------------ |------------------------------------------| +| 描述 | 待选合并任务队列容量 | +| 类型 | int32 | +| 默认值 | 50 | +| 改后生效方式 | 重启服务生效 | + * target\_compaction\_file\_size -| 名字 | target\_compaction\_file\_size | -| :----------: |:-------------------------------| -| 描述 | 合并后的目标文件大小 | -| 类型 | Int64 | -| 默认值 | 2147483648 | -| 改后生效方式 | 重启生效 | +| 名字 | target\_compaction\_file\_size | +| :----------: |:---------------------------------------------------------------------------------------------------------------------------------------------| +| 描述 | 该参数作用于两个场景：1. 空间内合并的目标文件大小 2. 跨空间合并中待选序列文件的大小需小于 target_compaction_file_size * 1.5 多数情况下，跨空间合并的目标文件大小不会超过此阈值，即便超出，幅度也不会过大 。 默认值：2GB，单位：byte | +| 类型 | Long | +| 默认值 | 2147483648 | +| 改后生效方式 | 重启生效 | + +- inner\_compaction\_total\_file\_size\_threshold + +| 名字 | inner\_compaction\_total\_file\_size\_threshold | +| ------------ |-------------------------------------------------| +| 描述 | 空间内合并的文件总大小阈值，单位：byte | +| 类型 | Long | +| 默认值 | 10737418240 | +| 改后生效方式 | 热加载 | + +- inner\_compaction\_total\_file\_num\_threshold + +| 名字 | inner\_compaction\_total\_file\_num\_threshold | +| ------------ |------------------------------------------------| +| 描述 | 空间内合并的文件总数阈值 | +| 类型 | int32 | +| 默认值 | 100 | +| 改后生效方式 | 热加载 | + +- max\_level\_gap\_in\_inner\_compaction + +| 名字 | max\_level\_gap\_in\_inner\_compaction | +| ------------ |----------------------------------------| +| 描述 | 空间内合并筛选的最大层级差 | +| 类型 | int32 | +| 默认值 | 2 | +| 改后生效方式 | 热加载 | * target\_chunk\_size -| 名字 | target\_chunk\_size | -| :----------: | :---------------------- | -| 描述 | 合并时 Chunk 的目标大小 | -| 类型 | Int64 | -| 默认值 | 1048576 | -| 改后生效方式 | 重启生效 | +| 名字 | target\_chunk\_size | +| :----------: |:-------------------------------------------------| +| 描述 | 刷盘与合并操作的目标数据块大小， 若内存表中某条时序数据的大小超过该值，数据会被刷盘至多个数据块 | +| 类型 | Long | +| 默认值 | 1600000 | +| 改后生效方式 | 重启生效 | * target\_chunk\_point\_num -|名字| target\_chunk\_point\_num | -|:---:|:---| -|描述| 合并时 Chunk 的目标点数 | -|类型| int32 | -|默认值| 100000 | -|改后生效方式|重启生效| +| 名字 | target\_chunk\_point\_num | +|:--------:|:-----------------------------------------------------| +| 描述 | 刷盘与合并操作中单个数据块的目标点数， 若内存表中某条时序数据的点数超过该值，数据会被刷盘至多个数据块中 | +| 类型 | Long | +| 默认值 | 100000 | +| 改后生效方式 | 重启服务生效 | * chunk\_size\_lower\_bound\_in\_compaction | 名字 | chunk\_size\_lower\_bound\_in\_compaction | | :----------: |:------------------------------------------| -| 描述 | 合并时源 Chunk 的大小小于这个值，将被解开成点进行合并 | -| 类型 | Int64 | -| 默认值 | 10240 | -| 改后生效方式 | 重启生效 | +| 描述 | 若数据块大小低于此阈值，则会被反序列化为数据点，默认值为128字节 | +| 类型 | Long | +| 默认值 | 128 | +| 改后生效方式 | 重启服务生效 | * chunk\_point\_num\_lower\_bound\_in\_compaction |名字| chunk\_point\_num\_lower\_bound\_in\_compaction | |:---:|:------------------------------------------------| -|描述| 合并时源 Chunk 的点数小于这个值，将被解开成点进行合并 | -|类型| int32 | -|默认值| 1000 | -|改后生效方式| 重启生效 | +| 描述 | 若数据块内的数据点数低于此阈值，则会被反序列化为数据点 | +| 类型 | Long | +| 默认值 | 100 | +| 改后生效方式 | 重启服务生效 | -* inner\_compaction\_total\_file\_num\_threshold - -|名字| inner\_compaction\_total\_file\_num\_threshold | -|:---:|:---| -|描述| 空间内合并中一次合并最多参与的文件数 | -|类型| int32 | -|默认值| 30| -|改后生效方式|重启生效| - -* inner\_compaction\_total\_file\_size\_threshold - -|名字| inner\_compaction\_total\_file\_size\_threshold | -|:---:|:------------------------------------------------| -|描述| 空间内合并任务最大选中文件总大小，单位：byte | -|类型| int64 | -|默认值| 10737418240 | -|改后生效方式| 热加载 | * compaction\_max\_aligned\_series\_num\_in\_one\_batch @@ -1050,7 +1069,7 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 |名字| inner\_compaction\_candidate\_file\_num | |:---:|:----------------------------------------| -|描述| 符合构成一个空间内合并任务的候选文件数量 | +|描述| 空间内合并待选文件筛选的文件数量要求 | |类型| int32 | |默认值| 30 | |改后生效方式| 热加载 | @@ -1059,7 +1078,7 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 |名字| max\_cross\_compaction\_candidate\_file\_num | |:---:|:---------------------------------------------| -|描述| 跨空间合并中一次合并最多参与的文件数 | +|描述| 跨空间合并待选文件筛选的文件数量上限 | |类型| int32 | |默认值| 500 | |改后生效方式| 热加载 | @@ -1069,11 +1088,20 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 |名字| max\_cross\_compaction\_candidate\_file\_size | |:---:|:----------------------------------------------| -|描述| 跨空间合并中一次合并最多参与的文件总大小 | -|类型| Int64 | +|描述| 跨空间合并待选文件筛选的总大小上限 | +|类型| Long | |默认值| 5368709120 | |改后生效方式| 热加载 | +- min\_cross\_compaction\_unseq\_file\_level + +| 名字 | min\_cross\_compaction\_unseq\_file\_level | +| ------------ |--------------------------------------------| +| 描述 | 可被选为待选文件的乱序文件的最小空间内合并层级 | +| 类型 | int32 | +| 默认值 | 1 | +| 改后生效方式 | 热加载 | + * compaction\_thread\_count @@ -1087,35 +1115,35 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 * compaction\_schedule\_interval\_in\_ms | 名字 | compaction\_schedule\_interval\_in\_ms | -| :----------: | :------------------------------------- | -| 描述 | 合并调度的时间间隔 | -| 类型 | Int64 | +| :----------: |:---------------------------------------| +| 描述 | 合并调度的时间间隔，单位 ms | +| 类型 | Long | | 默认值 | 60000 | -| 改后生效方式 | 重启生效 | +| 改后生效方式 | 重启生效 | * compaction\_submission\_interval\_in\_ms | 名字 | compaction\_submission\_interval\_in\_ms | -| :----------: | :--------------------------------------- | -| 描述 | 合并任务提交的间隔 | -| 类型 | Int64 | +| :----------: |:-----------------------------------------| +| 描述 | 合并任务提交的间隔 | +| 类型 | Long | | 默认值 | 60000 | -| 改后生效方式 | 重启生效 | +| 改后生效方式 | 重启生效 | * compaction\_write\_throughput\_mb\_per\_sec |名字| compaction\_write\_throughput\_mb\_per\_sec | -|:---:|:---| -|描述| 每秒可达到的写入吞吐量合并限制。| -|类型| int32 | -|默认值| 16 | -|改后生效方式| 重启生效| +|:---:|:--------------------------------------------| +|描述| 合并操作每秒可达到的写入吞吐量上限， 小于或等于 0 的取值表示无限制。 | +|类型| int32 | +|默认值| 16 | +|改后生效方式| 重启生效 | * compaction\_read\_throughput\_mb\_per\_sec | 名字 | compaction\_read\_throughput\_mb\_per\_sec | |:---------:|:-------------------------------------------| -| 描述 | 合并每秒读吞吐限制，单位为 byte，设置为 0 代表不限制 | +| 描述 | 合并每秒读吞吐限制，单位为 megabyte，小于或等于 0 的取值表示无限制 | | 类型 | int32 | | 默认值 | 0 | | Effective | 热加载 | @@ -1124,7 +1152,7 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 | 名字 | compaction\_read\_operation\_per\_sec | |:---------:|:--------------------------------------| -| 描述 | 合并每秒读操作数量限制，设置为 0 代表不限制 | +| 描述 | 合并每秒读操作数量限制，小于或等于 0 的取值表示无限制 | | 类型 | int32 | | 默认值 | 0 | | Effective | 热加载 | @@ -1138,23 +1166,24 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 |默认值| 4 | |改后生效方式| 热加载 | -* enable\_tsfile\_validation +- inner\_compaction\_task\_selection\_disk\_redundancy -| 名字 | enable\_tsfile\_validation | -|:---------:|:------------------------------| -| 描述 | Flush, Load 或合并后验证 tsfile 正确性 | -| 类型 | boolean | -| 默认值 | false | -| 改后生效方式 | 热加载 | +| 名字 | inner\_compaction\_task\_selection\_disk\_redundancy | +| ------------ |------------------------------------------------------| +| 描述 | 定义了磁盘可用空间的冗余值，仅用于内部压缩 | +| 类型 | double | +| 默认值 | 0.05 | +| 改后生效方式 | 热加载 | -* candidate\_compaction\_task\_queue\_size +- inner\_compaction\_task\_selection\_mods\_file\_threshold + +| 名字 | inner\_compaction\_task\_selection\_mods\_file\_threshold | +| ------------ |-----------------------------------------------------------| +| 描述 | 定义了mods文件大小的阈值，仅用于内部压缩。 | +| 类型 | long | +| 默认值 | 131072 | +| 改后生效方式 | 热加载 | -|名字| candidate\_compaction\_task\_queue\_size | -|:---:|:-----------------------------------------| -|描述| 合并任务优先级队列的大小 | -|类型| int32 | -|默认值| 50 | -|改后生效方式| 重启生效 | * compaction\_schedule\_thread\_num diff --git a/src/zh/UserGuide/latest-Table/Reference/System-Config-Manual.md b/src/zh/UserGuide/latest-Table/Reference/System-Config-Manual.md index 7d920f27d..11f1b6ecf 100644 --- a/src/zh/UserGuide/latest-Table/Reference/System-Config-Manual.md +++ b/src/zh/UserGuide/latest-Table/Reference/System-Config-Manual.md @@ -1757,106 +1757,106 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 | 名字 | enable_auto_repair_compaction | | ------------ | ----------------------------- | -| 描述 | 修复文件的合并任务 | +| 描述 | 启用通过合并操作自动修复未排序文件的功能 | | 类型 | Boolean | | 默认值 | true | | 改后生效方式 | 热加载 | - cross_selector -| 名字 | cross_selector | -| ------------ | -------------------------- | -| 描述 | 跨空间合并任务选择器的类型 | -| 类型 | String | -| 默认值 | rewrite | -| 改后生效方式 | 重启服务生效 | +| 名字 | cross_selector | +| ------------ |----------------| +| 描述 | 跨空间合并任务的选择器 | +| 类型 | String | +| 默认值 | rewrite | +| 改后生效方式 | 重启服务生效 | - cross_performer -| 名字 | cross_performer | -| ------------ | ------------------------------------------------------------ | -| 描述 | 跨空间合并任务执行器的类型，可选项是read_point和fast，默认是read_point，fast还在测试中 | -| 类型 | String | -| 默认值 | read_point | -| 改后生效方式 | 重启服务生效 | +| 名字 | cross_performer | +| ------------ |-----------------------------------| +| 描述 | 跨空间合并任务的执行器，可选项：read_point 和 fast | +| 类型 | String | +| 默认值 | fast | +| 改后生效方式 | 热加载 | - inner_seq_selector -| 名字 | inner_seq_selector | -| ------------ | ------------------------------------------------------------ | -| 描述 | 顺序空间内合并任务选择器的类型,可选 size_tiered_single_\target,size_tiered_multi_target | -| 类型 | String | -| 默认值 | size_tiered_multi_target | -| 改后生效方式 | 热加载 | +| 名字 | inner_seq_selector | +| ------------ |------------------------------------------------------------------------| +| 描述 | 顺序空间内合并任务的选择器,可选 size_tiered_single_\target,size_tiered_multi_target | +| 类型 | String | +| 默认值 | size_tiered_multi_target | +| 改后生效方式 | 热加载 | - inner_seq_performer -| 名字 | inner_seq_performer | -| ------------ | ------------------------------------------------------------ | -| 描述 | 顺序空间内合并任务执行器的类型，可选项是read_chunk和fast，默认是read_chunk，fast还在测试中 | -| 类型 | String | -| 默认值 | read_chunk | -| 改后生效方式 | 重启服务生效 | +| 名字 | inner_seq_performer | +| ------------ |--------------------------------------| +| 描述 | 顺序空间内合并任务的执行器，可选项是 read_chunk 和 fast | +| 类型 | String | +| 默认值 | read_chunk | +| 改后生效方式 | 热加载 | - inner_unseq_selector -| 名字 | inner_unseq_selector | -| ------------ | ------------------------------------------------------------ | -| 描述 | 乱序空间内合并任务选择器的类型,可选 size_tiered_single_\target,size_tiered_multi_target | -| 类型 | String | -| 默认值 | size_tiered_multi_target | -| 改后生效方式 | 热加载 | +| 名字 | inner_unseq_selector | +| ------------ |-------------------------------------------------------------------------| +| 描述 | 乱序空间内合并任务的选择器,可选 size_tiered_single_\target,size_tiered_multi_target | +| 类型 | String | +| 默认值 | size_tiered_multi_target | +| 改后生效方式 | 热加载 | - inner_unseq_performer -| 名字 | inner_unseq_performer | -| ------------ | ------------------------------------------------------------ | -| 描述 | 乱序空间内合并任务执行器的类型，可选项是read_point和fast，默认是read_point，fast还在测试中 | -| 类型 | String | -| 默认值 | read_point | -| 改后生效方式 | 重启服务生效 | +| 名字 | inner_unseq_performer | +| ------------ |--------------------------------------| +| 描述 | 乱序空间内合并任务的执行器，可选项是 read_point 和 fast | +| 类型 | String | +| 默认值 | fast | +| 改后生效方式 | 热加载 | - compaction_priority -| 名字 | compaction_priority | -| ------------ | ------------------------------------------------------------ | -| 描述 | 合并时的优先级，BALANCE 各种合并平等，INNER_CROSS 优先进行顺序文件和顺序文件或乱序文件和乱序文件的合并，CROSS_INNER 优先将乱序文件合并到顺序文件中 | -| 类型 | String | -| 默认值 | INNER_CROSS | -| 改后生效方式 | 重启服务生效 | +| 名字 | compaction_priority | +| ------------ |-------------------------------------------------------------------------------------------| +| 描述 | 合并时的优先级。INNER_CROSS：优先执行空间内合并，优先减少文件数量；CROSS_INNER：优先执行跨空间合并，优先清理乱序文件；BALANCE：交替执行两种合并类型。 | +| 类型 | String | +| 默认值 | INNER_CROSS | +| 改后生效方式 | 重启服务生效 | - candidate_compaction_task_queue_size | 名字 | candidate_compaction_task_queue_size | | ------------ | ------------------------------------ | -| 描述 | 合并任务优先级队列的大小 | +| 描述 | 待选合并任务队列容量 | | 类型 | int32 | | 默认值 | 50 | | 改后生效方式 | 重启服务生效 | - target_compaction_file_size -| 名字 | target_compaction_file_size | -| ------------ | --------------------------- | -| 描述 | 合并后的目标文件大小 | -| 类型 | Int64 | -| 默认值 | 2147483648 | -| 改后生效方式 | 热加载 | +| 名字 | target_compaction_file_size | +| ------------ |-----------------------------------------------------------------------------------------------------------------------------------------------| +| 描述 | 该参数作用于两个场景：1. 空间内合并的目标文件大小 2. 跨空间合并中待选序列文件的大小需小于 target_compaction_file_size * 1.5 多数情况下，跨空间合并的目标文件大小不会超过此阈值，即便超出，幅度也不会过大 。 默认值：2GB ，单位：byte | +| 类型 | Long | +| 默认值 | 2147483648 | +| 改后生效方式 | 热加载 | - inner_compaction_total_file_size_threshold -| 名字 | inner_compaction_total_file_size_threshold | -| ------------ | -------------------------------------------- | -| 描述 | 空间内合并任务最大选中文件总大小，单位：byte | -| 类型 | int64 | -| 默认值 | 10737418240 | -| 改后生效方式 | 热加载 | +| 名字 | inner_compaction_total_file_size_threshold | +| ------------ |--------------------------------------------| +| 描述 | 空间内合并的文件总大小阈值，单位：byte | +| 类型 | Long | +| 默认值 | 10737418240 | +| 改后生效方式 | 热加载 | - inner_compaction_total_file_num_threshold | 名字 | inner_compaction_total_file_num_threshold | | ------------ | ----------------------------------------- | -| 描述 | 空间内合并中一次合并最多参与的文件数 | +| 描述 | 空间内合并的文件总数阈值 | | 类型 | int32 | | 默认值 | 100 | | 改后生效方式 | 热加载 | @@ -1865,52 +1865,52 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 | 名字 | max_level_gap_in_inner_compaction | | ------------ | -------------------------------------- | -| 描述 | 空间内合并选文件时最大允许跨的文件层级 | +| 描述 | 空间内合并筛选的最大层级差 | | 类型 | int32 | | 默认值 | 2 | | 改后生效方式 | 热加载 | - target_chunk_size -| 名字 | target_chunk_size | -| ------------ | ----------------------- | -| 描述 | 合并时 Chunk 的目标大小 | -| 类型 | Int64 | -| 默认值 | 1048576 | -| 改后生效方式 | 重启服务生效 | +| 名字 | target_chunk_size | +| ------------ |--------------------------------------------------| +| 描述 | 刷盘与合并操作的目标数据块大小， 若内存表中某条时序数据的大小超过该值，数据会被刷盘至多个数据块 | +| 类型 | Long | +| 默认值 | 1600000 | +| 改后生效方式 | 重启服务生效 | - target_chunk_point_num -| 名字 | target_chunk_point_num | -| ------------ | ----------------------- | -| 描述 | 合并时 Chunk 的目标点数 | -| 类型 | int32 | -| 默认值 | 100000 | -| 改后生效方式 | 重启服务生效 | +| 名字 | target_chunk_point_num | +| ------------ |------------------------------------------------------| +| 描述 | 刷盘与合并操作中单个数据块的目标点数， 若内存表中某条时序数据的点数超过该值，数据会被刷盘至多个数据块中 | +| 类型 | Long | +| 默认值 | 100000 | +| 改后生效方式 | 重启服务生效 | - chunk_size_lower_bound_in_compaction -| 名字 | chunk_size_lower_bound_in_compaction | -| ------------ | ----------------------------------------------------- | -| 描述 | 合并时源 Chunk 的大小小于这个值，将被解开成点进行合并 | -| 类型 | Int64 | -| 默认值 | 10240 | -| 改后生效方式 | 重启服务生效 | +| 名字 | chunk_size_lower_bound_in_compaction | +| ------------ |--------------------------------------| +| 描述 | 若数据块大小低于此阈值，则会被反序列化为数据点，默认值为128字节 | +| 类型 | Long | +| 默认值 | 128 | +| 改后生效方式 | 重启服务生效 | - chunk_point_num_lower_bound_in_compaction -| 名字 | chunk_point_num_lower_bound_in_compaction | -| ------------ | ----------------------------------------------------- | -| 描述 | 合并时源 Chunk 的点数小于这个值，将被解开成点进行合并 | -| 类型 | int32 | -| 默认值 | 1000 | -| 改后生效方式 | 重启服务生效 | +| 名字 | chunk_point_num_lower_bound_in_compaction | +| ------------ |------------------------------------------| +| 描述 | 若数据块内的数据点数低于此阈值，则会被反序列化为数据点 | +| 类型 | Long | +| 默认值 | 100 | +| 改后生效方式 | 重启服务生效 | - inner_compaction_candidate_file_num | 名字 | inner_compaction_candidate_file_num | | ------------ | ---------------------------------------- | -| 描述 | 符合构成一个空间内合并任务的候选文件数量 | +| 描述 | 空间内合并待选文件筛选的文件数量要求 | | 类型 | int32 | | 默认值 | 30 | | 改后生效方式 | 热加载 | @@ -1919,7 +1919,7 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 | 名字 | max_cross_compaction_candidate_file_num | | ------------ | --------------------------------------- | -| 描述 | 跨空间合并中一次合并最多参与的文件数 | +| 描述 | 跨空间合并待选文件筛选的文件数量上限 | | 类型 | int32 | | 默认值 | 500 | | 改后生效方式 | 热加载 | @@ -1927,20 +1927,20 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 - max_cross_compaction_candidate_file_size | 名字 | max_cross_compaction_candidate_file_size | -| ------------ | ---------------------------------------- | -| 描述 | 跨空间合并中一次合并最多参与的文件总大小 | -| 类型 | Int64 | +| ------------ |------------------------------------------| +| 描述 | 跨空间合并待选文件筛选的总大小上限 | +| 类型 | Long | | 默认值 | 5368709120 | -| 改后生效方式 | 热加载 | +| 改后生效方式 | 热加载 | - min_cross_compaction_unseq_file_level -| 名字 | min_cross_compaction_unseq_file_level | -| ------------ | ---------------------------------------------- | -| 描述 | 乱序空间中跨空间合并中文件的最小内部压缩级别。 | -| 类型 | int32 | -| 默认值 | 1 | -| 改后生效方式 | 热加载 | +| 名字 | min_cross_compaction_unseq_file_level | +| ------------ |---------------------------------------| +| 描述 | 可被选为待选文件的乱序文件的最小空间内合并层级 | +| 类型 | int32 | +| 默认值 | 1 | +| 改后生效方式 | 热加载 | - compaction_thread_count @@ -1963,26 +1963,26 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 - compaction_schedule_interval_in_ms | 名字 | compaction_schedule_interval_in_ms | -| ------------ | ---------------------------------- | -| 描述 | 合并调度的时间间隔 | -| 类型 | Int64 | +| ------------ |------------------------------------| +| 描述 | 合并调度的时间间隔，单位 ms | +| 类型 | Long | | 默认值 | 60000 | -| 改后生效方式 | 重启服务生效 | +| 改后生效方式 | 重启服务生效 | - compaction_write_throughput_mb_per_sec | 名字 | compaction_write_throughput_mb_per_sec | -| ------------ | -------------------------------------- | -| 描述 | 每秒可达到的写入吞吐量合并限制。 | +| ------------ |----------------------------------------| +| 描述 | 合并操作每秒可达到的写入吞吐量上限， 小于或等于 0 的取值表示无限制 | | 类型 | int32 | | 默认值 | 16 | -| 改后生效方式 | 重启服务生效 | +| 改后生效方式 | 重启服务生效 | - compaction_read_throughput_mb_per_sec | 名字 | compaction_read_throughput_mb_per_sec | | --------- | ---------------------------------------------------- | -| 描述 | 合并每秒读吞吐限制，单位为 byte，设置为 0 代表不限制 | +| 描述 | 合并每秒读吞吐限制，单位为 megabyte，小于或等于 0 的取值表示无限制 | | 类型 | int32 | | 默认值 | 0 | | Effective | 热加载 | @@ -1991,7 +1991,7 @@ IoTDB 配置文件位于 IoTDB 安装目录：`conf`文件夹下。 | 名字 | compaction_read_operation_per_sec | | --------- | ------------------------------------------- | -| 描述 | 合并每秒读操作数量限制，设置为 0 代表不限制 | +| 描述 | 合并每秒读操作数量限制，小于或等于 0 的取值表示无限制 | | 类型 | int32 | | 默认值 | 0 | | Effective | 热加载 | diff --git a/src/zh/UserGuide/latest/Reference/Common-Config-Manual.md b/src/zh/UserGuide/latest/Reference/Common-Config-Manual.md index 3ebffd6ac..4616cc7b3 100644 --- a/src/zh/UserGuide/latest/Reference/Common-Config-Manual.md +++ b/src/zh/UserGuide/latest/Reference/Common-Config-Manual.md @@ -892,7 +892,7 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 | 名字 | enable\_auto\_repair\_compaction | | :----------: |:---------------------------------| -| 描述 | 修复文件的合并任务 | +| 描述 | 启用通过合并操作自动修复未排序文件的功能 | | 类型 | Boolean | | 默认值 | true | | 改后生效方式 | 热加载 | @@ -902,131 +902,150 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 |名字| cross\_selector | |:---:|:----------------| -|描述| 跨空间合并任务选择器的类型 | +|描述| 跨空间合并任务的选择器 | |类型| String | |默认值| rewrite | -|改后生效方式| 重启生效 | +|改后生效方式| 重启生效 | * cross\_performer -|名字| cross\_performer | -|:---:|:-----------------| -|描述| 跨空间合并任务执行器的类型，可选项是read_point和fast，默认是read_point，fast还在测试中 | -|类型| String | -|默认值| read\_point | -|改后生效方式| 重启生效 | +|名字| cross\_performer | +|:---:|:-------------------------------------------| +|描述| 跨空间合并任务的执行器，可选项：read_point 和 fast| +|类型| String | +|默认值| fast | +|改后生效方式| 重启生效 | * inner\_seq\_selector -|名字| inner\_seq\_selector | -|:---:|:----------------------------------------------------------------------------| -|描述| 顺序空间内合并任务选择器的类型,可选 size\_tiered\_single_\target,size\_tiered\_multi\_target | -|类型| String | -|默认值| size\_tiered\_multi\_target | -|改后生效方式| 热加载 | +|名字| inner\_seq\_selector | +|:---:|:-----------------------------------------------------------------------------| +|描述| 顺序空间内合并任务的选择器,可选 size\_tiered\_single_\target,size\_tiered\_multi\_target | +|类型| String | +|默认值| size\_tiered\_multi\_target | +|改后生效方式| 热加载 | * inner\_seq\_performer -|名字| inner\_seq\_performer | -|:---:|:------------------------------------------------------------| -|描述| 顺序空间内合并任务执行器的类型，可选项是read_chunk和fast，默认是read_chunk，fast还在测试中 | -|类型| String | -|默认值| read\_chunk | -|改后生效方式| 重启生效 | +|名字| inner\_seq\_performer | +|:---:|:-------------------------------------| +|描述| 顺序空间内合并任务的执行器，可选项是 read_chunk 和 fast | +|类型| String | +|默认值| read\_chunk | +|改后生效方式| 热加载 | * inner\_unseq\_selector -|名字| inner\_unseq\_selector | -|:---:|:----------------------------------------------------------------------------| -|描述| 乱序空间内合并任务选择器的类型,可选 size\_tiered\_single_\target,size\_tiered\_multi\_target | -|类型| String | -|默认值| size\_tiered\_multi\_target | -|改后生效方式| 热加载 | +|名字| inner\_unseq\_selector | +|:---:|:-----------------------------------------------------------------------------| +|描述| 乱序空间内合并任务的选择器,可选 size\_tiered\_single_\target,size\_tiered\_multi\_target | +|类型| String | +|默认值| size\_tiered\_multi\_target | +|改后生效方式| 热加载 | * inner\_unseq\_performer -|名字| inner\_unseq\_performer | -|:---:|:------------------------------------------------------------| -|描述| 乱序空间内合并任务执行器的类型，可选项是read_point和fast，默认是read_point，fast还在测试中 | -|类型| String | -|默认值| read\_point | -|改后生效方式| 重启生效 | +|名字| inner\_unseq\_performer | +|:---:|:-------------------------------------| +|描述| 乱序空间内合并任务的执行器，可选项是 read_point 和 fast | +|类型| String | +|默认值| fast | +|改后生效方式| 热加载 | * compaction\_priority | 名字 | compaction\_priority | | :----------: |:------------------------------------------------------------------------------------------| -| 描述 | 合并时的优先级，BALANCE 各种合并平等，INNER_CROSS 优先进行顺序文件和顺序文件或乱序文件和乱序文件的合并，CROSS_INNER 优先将乱序文件合并到顺序文件中 | +| 描述 | 合并时的优先级。INNER_CROSS：优先执行空间内合并，优先减少文件数量；CROSS_INNER：优先执行跨空间合并，优先清理乱序文件；BALANCE：交替执行两种合并类型。 | | 类型 | String | | 默认值 | INNER_CROSS | | 改后生效方式 | 重启服务生效 | +* candidate\_compaction\_task\_queue\_size + +| 名字 | candidate\_compaction\_task\_queue\_size | +| ------------ |------------------------------------------| +| 描述 | 待选合并任务队列容量 | +| 类型 | int32 | +| 默认值 | 50 | +| 改后生效方式 | 重启服务生效 | + * target\_compaction\_file\_size -| 名字 | target\_compaction\_file\_size | -| :----------: |:-------------------------------| -| 描述 | 合并后的目标文件大小 | -| 类型 | Int64 | -| 默认值 | 2147483648 | -| 改后生效方式 | 重启生效 | +| 名字 | target\_compaction\_file\_size | +| :----------: |:---------------------------------------------------------------------------------------------------------------------------------------------| +| 描述 | 该参数作用于两个场景：1. 空间内合并的目标文件大小 2. 跨空间合并中待选序列文件的大小需小于 target_compaction_file_size * 1.5 多数情况下，跨空间合并的目标文件大小不会超过此阈值，即便超出，幅度也不会过大 。 默认值：2GB，单位：byte | +| 类型 | Long | +| 默认值 | 2147483648 | +| 改后生效方式 | 重启生效 | + +- inner\_compaction\_total\_file\_size\_threshold + +| 名字 | inner\_compaction\_total\_file\_size\_threshold | +| ------------ |-------------------------------------------------| +| 描述 | 空间内合并的文件总大小阈值，单位：byte | +| 类型 | Long | +| 默认值 | 10737418240 | +| 改后生效方式 | 热加载 | + +- inner\_compaction\_total\_file\_num\_threshold + +| 名字 | inner\_compaction\_total\_file\_num\_threshold | +| ------------ |------------------------------------------------| +| 描述 | 空间内合并的文件总数阈值 | +| 类型 | int32 | +| 默认值 | 100 | +| 改后生效方式 | 热加载 | + +- max\_level\_gap\_in\_inner\_compaction + +| 名字 | max\_level\_gap\_in\_inner\_compaction | +| ------------ |----------------------------------------| +| 描述 | 空间内合并筛选的最大层级差 | +| 类型 | int32 | +| 默认值 | 2 | +| 改后生效方式 | 热加载 | * target\_chunk\_size -| 名字 | target\_chunk\_size | -| :----------: | :---------------------- | -| 描述 | 合并时 Chunk 的目标大小 | -| 类型 | Int64 | -| 默认值 | 1048576 | -| 改后生效方式 | 重启生效 | +| 名字 | target\_chunk\_size | +| :----------: |:-------------------------------------------------| +| 描述 | 刷盘与合并操作的目标数据块大小， 若内存表中某条时序数据的大小超过该值，数据会被刷盘至多个数据块 | +| 类型 | Long | +| 默认值 | 1600000 | +| 改后生效方式 | 重启生效 | * target\_chunk\_point\_num -|名字| target\_chunk\_point\_num | -|:---:|:---| -|描述| 合并时 Chunk 的目标点数 | -|类型| int32 | -|默认值| 100000 | -|改后生效方式|重启生效| +| 名字 | target\_chunk\_point\_num | +|:--------:|:-----------------------------------------------------| +| 描述 | 刷盘与合并操作中单个数据块的目标点数， 若内存表中某条时序数据的点数超过该值，数据会被刷盘至多个数据块中 | +| 类型 | Long | +| 默认值 | 100000 | +| 改后生效方式 | 重启服务生效 | * chunk\_size\_lower\_bound\_in\_compaction | 名字 | chunk\_size\_lower\_bound\_in\_compaction | | :----------: |:------------------------------------------| -| 描述 | 合并时源 Chunk 的大小小于这个值，将被解开成点进行合并 | -| 类型 | Int64 | -| 默认值 | 10240 | -| 改后生效方式 | 重启生效 | +| 描述 | 若数据块大小低于此阈值，则会被反序列化为数据点，默认值为128字节 | +| 类型 | Long | +| 默认值 | 128 | +| 改后生效方式 | 重启服务生效 | * chunk\_point\_num\_lower\_bound\_in\_compaction |名字| chunk\_point\_num\_lower\_bound\_in\_compaction | |:---:|:------------------------------------------------| -|描述| 合并时源 Chunk 的点数小于这个值，将被解开成点进行合并 | -|类型| int32 | -|默认值| 1000 | -|改后生效方式| 重启生效 | +| 描述 | 若数据块内的数据点数低于此阈值，则会被反序列化为数据点 | +| 类型 | Long | +| 默认值 | 100 | +| 改后生效方式 | 重启服务生效 | -* inner\_compaction\_total\_file\_num\_threshold - -|名字| inner\_compaction\_total\_file\_num\_threshold | -|:---:|:---| -|描述| 空间内合并中一次合并最多参与的文件数 | -|类型| int32 | -|默认值| 30| -|改后生效方式|重启生效| - -* inner\_compaction\_total\_file\_size\_threshold - -|名字| inner\_compaction\_total\_file\_size\_threshold | -|:---:|:------------------------------------------------| -|描述| 空间内合并任务最大选中文件总大小，单位：byte | -|类型| int64 | -|默认值| 10737418240 | -|改后生效方式| 热加载 | * compaction\_max\_aligned\_series\_num\_in\_one\_batch @@ -1050,7 +1069,7 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 |名字| inner\_compaction\_candidate\_file\_num | |:---:|:----------------------------------------| -|描述| 符合构成一个空间内合并任务的候选文件数量 | +|描述| 空间内合并待选文件筛选的文件数量要求 | |类型| int32 | |默认值| 30 | |改后生效方式| 热加载 | @@ -1059,7 +1078,7 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 |名字| max\_cross\_compaction\_candidate\_file\_num | |:---:|:---------------------------------------------| -|描述| 跨空间合并中一次合并最多参与的文件数 | +|描述| 跨空间合并待选文件筛选的文件数量上限 | |类型| int32 | |默认值| 500 | |改后生效方式| 热加载 | @@ -1069,11 +1088,20 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 |名字| max\_cross\_compaction\_candidate\_file\_size | |:---:|:----------------------------------------------| -|描述| 跨空间合并中一次合并最多参与的文件总大小 | -|类型| Int64 | +|描述| 跨空间合并待选文件筛选的总大小上限 | +|类型| Long | |默认值| 5368709120 | |改后生效方式| 热加载 | +- min\_cross\_compaction\_unseq\_file\_level + +| 名字 | min\_cross\_compaction\_unseq\_file\_level | +| ------------ |--------------------------------------------| +| 描述 | 可被选为待选文件的乱序文件的最小空间内合并层级 | +| 类型 | int32 | +| 默认值 | 1 | +| 改后生效方式 | 热加载 | + * compaction\_thread\_count @@ -1087,35 +1115,35 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 * compaction\_schedule\_interval\_in\_ms | 名字 | compaction\_schedule\_interval\_in\_ms | -| :----------: | :------------------------------------- | -| 描述 | 合并调度的时间间隔 | -| 类型 | Int64 | +| :----------: |:---------------------------------------| +| 描述 | 合并调度的时间间隔，单位 ms | +| 类型 | Long | | 默认值 | 60000 | -| 改后生效方式 | 重启生效 | +| 改后生效方式 | 重启生效 | * compaction\_submission\_interval\_in\_ms | 名字 | compaction\_submission\_interval\_in\_ms | -| :----------: | :--------------------------------------- | -| 描述 | 合并任务提交的间隔 | -| 类型 | Int64 | +| :----------: |:-----------------------------------------| +| 描述 | 合并任务提交的间隔 | +| 类型 | Long | | 默认值 | 60000 | -| 改后生效方式 | 重启生效 | +| 改后生效方式 | 重启生效 | * compaction\_write\_throughput\_mb\_per\_sec |名字| compaction\_write\_throughput\_mb\_per\_sec | -|:---:|:---| -|描述| 每秒可达到的写入吞吐量合并限制。| -|类型| int32 | -|默认值| 16 | -|改后生效方式| 重启生效| +|:---:|:--------------------------------------------| +|描述| 合并操作每秒可达到的写入吞吐量上限， 小于或等于 0 的取值表示无限制。 | +|类型| int32 | +|默认值| 16 | +|改后生效方式| 重启生效 | * compaction\_read\_throughput\_mb\_per\_sec | 名字 | compaction\_read\_throughput\_mb\_per\_sec | |:---------:|:-------------------------------------------| -| 描述 | 合并每秒读吞吐限制，单位为 byte，设置为 0 代表不限制 | +| 描述 | 合并每秒读吞吐限制，单位为 megabyte，小于或等于 0 的取值表示无限制 | | 类型 | int32 | | 默认值 | 0 | | Effective | 热加载 | @@ -1124,7 +1152,7 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 | 名字 | compaction\_read\_operation\_per\_sec | |:---------:|:--------------------------------------| -| 描述 | 合并每秒读操作数量限制，设置为 0 代表不限制 | +| 描述 | 合并每秒读操作数量限制，小于或等于 0 的取值表示无限制 | | 类型 | int32 | | 默认值 | 0 | | Effective | 热加载 | @@ -1138,23 +1166,24 @@ IoTDB ConfigNode 和 DataNode 的公共配置参数位于 `conf` 目录下。 |默认值| 4 | |改后生效方式| 热加载 | -* enable\_tsfile\_validation +- inner\_compaction\_task\_selection\_disk\_redundancy -| 名字 | enable\_tsfile\_validation | -|:---------:|:------------------------------| -| 描述 | Flush, Load 或合并后验证 tsfile 正确性 | -| 类型 | boolean | -| 默认值 | false | -| 改后生效方式 | 热加载 | +| 名字 | inner\_compaction\_task\_selection\_disk\_redundancy | +| ------------ |------------------------------------------------------| +| 描述 | 定义了磁盘可用空间的冗余值，仅用于内部压缩 | +| 类型 | double | +| 默认值 | 0.05 | +| 改后生效方式 | 热加载 | -* candidate\_compaction\_task\_queue\_size +- inner\_compaction\_task\_selection\_mods\_file\_threshold + +| 名字 | inner\_compaction\_task\_selection\_mods\_file\_threshold | +| ------------ |-----------------------------------------------------------| +| 描述 | 定义了mods文件大小的阈值，仅用于内部压缩。 | +| 类型 | long | +| 默认值 | 131072 | +| 改后生效方式 | 热加载 | -|名字| candidate\_compaction\_task\_queue\_size | -|:---:|:-----------------------------------------| -|描述| 合并任务优先级队列的大小 | -|类型| int32 | -|默认值| 50 | -|改后生效方式| 重启生效 | * compaction\_schedule\_thread\_num