BSONEachRow
| Вход | Выход | Псевдоним |
|---|---|---|
| ✔ | ✔ |
Описание
Формат BSONEachRow парсит данные как последовательность документов Binary JSON (BSON) без какого-либо разделителя между ними. Каждая строка форматируется как единственный документ, а каждая колонка форматируется как одно поле документа BSON с именем колонки в качестве ключа.
Соответствие типов данных
Для вывода используется следующее соответствие между типами ClickHouse и типами BSON:
| Тип ClickHouse | Тип BSON |
|---|---|
| Bool | \x08 булевый |
| Int8/UInt8/Enum8 | \x10 int32 |
| Int16/UInt16/Enum16 | \x10 int32 |
| Int32 | \x10 int32 |
| UInt32 | \x12 int64 |
| Int64/UInt64 | \x12 int64 |
| Float32/Float64 | \x01 double |
| Date/Date32 | \x10 int32 |
| DateTime | \x12 int64 |
| DateTime64 | \x09 datetime |
| Decimal32 | \x10 int32 |
| Decimal64 | \x12 int64 |
| Decimal128 | \x05 binary, \x00 двоичный подкласс, размер = 16 |
| Decimal256 | \x05 binary, \x00 двоичный подкласс, размер = 32 |
| Int128/UInt128 | \x05 binary, \x00 двоичный подкласс, размер = 16 |
| Int256/UInt256 | \x05 binary, \x00 двоичный подкласс, размер = 32 |
| String/FixedString | \x05 binary, \x00 двоичный подкласс или \x02 строка, если настройка output_format_bson_string_as_string включена |
| UUID | \x05 binary, \x04 uuid подкласс, размер = 16 |
| Array | \x04 массив |
| Tuple | \x04 массив |
| Named Tuple | \x03 документ |
| Map | \x03 документ |
| IPv4 | \x10 int32 |
| IPv6 | \x05 binary, \x00 двоичный подкласс |
Для ввода используется следующее соответствие между типами BSON и типами ClickHouse:
| Тип BSON | Тип ClickHouse |
|---|---|
\x01 double | Float32/Float64 |
\x02 string | String/FixedString |
\x03 document | Map/Named Tuple |
\x04 array | Array/Tuple |
\x05 binary, \x00 двоичный подкласс | String/FixedString/IPv6 |
\x05 binary, \x02 старый двоичный подкласс | String/FixedString |
\x05 binary, \x03 старый uuid подкласс | UUID |
\x05 binary, \x04 uuid подкласс | UUID |
\x07 ObjectId | String/FixedString |
\x08 булевый | Bool |
\x09 datetime | DateTime64 |
\x0A нулевое значение | NULL |
\x0D код JavaScript | String/FixedString |
\x0E символ | String/FixedString |
\x10 int32 | Int32/UInt32/Decimal32/IPv4/Enum8/Enum16 |
\x12 int64 | Int64/UInt64/Decimal64/DateTime64 |
Другие типы BSON не поддерживаются. Кроме того, производится преобразование между различными целочисленными типами. Например, возможно вставить значение BSON int32 в ClickHouse как UInt8.
Большие целые числа и десятичные числа, такие как Int128/UInt128/Int256/UInt256/Decimal128/Decimal256, могут быть распознаны из двоичного значения BSON с подтипом \x00. В этом случае формат будет проверять, что размер бинарных данных равен размеру ожидаемого значения.
Этот формат не работает должным образом на платформах Big-Endian.
Пример использования
Настройки формата
| Настройка | Описание | По умолчанию |
|---|---|---|
output_format_bson_string_as_string | Использовать тип BSON String вместо Binary для строковых колонок. | false |
input_format_bson_skip_fields_with_unsupported_types_in_schema_inference | Позволить пропускать колонки с неподдерживаемыми типами во время вывода схемы для формата BSONEachRow. | false |