Перейти к основному содержимому
Перейти к основному содержимому

Интеграция Confluent Cloud с ClickHouse

Предварительные требования​

Мы предполагаем, что вы знакомы с:

Официальный коннектор Kafka от ClickHouse с Confluent Cloud​

Установка на Confluent Cloud​

Это краткое руководство, чтобы помочь вам начать работу с ClickHouse Sink Connector на Confluent Cloud. Для получения дополнительной информации, пожалуйста, обратитесь к официальной документации Confluent.

Создание темы​

Создание темы на Confluent Cloud довольно просто, и есть подробные инструкции здесь.

Важные заметки​

  • Имя Kafka-темы должно совпадать с именем таблицы ClickHouse. Налаштувати это можно с помощью трансформера (например, ExtractTopic).
  • Большее количество партиций не всегда означает лучшую производительность - смотрите наше предстоящее руководство для получения дополнительных деталей и советов по производительности.

Установка коннектора​

Вы можете загрузить коннектор из нашего репозитория - пожалуйста, не стесняйтесь оставлять комментарии и проблемы там же!

Перейдите в "Connector Plugins" -> "Add plugin" и используйте следующие настройки:

Пример:

Соберите свои данные для подключения​

To connect to ClickHouse with HTTP(S) you need this information:

  • The HOST and PORT: typically, the port is 8443 when using TLS or 8123 when not using TLS.

  • The DATABASE NAME: out of the box, there is a database named default, use the name of the database that you want to connect to.

  • The USERNAME and PASSWORD: out of the box, the username is default. Use the username appropriate for your use case.

The details for your ClickHouse Cloud service are available in the ClickHouse Cloud console. Select the service that you will connect to and click Connect:

Choose HTTPS, and the details are available in an example curl command.

If you are using self-managed ClickHouse, the connection details are set by your ClickHouse administrator.

Настройка коннектора​

Перейдите в Connectors -> Add Connector и используйте следующие настройки (обратите внимание, что значения являются примерами):

Укажите конечные точки подключения​

Вам необходимо указать список разрешенных конечных точек, к которым коннектор может получить доступ. Вы должны использовать полностью квалифицированное доменное имя (FQDN) при добавлении конечных точек сетевого выхода. Пример: u57swl97we.eu-west-1.aws.clickhouse.com:8443

примечание

Вы должны указать порт HTTP(S). Коннектор пока не поддерживает нативный протокол.

Читать документацию.

Вы на верном пути!

Известные ограничения​