[jira] [Created] (FLINK-16481) flink-kafka-connector 支持动态扩缩容

[Shang Yuanchun (Jira)]

likang created FLINK-16481:
------------------------------

             Summary: flink-kafka-connector 支持动态扩缩容
                 Key: FLINK-16481
                 URL: https://issues.apache.org/jira/browse/FLINK-16481
             Project: Flink
          Issue Type: Improvement
          Components: API / Core
            Reporter: likang


      社区版本的Flink-kafka-connector的 source和sink在动态扩缩容时都没有kafka元数据的感知能力。

     1.flink-kafka-producer的写数据，元数据的map是没有定时更新，只在Task第一次发送数据时有元数据的更新操作。

   2.Flink-kafka-consumer,目前的的AbstractPartitionDiscoverer存在Bug，数据消费的线程和discoverer的线程使用了两个Kafka-consumer的对象，而Kafka-consumer的元数据更新需要poll函数触发，故目前扩容时，Source也是无法感知到元数据变化的。



--
This message was sent by Atlassian Jira
(v8.3.4#803005)