capusule mina logic on shard and introduce filter to set MDC #3511
Conversation
…naged objects to the environments lifecycle is not threadsafe
backend/src/main/java/com/bakdata/conquery/commands/DistributedStandaloneCommand.java
Show resolved
Hide resolved
backend/src/main/java/com/bakdata/conquery/commands/DistributedStandaloneCommand.java
Show resolved
Hide resolved
| getConfig().getQueries().getSecondaryIdSubPlanRetention() | ||
| ); | ||
| clusterConnection = | ||
| new ClusterConnectionShard(config, environment, workers, () -> createInternalObjectMapper(View.InternalCommunication.class, config, environment.getValidator())); |
There was a problem hiding this comment.
mir gefällt nicht, dass du die gleiche logik - die subtile fehleranfälligkeiten haben kann zweimal implementierst. Könntest du das eventuell an interface binden und mehrere male this angeben?
Also PersistenceMaperFactory und ClusterCommunicationMapperFactory
There was a problem hiding this comment.
Das war etwas mehr aufzuräumen, ich habe einen extra PR gemacht: #3528
dem muss ich aber noch mergen rebasen nach dem hier
backend/src/main/java/com/bakdata/conquery/mode/cluster/ClusterConnectionShard.java
Outdated
Show resolved
Hide resolved
| @Override | ||
| public void start() throws Exception { | ||
|
|
||
| for (Worker value : getWorkers().values()) { |
There was a problem hiding this comment.
ich weiß ehrlich gesagt gar nicht warum das existiert hat, das ist im Grunde ein Bug. Würde es einfach löschen?
There was a problem hiding this comment.
Ich denke, wir hatten mal das Problem, dass nach einem update nicht alle Buckets deserializiert werden konnten (da hatten wir vielleicht noch nicht die StorageStatistics).
Beim Entwickeln des Cachings hat es mich einmal auf einen Fehler aufmerksam gemacht, weil auf einmal alle CBlocks neuberechnet wurden beim Restart.
Ich würd es es als Consistency-Test erstmal drinne lassen.
backend/src/test/java/com/bakdata/conquery/util/support/TestConquery.java
Show resolved
Hide resolved
backend/src/test/java/com/bakdata/conquery/util/support/TestConquery.java
Show resolved
Hide resolved
…re/refactor-shard-mina
No description provided.