Экспериментальным путём обнаружил следующую вещь: для невидимых контролов лучше ставить Visibility не Hidden, а Collapsed. Это очень сильно влияет на производительность в случае, когда они меняют размеры, особенно если используются в СontrolTemplate.
А вообще, наконец-то, оценил всю мощь DataTemplate: писать такие вещи парой строчек кода - это круто. Но что-то производительность меня не очень радует, хотя основную часть я конечно оптимизировал.