Сколько занимает один параметр? Чаще всего, тип параметра - это float16. Стало быть, два байта на параметр.
Соответственно, один триллион параметров - это 2 терабайта (2 триллиона байт, бишь).
Во-первых, 2 терабайта это как-то слишком слабо, чтобы это надо было шардить на несколько датацентров, во-вторых, такая линия полностью синхронизирует всю модель за 0.053(3) секунды, если не брать во внимание ограничения шины, в-третьих - если понадобится что-то синхронизировать, я сомневаюсь, что синкать будут модель целиком, скорее всего пересылать будут дельту со смещениями.