demo marimo

%22%22%22%0Ademo_marimo.py%20%E2%80%94%20%22The%20Shape%20of%20Closeness%22%0A%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0AInteractive%20marimo%20app%20for%20the%20MAA%20talk.%0A%0ARun%3A%20%20marimo%20run%20%20demo%2Fdemo_marimo.py%0AEdit%3A%20marimo%20edit%20demo%2Fdemo_marimo.py%0A%22%22%22%0A%0A%23%20%2F%2F%2F%20script%0A%23%20dependencies%20%3D%20%5B%22plotly%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.8%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Adef%20_demo_utils_source()%3A%0A%20%20%20%20%23%20demo_utils.py%20embedded%20as%20base64%20so%20the%20WASM%20build%20needs%20no%20network%20call.%0A%20%20%20%20DEMO_UTILS_B64%20%3D%20(%0A%20%20%20%20%20%20%20%20%22IiIiCmRlbW9fdXRpbHMucHkg4oCUIEFsbCBkaXN0YW5jZSBmdW5jdGlvbnMsIGNsdXN0ZXJpbmcgYWxnb3JpdGhtcywgdmFsaWRhdGlvbiBmdW5jdGlvbnMsCmRhdGEgbG9hZGVycywgYW5kIG1hdHBsb3RsaWIgdGhlbWUgaGVscGVycyBmb3IgIlRoZSBTaGFwZSBvZiBDbG9zZW5lc3MiIGRlbW8uCgpBbGwgY2x1c3RlcmluZyBmdW5jdGlvbnMgcmV0dXJuIChsYWJlbHMsIGNlbnRlcnMsIGhpc3RvcnkpLgpHTU0gZnVuY3Rpb25zIHJldHVybiBoYXJkIGFzc2lnbm1lbnRzIChhcmdtYXggb2YgcmVzcG9uc2liaWxpdGllcykgYXMgbGFiZWxzLgpQdXJlIG51bXB5IG9ubHkgKG5vIHNrbGVhcm4pLgoiIiIKCmltcG9ydCBudW1weSBhcyBucAppbXBvcnQgbWF0cGxvdGxpYi5weXBsb3QgYXMgcGx0CmltcG9ydCBtYXRwbG90bGliLmNvbG9ycyBhcyBtY29sb3JzCmltcG9ydCBpbwppbXBvcnQgb3MKCmZyb20gc2NpcHkuc3BlY2lhbCBpbXBvcnQgaXZlLCBpMGUKCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACiMgQ09OU1RBTlRTCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACgpDTFVTVEVSX0NPTE9SUyA9IFsKICAgICcjQzYyODI4JywgICMgZGVlcCByZWQKICAgICcjMTU2NUMwJywgICMgZGVlcCBibHVlCiAgICAnIzJFN0QzMicsICAjIGRlZXAgZ3JlZW4KICAgICcjRTY1MTAwJywgICMgZGVlcCBvcmFuZ2UKICAgICcjNkExQjlBJywgICMgZGVlcCBwdXJwbGUKICAgICcjQUQxNDU3JywgICMgZGVlcCByb3NlCiAgICAnIzAwNjk1QycsICAjIGRlZXAgdGVhbAogICAgJyM4Mjc3MTcnLCAgIyBvbGl2ZQogICAgJyMyODM1OTMnLCAgIyBkZWVwIGluZGlnbwogICAgJyM0RTM0MkUnLCAgIyBkYXJrIGJyb3duCl0KClJfTUFKT1IgPSAzLjAgICAjIHRvcnVzIG1ham9yIHJhZGl1cyAoM0QgZW1iZWRkaW5nKQpSX01JTk9SID0gMS4wICAgIyB0b3J1cyBtaW5vciByYWRpdXMgKDNEIGVtYmVkZGluZykKCkNMSU1BVEVTID0gWyd0cm9waWNhbCcsICdhcmlkJywgJ3RlbXBlcmF0ZScsICdjb250aW5lbnRhbCcsICdwb2xhciddCgojIOKUgOKUgCBSZW1vdGUgZGF0YXNldCBVUkxzIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgApfU1BIRVJFX1VSTFMgPSB7CiAgICAnZWFydGhxdWFrZXMnOiAnaHR0cHM6Ly9lYXJ0aHF1YWtlLnVzZ3MuZ292L2VhcnRocXVha2VzL2ZlZWQvdjEuMC9zdW1tYXJ5LzIuNV9tb250aC5jc3YnLAogICAgJ21ldGVvcml0ZXMnOiAgJ2h0dHBzOi8vcmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbS9jdmFsZW56dWVsYS9NYXBwYS9tYXN0ZXIvdHV0b3JpYWxzL2Jhc2ljL01ldGVvcml0ZV9MYW5kaW5ncy5jc3YnLAogICAgJ2FpcnBvcnRzJzogICAgJ2h0dHBzOi8vcmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbS9qcGF0b2thbC9vcGVuZmxpZ2h0cy9tYXN0ZXIvZGF0YS9haXJwb3J0cy5kYXQnLAp9Cl9GRUFUX1VSTFMgPSB7CiAgICAncGVuZ3VpbnMnOiAnaHR0cHM6Ly9yYXcuZ2l0aHVidXNlcmNvbnRlbnQuY29tL2FsbGlzb25ob3JzdC9wYWxtZXJwZW5ndWlucy9tYXN0ZXIvaW5zdC9leHRkYXRhL3Blbmd1aW5zLmNzdicsCiAgICAnaXJpcyc6ICAgICAnaHR0cHM6Ly9naXN0LmdpdGh1YnVzZXJjb250ZW50LmNvbS9jdXJyYW4vYTA4YTEwODBiODgzNDRiMGM4YTcvcmF3LzBlN2E5YjBhNWQyMjY0MmEwNmQzZDViOWJjYmFkOTg5MGM4ZWU1MzQvaXJpcy5jc3YnLAp9CgpTUEhFUkVfREFUQVNFVF9MQUJFTFMgPSB7CiAgICAnZWFydGhxdWFrZXMnOiAnVVNHUyBFYXJ0aHF1YWtlcyAoTTIuNSssIHBhc3QgMzAgZGF5cyknLAogICAgJ21ldGVvcml0ZXMnOiAgJ05BU0EgTWV0ZW9yaXRlIExhbmRpbmdzJywKICAgICdhaXJwb3J0cyc6ICAgICdHbG9iYWwgQWlycG9ydHMgKE9wZW5GbGlnaHRzKScsCiAgICAnc3ludGhldGljJzogICAnU3ludGhldGljIHNwaGVyZSBjbHVzdGVycycsCn0KRkVBVF9EQVRBU0VUX0xBQkVMUyA9IHsKICAgICdwZW5ndWlucyc6ICdQYWxtZXIgUGVuZ3VpbnMgKDMgc3BlY2llcyknLAogICAgJ2lyaXMnOiAgICAgJ0lyaXMgKDMgc3BlY2llcyknLAogICAgJ3N5bnRoZXRpYyc6ICdTeW50aGV0aWMgRXVjbGlkZWFuIGNsdXN0ZXJzJywKfQoKCmRlZiBkb3dubG9hZF9pZl9taXNzaW5nKHVybCwgbG9jYWxfcGF0aCk6CiAgICAiIiJEb3dubG9hZCAqdXJsKiB0byAqbG9jYWxfcGF0aCogaWYgdGhlIGZpbGUgZG9lcyBub3QgYWxyZWFkeSBleGlzdC4iIiIKICAgIGlmIG5vdCBvcy5wYXRoLmV4aXN0cyhsb2NhbF9wYXRoKToKICAgICAgICBpbXBvcnQgdXJsbGliLnJlcXVlc3QKICAgICAgICBvcy5tYWtlZGlycyhvcy5wYXRoLmRpcm5hbWUobG9jYWxfcGF0aCksIGV4aXN0X29rPVRydWUpCiAgICAgICAgdXJsbGliLnJlcXVlc3QudXJscmV0cmlldmUodXJsLCBsb2NhbF9wYXRoKQpURVJSQUlOUyA9IFsnY29hc3RhbCcsICdtb3VudGFpbicsICdwbGFpbnMnLCAnZm9yZXN0J10KCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACiMgVEhFTUUgSEVMUEVSUyAgKEFyY3RpYyDigJQgbGlnaHQpCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACgpCR19GSUdVUkUgPSAnI0Y3RjlGQycKQkdfQVhFUyAgID0gJyNGRkZGRkYnCgpkZWYgc2V0dXBfZGFya190aGVtZSgpOgogICAgIiIiQXBwbHkgQXJjdGljIGxpZ2h0IHRoZW1lIGZvciBhbGwgbWF0cGxvdGxpYiBmaWd1cmVzLiIiIgogICAgcGx0LnN0eWxlLnVzZSgnZGVmYXVsdCcpCiAgICBwbHQucmNQYXJhbXMudXBkYXRlKHsKICAgICAgICAnZmlndXJlLmZhY2Vjb2xvcic6ICBCR19GSUdVUkUsCiAgICAgICAgJ2F4ZXMuZmFjZWNvbG9yJzogICAgQkdfQVhFUywKICAgICAgICAnYXhlcy5lZGdlY29sb3InOiAgICAnI0QwRDdFMycsCiAgICAgICAgJ2F4ZXMubGFiZWxjb2xvcic6ICAgJyMxQTIwMzAnLAogICAgICAgICd4dGljay5jb2xvcic6ICAgICAgICcjNEE1NTY4JywKICAgICAgICAneXRpY2suY29sb3InOiAgICAgICAnIzRBNTU2OCcsCiAgICAgICAgJ3RleHQuY29sb3InOiAgICAgICAgJyMxQTIwMzAnLAogICAgICAgICdncmlkLmNvbG9yJzogICAgICAgICcjRDBEN0UzJywKICAgICAgICAnZ3JpZC5hbHBoYSc6ICAgICAgICAwLjcsCiAgICAgICAgJ2xlZ2VuZC5mYWNlY29sb3InOiAgJyNGRkZGRkYnLAogICAgICAgICdsZWdlbmQuZWRnZWNvbG9yJzogICcjRDBEN0UzJywKICAgIH0pCgoKZGVmIGZpZ190b19wbmcoZmlnKToKICAgICIiIkNvbnZlcnQgYSBtYXRwbG90bGliIGZpZ3VyZSB0byBQTkcgYnl0ZXMgZm9yIGVtYmVkZGluZyBpbiBtYXJpbW8uIiIiCiAgICBidWYgPSBpby5CeXRlc0lPKCkKICAgIGZpZy5zYXZlZmlnKGJ1ZiwgZm9ybWF0PSdwbmcnLCBiYm94X2luY2hlcz0ndGlnaHQnLCBmYWNlY29sb3I9ZmlnLmdldF9mYWNlY29sb3IoKSkKICAgIGJ1Zi5zZWVrKDApCiAgICByZXR1cm4gYnVmLnJlYWQoKQoKCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACiMgRElTVEFOQ0UgRlVOQ1RJT05TCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACgpkZWYgaGF2ZXJzaW5lKGxhdDEsIGxvbjEsIGxhdDIsIGxvbjIsIHI9MS4wKToKICAgICIiIgogICAgR3JlYXQtY2lyY2xlIGRpc3RhbmNlIG9uIGEgc3BoZXJlIG9mIHJhZGl1cyByIHVzaW5nIHRoZSBIYXZlcnNpbmUgZm9ybXVsYS4KICAgIEFsbCBhbmdsZXMgaW4gcmFkaWFucy4gV29ya3MgZWxlbWVudC13aXNlIG9uIGFycmF5cy4KICAgICIiIgogICAgZGxhdCA9IGxhdDIgLSBsYXQxCiAgICBkbG9uID0gbG9uMiAtIGxvbjEKICAgIGEgPSBucC5zaW4oZGxhdCAvIDIuMCkqKjIgKyBucC5jb3MobGF0MSkgKiBucC5jb3MobGF0MikgKiBucC5zaW4oZGxvbiAvIDIuMCkqKjIKICAgIHJldHVybiAyICogciAqIG5wLmFyY3NpbihucC5zcXJ0KG5wLmNsaXAoYSwgMCwgMSkpKQoKCmRlZiBwb2luY2FyZV9kaXN0YW5jZSh1LCB2KToKICAgICIiIgogICAgSHlwZXJib2xpYyBkaXN0YW5jZSBpbiB0aGUgUG9pbmNhcmUgZGlzayBtb2RlbC4KICAgIGQodSx2KSA9IGFyY2Nvc2goMSArIDJ8fHUtdnx8XjIgLyAoKDEtfHx1fHxeMikoMS18fHZ8fF4yKSkpCiAgICB1LCB2OiBhcnJheXMgb2Ygc2hhcGUgKC4uLiwgMikuIFJldHVybnMgYXJyYXkgb2YgZGlzdGFuY2VzLgogICAgIiIiCiAgICB1ID0gbnAuYXNhcnJheSh1LCBkdHlwZT1ucC5mbG9hdDY0KQogICAgdiA9IG5wLmFzYXJyYXkodiwgZHR5cGU9bnAuZmxvYXQ2NCkKICAgIGRpZmZfc3EgPSBucC5zdW0oKHUgLSB2KSoqMiwgYXhpcz0tMSkKICAgIHVfc3EgPSBucC5zdW0odSoqMiwgYXhpcz0tMSkKICAgIHZfc3EgPSBucC5zdW0odioqMiwgYXhpcz0tMSkKICAgIGRlbm9tID0gbnAuY2xpcCgoMSAtIHVfc3EpICogKDEgLSB2X3NxKSwgMWUtMTUsIE5vbmUpCiAgICBhcmcgPSBucC5jbGlwKDEgKyAyICogZGlmZl9zcSAvIGRlbm9tLCAxLjAsIE5vbmUpCiAgICByZXR1cm4gbnAuYXJjY29zaChhcmcpCgoKZGVmIHRvcnVzX2Rpc3RhbmNlKHUsIHYsIHBlcmlvZD0yICogbnAucGkpOgogICAgIiIiCiAgICBGbGF0IHRvcnVzIGRpc3RhbmNlOiBtaW4ofGR8LCBwZXJpb2QtfGR8KSBwZXIgZGltZW5zaW9uLCB0aGVuIEV1Y2xpZGVhbiBub3JtLgogICAgdSwgdjogYXJyYXlzIG9mIHNoYXBlICgyLCkgb3IgKE4sIDIpLiBSZXR1cm5zIHNjYWxhciBvciAoTiwpIGFycmF5LgogICAgIiIiCiAgICBkaWZmID0gbnAuYWJzKHUgLSB2KQogICAgd3JhcHBlZCA9IG5wLm1pbmltdW0oZGlmZiwgcGVyaW9kIC0gZGlmZikKICAgIHJldHVybiBucC5zcXJ0KG5wLnN1bSh3cmFwcGVkKioyLCBheGlzPS0xKSkKCgpkZWYgbWlua293c2tpX2Rpc3RhbmNlKHUsIHYsIHA9Mik6CiAgICAiIiIKICAgIE1pbmtvd3NraSBMcCBkaXN0YW5jZSBiZXR3ZWVuIHUgYW5kIHYuCiAgICBGb3IgcCA%2BPSAxMDAsIHVzZXMgQ2hlYnlzaGV2IChMLWluZmluaXR5KS4gV29ya3MgZWxlbWVudC13aXNlIG9uIGFycmF5cy4KICAgICIiIgogICAgZGlmZiA9IG5wLmFicyh1IC0gdikKICAgIGlmIHAgPj0gMTAwOgogICAgICAgIHJldHVybiBucC5tYXgoZGlmZiwgYXhpcz0tMSkKICAgIHJldHVybiBucC5zdW0oZGlmZioqcCwgYXhpcz0tMSkgKiogKDEuMCAvIHApCgoKZGVmIG1haGFsYW5vYmlzX2Rpc3RhbmNlKHUsIHYsIGNvdl9pbnYpOgogICAgIiIiCiAgICBNYWhhbGFub2JpcyBkaXN0YW5jZSBiZXR3ZWVuIHUgYW5kIHYgZ2l2ZW4gaW52ZXJzZSBjb3ZhcmlhbmNlIGNvdl9pbnYuCiAgICB1OiAoTiwgRCkgb3IgKEQsKTsgdjogKEQsKS4gUmV0dXJucyBzY2FsYXIgb3IgKE4sKSBhcnJheS4KICAgICIiIgogICAgZGlmZiA9IHUgLSB2CiAgICBpZiBkaWZmLm5kaW0gPT0gMToKICAgICAgICByZXR1cm4gbnAuc3FydChkaWZmIEAgY292X2ludiBAIGRpZmYpCiAgICByZXR1cm4gbnAuc3FydChucC5zdW0oKGRpZmYgQCBjb3ZfaW52KSAqIGRpZmYsIGF4aXM9MSkpCgoKIyDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKIyBDT09SRElOQVRFIFRSQU5TRk9STVMKIyDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKCmRlZiBsYXRsb25fdG9fY2FydGVzaWFuKGxhdCwgbG9uLCByPTEuMCk6CiAgICAiIiJDb252ZXJ0IGxhdC9sb24gaW4gcmFkaWFucyB0byAzRCBDYXJ0ZXNpYW4gY29vcmRpbmF0ZXMgb24gc3BoZXJlIG9mIHJhZGl1cyByLiIiIgogICAgeCA9IHIgKiBucC5jb3MobGF0KSAqIG5wLmNvcyhsb24pCiAgICB5ID0gciAqIG5wLmNvcyhsYXQpICogbnAuc2luKGxvbikKICAgIHogPSByICogbnAuc2luKGxhdCkKICAgIHJldHVybiB4LCB5LCB6CgoKZGVmIGNhcnRlc2lhbl90b19sYXRsb24oeCwgeSwgeik6CiAgICAiIiJDb252ZXJ0IDNEIENhcnRlc2lhbiBjb29yZGluYXRlcyB0byBsYXQvbG9uIGluIHJhZGlhbnMuIiIiCiAgICBub3JtID0gbnAuc3FydCh4KioyICsgeSoqMiArIHoqKjIgKyAxZS0xNikKICAgIGxhdCA9IG5wLmFyY3NpbihucC5jbGlwKHogLyBub3JtLCAtMSwgMSkpCiAgICBsb24gPSBucC5hcmN0YW4yKHksIHgpCiAgICByZXR1cm4gbGF0LCBsb24KCgpkZWYgdG9ydXNfdG9fM2QodGhldGEsIHBoaSwgUj1SX01BSk9SLCByPVJfTUlOT1IpOgogICAgIiIiCiAgICBNYXAgZmxhdCB0b3J1cyBjb29yZGluYXRlcyAodGhldGEsIHBoaSkgdG8gM0QgZW1iZWRkaW5nLgogICAgdGhldGE6IGFuZ2xlIGFyb3VuZCB0dWJlIChzbWFsbCBjaXJjbGUpOyBwaGk6IGFuZ2xlIGFyb3VuZCBob2xlIChiaWcgY2lyY2xlKS4KICAgICIiIgogICAgeCA9IChSICsgciAqIG5wLmNvcyh0aGV0YSkpICogbnAuY29zKHBoaSkKICAgIHkgPSAoUiArIHIgKiBucC5jb3ModGhldGEpKSAqIG5wLnNpbihwaGkpCiAgICB6ID0gciAqIG5wLnNpbih0aGV0YSkKICAgIHJldHVybiB4LCB5LCB6CgoKZGVmIG1vYml1c19hZGRpdGlvbihhLCBiKToKICAgICIiIgogICAgTW9iaXVzIGFkZGl0aW9uIGEgKyBiIGluIHRoZSBQb2luY2FyZSBkaXNrIChoeXBlcmJvbGljIHZlY3RvciBhZGRpdGlvbikuCiAgICBhLCBiOiBhcnJheXMgb2Ygc2hhcGUgKC4uLiwgMikuIFJlc3VsdCBpcyBjbGlwcGVkIHRvIHN0YXkgaW5zaWRlIHRoZSB1bml0IGRpc2suCiAgICAiIiIKICAgIGEgPSBucC5hc2FycmF5KGEsIGR0eXBlPW5wLmZsb2F0NjQpCiAgICBiID0gbnAuYXNhcnJheShiLCBkdHlwZT1ucC5mbG9hdDY0KQogICAgYV9kb3RfYiA9IG5wLnN1bShhICogYiwgYXhpcz0tMSwga2VlcGRpbXM9VHJ1ZSkKICAgIGFfc3EgPSBucC5zdW0oYSoqMiwgYXhpcz0tMSwga2VlcGRpbXM9VHJ1ZSkKICAgIGJfc3EgPSBucC5zdW0oYioqMiwgYXhpcz0tMSwga2VlcGRpbXM9VHJ1ZSkKICAgIG51bWVyYXRvciA9ICgxICsgMiAqIGFfZG90X2IgKyBiX3NxKSAqIGEgKyAoMSAtIGFfc3EpICogYgogICAgZGVub21pbmF0b3IgPSAxICsgMiAqIGFfZG90X2IgKyBhX3NxICogYl9zcQogICAgcmVzdWx0ID0gbnVtZXJhdG9yIC8gZGVub21pbmF0b3IKICAgIG5vcm0gPSBucC5zcXJ0KG5wLnN1bShyZXN1bHQqKjIsIGF4aXM9LTEsIGtlZXBkaW1zPVRydWUpKQogICAgcmVzdWx0ID0gbnAud2hlcmUobm9ybSA%2BIDAuOTk5LCByZXN1bHQgKiAwLjk5OSAvIG5vcm0sIHJlc3VsdCkKICAgIHJldHVybiByZXN1bHQKCgpkZWYgcG9pbmNhcmVfdG9fa2xlaW4ocCk6CiAgICAiIiJNYXAgcG9pbnRzIGZyb20gUG9pbmNhcmUgZGlzayB0byBLbGVpbiBkaXNrIG1vZGVsLiIiIgogICAgcCA9IG5wLmFzYXJyYXkocCwgZHR5cGU9bnAuZmxvYXQ2NCkKICAgIHBfc3EgPSBucC5zdW0ocCoqMiwgYXhpcz0tMSwga2VlcGRpbXM9VHJ1ZSkKICAgIHJldHVybiAyICogcCAvICgxICsgcF9zcSkKCgpkZWYga2xlaW5fdG9fcG9pbmNhcmUoayk6CiAgICAiIiJNYXAgcG9pbnRzIGZyb20gS2xlaW4gZGlzayB0byBQb2luY2FyZSBkaXNrIG1vZGVsLiIiIgogICAgayA9IG5wLmFzYXJyYXkoaywgZHR5cGU9bnAuZmxvYXQ2NCkKICAgIGtfc3EgPSBucC5zdW0oayoqMiwgYXhpcz0tMSwga2VlcGRpbXM9VHJ1ZSkKICAgIGRlbm9tID0gMSArIG5wLnNxcnQobnAuY2xpcCgxIC0ga19zcSwgMWUtMTUsIE5vbmUpKQogICAgcmV0dXJuIGsgLyBkZW5vbQoKCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACiMgQ0VOVFJPSUQgRlVOQ1RJT05TCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACgpkZWYgc3BoZXJpY2FsX21lYW4obGF0cywgbG9ucyk6CiAgICAiIiIKICAgIFNwaGVyaWNhbCBtZWFuIG9mIGxhdC9sb24gcG9pbnRzIChyYWRpYW5zKTogY29udmVydCB0byBDYXJ0ZXNpYW4sIGF2ZXJhZ2UsIHByb2plY3QgYmFjay4KICAgIFJldHVybnMgKG1lYW5fbGF0LCBtZWFuX2xvbikgaW4gcmFkaWFucy4KICAgICIiIgogICAgeCwgeSwgeiA9IGxhdGxvbl90b19jYXJ0ZXNpYW4obGF0cywgbG9ucykKICAgIG14LCBteSwgbXogPSBucC5tZWFuKHgpLCBucC5tZWFuKHkpLCBucC5tZWFuKHopCiAgICBub3JtID0gbnAuc3FydChteCoqMiArIG15KioyICsgbXoqKjIpCiAgICBpZiBub3JtIDwgMWUtMTA6CiAgICAgICAgcmV0dXJuIGxhdHNbMF0sIGxvbnNbMF0KICAgIHJldHVybiBjYXJ0ZXNpYW5fdG9fbGF0bG9uKG14IC8gbm9ybSwgbXkgLyBub3JtLCBteiAvIG5vcm0pCgoKZGVmIGNpcmN1bGFyX21lYW4oYW5nbGVzLCBwZXJpb2Q9MiAqIG5wLnBpKToKICAgICIiIgogICAgQ2lyY3VsYXIgKGFuZ3VsYXIpIG1lYW4gb2YgYW5nbGVzLCBjb3JyZWN0bHkgaGFuZGxpbmcgd3JhcGFyb3VuZC4KICAgIFJldHVybnMgbWVhbiBpbiBbMCwgcGVyaW9kKS4KICAgICIiIgogICAgbm9ybWFsaXplZCA9IGFuZ2xlcyAqICgyICogbnAucGkgLyBwZXJpb2QpCiAgICBtZWFuX3NpbiA9IG5wLm1lYW4obnAuc2luKG5vcm1hbGl6ZWQpKQogICAgbWVhbl9jb3MgPSBucC5tZWFuKG5wLmNvcyhub3JtYWxpemVkKSkKICAgIHJldHVybiAobnAuYXJjdGFuMihtZWFuX3NpbiwgbWVhbl9jb3MpICogcGVyaW9kIC8gKDIgKiBucC5waSkpICUgcGVyaW9kCgoKZGVmIHRvcnVzX2NlbnRyb2lkKHBvaW50cywgcGVyaW9kPTIgKiBucC5waSk6CiAgICAiIiJUb3J1cyBjZW50cm9pZDogYXBwbHkgY2lyY3VsYXJfbWVhbiBpbmRlcGVuZGVudGx5IHRvIGVhY2ggYW5ndWxhciBkaW1lbnNpb24uIiIiCiAgICByZXR1cm4gbnAuYXJyYXkoWwogICAgICAgIGNpcmN1bGFyX21lYW4ocG9pbnRzWzosIDBdLCBwZXJpb2QpLAogICAgICAgIGNpcmN1bGFyX21lYW4ocG9pbnRzWzosIDFdLCBwZXJpb2QpLAogICAgXSkKCgpkZWYgZWluc3RlaW5fbWlkcG9pbnQocG9pbnRzKToKICAgICIiIgogICAgSHlwZXJib2xpYyBjZW50cm9pZCAoRWluc3RlaW4gbWlkcG9pbnQpIG9mIHBvaW50cyBpbiB0aGUgUG9pbmNhcmUgZGlzay4KICAgIEFsZ29yaXRobTogUG9pbmNhcmUgLT4gS2xlaW4sIExvcmVudHotd2VpZ2h0ZWQgYXZlcmFnZSwgS2xlaW4gLT4gUG9pbmNhcmUuCiAgICAiIiIKICAgIHBvaW50cyA9IG5wLmFzYXJyYXkocG9pbnRzLCBkdHlwZT1ucC5mbG9hdDY0KQogICAgcF9zcSA9IG5wLnN1bShwb2ludHMqKjIsIGF4aXM9LTEpCiAgICBnYW1tYSA9IDEuMCAvIG5wLnNxcnQobnAuY2xpcCgxIC0gcF9zcSwgMWUtMTUsIE5vbmUpKQogICAga2xlaW5fcHRzID0gcG9pbmNhcmVfdG9fa2xlaW4ocG9pbnRzKQogICAgd2VpZ2h0ZWRfc3VtID0gbnAuc3VtKGdhbW1hWzosIG5wLm5ld2F4aXNdICoga2xlaW5fcHRzLCBheGlzPTApCiAgICBrbGVpbl9tZWFuID0gd2VpZ2h0ZWRfc3VtIC8gbnAuc3VtKGdhbW1hKQogICAga21fbm9ybSA9IG5wLmxpbmFsZy5ub3JtKGtsZWluX21lYW4pCiAgICBpZiBrbV9ub3JtID49IDEuMDoKICAgICAgICBrbGVpbl9tZWFuID0ga2xlaW5fbWVhbiAqIDAuOTk5IC8ga21fbm9ybQogICAgcmV0dXJuIGtsZWluX3RvX3BvaW5jYXJlKGtsZWluX21lYW4pCgoKZGVmIHdlaWdodGVkX2VpbnN0ZWluX21pZHBvaW50KHBvaW50cywgd2VpZ2h0cyk6CiAgICAiIiIKICAgIFdlaWdodGVkIEVpbnN0ZWluIG1pZHBvaW50IChoeXBlcmJvbGljIGNlbnRyb2lkKSBmb3IgR01NIE0tc3RlcC4KICAgIHdlaWdodHM6IChOLCkgcmVzcG9uc2liaWxpdHkgYXJyYXkuIFJldHVybnMgKDIsKSBQb2luY2FyZSBkaXNrIHBvaW50LgogICAgIiIiCiAgICBwb2ludHMgPSBucC5hc2FycmF5KHBvaW50cywgZHR5cGU9bnAuZmxvYXQ2NCkKICAgIHdlaWdodHMgPSBucC5hc2FycmF5KHdlaWdodHMsIGR0eXBlPW5wLmZsb2F0NjQpCiAgICBwX3NxID0gbnAuc3VtKHBvaW50cyoqMiwgYXhpcz0tMSkKICAgIGdhbW1hID0gMS4wIC8gbnAuc3FydChucC5jbGlwKDEgLSBwX3NxLCAxZS0xNSwgTm9uZSkpCiAgICBrbGVpbl9wdHMgPSBwb2luY2FyZV90b19rbGVpbihwb2ludHMpCiAgICBjb21iaW5lZCA9IGdhbW1hICogd2VpZ2h0cwogICAgdG90YWwgPSBucC5zdW0oY29tYmluZWQpCiAgICBpZiB0b3RhbCA8IDFlLTE1OgogICAgICAgIHJldHVybiBucC5hcnJheShbMC4wLCAwLjBdKQogICAga2xlaW5fbWVhbiA9IG5wLnN1bShjb21iaW5lZFs6LCBucC5uZXdheGlzXSAqIGtsZWluX3B0cywgYXhpcz0wKSAvIHRvdGFsCiAgICBrbV9ub3JtID0gbnAubGluYWxnLm5vcm0oa2xlaW5fbWVhbikKICAgIGlmIGttX25vcm0gPj0gMS4wOgogICAgICAgIGtsZWluX21lYW4gPSBrbGVpbl9tZWFuICogMC45OTkgLyBrbV9ub3JtCiAgICByZXR1cm4ga2xlaW5fdG9fcG9pbmNhcmUoa2xlaW5fbWVhbikKCgojIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAojIElOVEVSTkFMOiBESVNUQU5DRSBNQVRSSVggSEVMUEVSUwojIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAoKZGVmIF9oYXZlcnNpbmVfbWF0cml4KGxhdHMsIGxvbnMsIGNfbGF0cywgY19sb25zKToKICAgICIiIlJldHVybiAoTiwgSykgaGF2ZXJzaW5lIGRpc3RhbmNlIG1hdHJpeC4iIiIKICAgIEQgPSBucC56ZXJvcygobGVuKGxhdHMpLCBsZW4oY19sYXRzKSkpCiAgICBmb3IgaiBpbiByYW5nZShsZW4oY19sYXRzKSk6CiAgICAgICAgRFs6LCBqXSA9IGhhdmVyc2luZShsYXRzLCBsb25zLCBjX2xhdHNbal0sIGNfbG9uc1tqXSkKICAgIHJldHVybiBECgoKZGVmIF9wb2luY2FyZV9tYXRyaXgocG9pbnRzLCBjZW50ZXJzKToKICAgICIiIlJldHVybiAoTiwgSykgUG9pbmNhcmUgZGlzdGFuY2UgbWF0cml4LiIiIgogICAgRCA9IG5wLnplcm9zKChsZW4ocG9pbnRzKSwgbGVuKGNlbnRlcnMpKSkKICAgIGZvciBqIGluIHJhbmdlKGxlbihjZW50ZXJzKSk6CiAgICAgICAgRFs6LCBqXSA9IHBvaW5jYXJlX2Rpc3RhbmNlKHBvaW50cywgY2VudGVyc1tqXSkKICAgIHJldHVybiBECgoKZGVmIF90b3J1c19tYXRyaXgocG9pbnRzLCBjZW50ZXJzLCBwZXJpb2Q9MiAqIG5wLnBpKToKICAgICIiIlJldHVybiAoTiwgSykgdG9ydXMgZGlzdGFuY2UgbWF0cml4LiIiIgogICAgRCA9IG5wLnplcm9zKChsZW4ocG9pbnRzKSwgbGVuKGNlbnRlcnMpKSkKICAgIGZvciBqIGluIHJhbmdlKGxlbihjZW50ZXJzKSk6CiAgICAgICAgRFs6LCBqXSA9IHRvcnVzX2Rpc3RhbmNlKHBvaW50cywgY2VudGVyc1tqXSwgcGVyaW9kKQogICAgcmV0dXJuIEQKCgpkZWYgX21pbmtvd3NraV9tYXRyaXgocG9pbnRzLCBjZW50ZXJzLCBwPTIpOgogICAgIiIiUmV0dXJuIChOLCBLKSBNaW5rb3dza2kgZGlzdGFuY2UgbWF0cml4LiIiIgogICAgRCA9IG5wLnplcm9zKChsZW4ocG9pbnRzKSwgbGVuKGNlbnRlcnMpKSkKICAgIGZvciBqIGluIHJhbmdlKGxlbihjZW50ZXJzKSk6CiAgICAgICAgRFs6LCBqXSA9IG1pbmtvd3NraV9kaXN0YW5jZShwb2ludHMsIGNlbnRlcnNbal0sIHApCiAgICByZXR1cm4gRAoKCmRlZiBfbWFoYWxfbWF0cml4KHBvaW50cywgY2VudGVycywgY292X2ludik6CiAgICAiIiJSZXR1cm4gKE4sIEspIE1haGFsYW5vYmlzIGRpc3RhbmNlIG1hdHJpeC4iIiIKICAgIEQgPSBucC56ZXJvcygobGVuKHBvaW50cyksIGxlbihjZW50ZXJzKSkpCiAgICBmb3IgaiBpbiByYW5nZShsZW4oY2VudGVycykpOgogICAgICAgIERbOiwgal0gPSBtYWhhbGFub2Jpc19kaXN0YW5jZShwb2ludHMsIGNlbnRlcnNbal0sIGNvdl9pbnYpCiAgICByZXR1cm4gRAoKCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACiMgSy1NRUFOUyBDTFVTVEVSSU5HICAoYWxsIHJldHVybjogbGFiZWxzLCBjZW50ZXJzLCBoaXN0b3J5KQojIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAoKZGVmIHNwaGVyaWNhbF9rbWVhbnMobGF0cywgbG9ucywgaz0zLCBtYXhfaXRlcj0xMDAsIHRvbD0xZS02LCBzZWVkPTEyMyk6CiAgICAiIiIKICAgIEstbWVhbnMgb24gdGhlIHVuaXQgc3BoZXJlIHVzaW5nIEhhdmVyc2luZSBkaXN0YW5jZSBhbmQgc3BoZXJpY2FsIG1lYW4gY2VudHJvaWRzLgoKICAgIFBhcmFtZXRlcnMKICAgIC0tLS0tLS0tLS0KICAgIGxhdHMsIGxvbnMgOiAxLUQgYXJyYXlzIG9mIHBvaW50IGNvb3JkaW5hdGVzIGluIHJhZGlhbnMKICAgIGsgICAgICAgICAgOiBudW1iZXIgb2YgY2x1c3RlcnMKICAgIG1heF9pdGVyICAgOiBtYXhpbXVtIGl0ZXJhdGlvbnMKICAgIHRvbCAgICAgICAgOiBjb252ZXJnZW5jZSB0aHJlc2hvbGQgb24gbWF4IGNlbnRyb2lkIHNoaWZ0IChoYXZlcnNpbmUpCiAgICBzZWVkICAgICAgIDogcmFuZG9tIHNlZWQKCiAgICBSZXR1cm5zCiAgICAtLS0tLS0tCiAgICBsYWJlbHMgIDogKE4sKSBjbHVzdGVyIGFzc2lnbm1lbnRzCiAgICBjZW50ZXJzIDogKGssIDIpIGFycmF5IG9mIFtsYXQsIGxvbl0gY2VudHJvaWRzIGluIHJhZGlhbnMKICAgIGhpc3RvcnkgOiBsaXN0IG9mIHRvdGFsIGludHJhLWNsdXN0ZXIgSGF2ZXJzaW5lIGRpc3RhbmNlIHBlciBpdGVyYXRpb24KICAgICIiIgogICAgcm5nID0gbnAucmFuZG9tLmRlZmF1bHRfcm5nKHNlZWQpCiAgICBuID0gbGVuKGxhdHMpCiAgICBpZHggPSBybmcuY2hvaWNlKG4sIHNpemU9aywgcmVwbGFjZT1GYWxzZSkKICAgIGNfbGF0cyA9IGxhdHNbaWR4XS5jb3B5KCkKICAgIGNfbG9ucyA9IGxvbnNbaWR4XS5jb3B5KCkKICAgIGhpc3RvcnkgPSBbXQogICAgbGFiZWxzID0gbnAuemVyb3MobiwgZHR5cGU9aW50KQoKICAgIGZvciBfIGluIHJhbmdlKG1heF9pdGVyKToKICAgICAgICBEID0gX2hhdmVyc2luZV9tYXRyaXgobGF0cywgbG9ucywgY19sYXRzLCBjX2xvbnMpCiAgICAgICAgbGFiZWxzID0gbnAuYXJnbWluKEQsIGF4aXM9MSkKICAgICAgICBoaXN0b3J5LmFwcGVuZChmbG9hdChucC5zdW0oRFtucC5hcmFuZ2UobiksIGxhYmVsc10pKSkKCiAgICAgICAgbmV3X2xhdHMgPSBucC56ZXJvcyhrKQogICAgICAgIG5ld19sb25zID0gbnAuemVyb3MoaykKICAgICAgICBmb3IgaiBpbiByYW5nZShrKToKICAgICAgICAgICAgbWVtYmVycyA9IG5wLndoZXJlKGxhYmVscyA9PSBqKVswXQogICAgICAgICAgICBpZiBsZW4obWVtYmVycykgPT0gMDoKICAgICAgICAgICAgICAgIGkwID0gcm5nLmNob2ljZShuKQogICAgICAgICAgICAgICAgbmV3X2xhdHNbal0sIG5ld19sb25zW2pdID0gbGF0c1tpMF0sIGxvbnNbaTBdCiAgICAgICAgICAgIGVsc2U6CiAgICAgICAgICAgICAgICBuZXdfbGF0c1tqXSwgbmV3X2xvbnNbal0gPSBzcGhlcmljYWxfbWVhbihsYXRzW21lbWJlcnNdLCBsb25zW21lbWJlcnNdKQoKICAgICAgICBzaGlmdCA9IG5wLm1heChoYXZlcnNpbmUoY19sYXRzLCBjX2xvbnMsIG5ld19sYXRzLCBuZXdfbG9ucykpCiAgICAgICAgY19sYXRzLCBjX2xvbnMgPSBuZXdfbGF0cywgbmV3X2xvbnMKICAgICAgICBpZiBzaGlmdCA8IHRvbDoKICAgICAgICAgICAgYnJlYWsKCiAgICBjZW50ZXJzID0gbnAuc3RhY2soW2NfbGF0cywgY19sb25zXSwgYXhpcz0xKQogICAgcmV0dXJuIGxhYmVscywgY2VudGVycywgaGlzdG9yeQoKCmRlZiBoeXBlcmJvbGljX2ttZWFucyhwb2ludHMsIGs9MywgbWF4X2l0ZXI9MTAwLCB0b2w9MWUtNiwgc2VlZD0xMjMpOgogICAgIiIiCiAgICBLLW1lYW5zIGluIHRoZSBQb2luY2FyZSBkaXNrIHVzaW5nIGh5cGVyYm9saWMgZGlzdGFuY2UgYW5kIEVpbnN0ZWluIG1pZHBvaW50IGNlbnRyb2lkcy4KCiAgICBQYXJhbWV0ZXJzCiAgICAtLS0tLS0tLS0tCiAgICBwb2ludHMgICA6IChOLCAyKSBhcnJheSBvZiBwb2ludHMgaW5zaWRlIHRoZSB1bml0IGRpc2sKICAgIGsgICAgICAgIDogbnVtYmVyIG9mIGNsdXN0ZXJzCiAgICBtYXhfaXRlciA6IG1heGltdW0gaXRlcmF0aW9ucwogICAgdG9sICAgICAgOiBjb252ZXJnZW5jZSB0aHJlc2hvbGQgb24gbWF4IGNlbnRyb2lkIHNoaWZ0IChQb2luY2FyZSBkaXN0YW5jZSkKICAgIHNlZWQgICAgIDogcmFuZG9tIHNlZWQKCiAgICBSZXR1cm5zCiAgICAtLS0tLS0tCiAgICBsYWJlbHMgICAgOiAoTiwpIGNsdXN0ZXIgYXNzaWdubWVudHMKICAgIGNlbnRyb2lkcyA6IChrLCAyKSBQb2luY2FyZSBkaXNrIGNlbnRyb2lkcwogICAgaGlzdG9yeSAgIDogbGlzdCBvZiB0b3RhbCBpbnRyYS1jbHVzdGVyIFBvaW5jYXJlIGRpc3RhbmNlIHBlciBpdGVyYXRpb24KICAgICIiIgogICAgcm5nID0gbnAucmFuZG9tLmRlZmF1bHRfcm5nKHNlZWQpCiAgICBuID0gbGVuKHBvaW50cykKICAgIGlkeCA9IHJuZy5jaG9pY2Uobiwgc2l6ZT1rLCByZXBsYWNlPUZhbHNlKQogICAgY2VudHJvaWRzID0gcG9pbnRzW2lkeF0uY29weSgpCiAgICBoaXN0b3J5ID0gW10KICAgIGxhYmVscyA9IG5wLnplcm9zKG4sIGR0eXBlPWludCkKCiAgICBmb3IgXyBpbiByYW5nZShtYXhfaXRlcik6CiAgICAgICAgRCA9IF9wb2luY2FyZV9tYXRyaXgocG9pbnRzLCBjZW50cm9pZHMpCiAgICAgICAgbGFiZWxzID0gbnAuYXJnbWluKEQsIGF4aXM9MSkKICAgICAgICBoaXN0b3J5LmFwcGVuZChmbG9hdChucC5zdW0oRFtucC5hcmFuZ2UobiksIGxhYmVsc10pKSkKCiAgICAgICAgbmV3X2MgPSBucC56ZXJvc19saWtlKGNlbnRyb2lkcykKICAgICAgICBmb3IgaiBpbiByYW5nZShrKToKICAgICAgICAgICAgbWVtYmVycyA9IHBvaW50c1tsYWJlbHMgPT0gal0KICAgICAgICAgICAgbmV3X2Nbal0gPSBlaW5zdGVpbl9taWRwb2ludChtZW1iZXJzKSBpZiBsZW4obWVtYmVycykgPiAwIGVsc2UgcG9pbnRzW3JuZy5jaG9pY2UobildCgogICAgICAgIHNoaWZ0ID0gcG9pbmNhcmVfZGlzdGFuY2UoY2VudHJvaWRzLCBuZXdfYykKICAgICAgICBjZW50cm9pZHMgPSBuZXdfYwogICAgICAgIGlmIG5wLm1heChzaGlmdCkgPCB0b2w6CiAgICAgICAgICAgIGJyZWFrCgogICAgcmV0dXJuIGxhYmVscywgY2VudHJvaWRzLCBoaXN0b3J5CgoKZGVmIHRvcnVzX2ttZWFucyhwb2ludHMsIGs9MywgbWF4X2l0ZXI9MTAwLCB0b2w9MWUtNiwgcGVyaW9kPTIgKiBucC5waSwgc2VlZD0xMjMpOgogICAgIiIiCiAgICBLLW1lYW5zIG9uIHRoZSBmbGF0IHRvcnVzIHVzaW5nIHRvcm9pZGFsIGRpc3RhbmNlIGFuZCBjaXJjdWxhci1tZWFuIGNlbnRyb2lkcy4KCiAgICBQYXJhbWV0ZXJzCiAgICAtLS0tLS0tLS0tCiAgICBwb2ludHMgICA6IChOLCAyKSBhcnJheSBvZiBhbmd1bGFyIGNvb3JkaW5hdGVzIGluIFswLCBwZXJpb2QpCiAgICBrICAgICAgICA6IG51bWJlciBvZiBjbHVzdGVycwogICAgbWF4X2l0ZXIgOiBtYXhpbXVtIGl0ZXJhdGlvbnMKICAgIHRvbCAgICAgIDogY29udmVyZ2VuY2UgdGhyZXNob2xkIG9uIG1heCBjZW50cm9pZCBzaGlmdCAodG9ydXMgZGlzdGFuY2UpCiAgICBwZXJpb2QgICA6IHBlcmlvZGljaXR5IChkZWZhdWx0IDIqcGkpCiAgICBzZWVkICAgICA6IHJhbmRvbSBzZWVkCgogICAgUmV0dXJucwogICAgLS0tLS0tLQogICAgbGFiZWxzICA6IChOLCkgY2x1c3RlciBhc3NpZ25tZW50cwogICAgY2VudGVycyA6IChrLCAyKSB0b3J1cyBjZW50cm9pZHMKICAgIGhpc3RvcnkgOiBsaXN0IG9mIHRvdGFsIGludHJhLWNsdXN0ZXIgdG9ydXMgZGlzdGFuY2UgcGVyIGl0ZXJhdGlvbgogICAgIiIiCiAgICBybmcgPSBucC5yYW5kb20uZGVmYXVsdF9ybmcoc2VlZCkKICAgIG4gPSBsZW4ocG9pbnRzKQogICAgaWR4ID0gcm5nLmNob2ljZShuLCBzaXplPWssIHJlcGxhY2U9RmFsc2UpCiAgICBjZW50ZXJzID0gcG9pbnRzW2lkeF0uY29weSgpCiAgICBoaXN0b3J5ID0gW10KICAgIGxhYmVscyA9IG5wLnplcm9zKG4sIGR0eXBlPWludCkKCiAgICBmb3IgXyBpbiByYW5nZShtYXhfaXRlcik6CiAgICAgICAgRCA9IF90b3J1c19tYXRyaXgocG9pbnRzLCBjZW50ZXJzLCBwZXJpb2QpCiAgICAgICAgbGFiZWxzID0gbnAuYXJnbWluKEQsIGF4aXM9MSkKICAgICAgICBoaXN0b3J5LmFwcGVuZChmbG9hdChucC5zdW0oRFtucC5hcmFuZ2UobiksIGxhYmVsc10pKSkKCiAgICAgICAgbmV3X2MgPSBucC56ZXJvc19saWtlKGNlbnRlcnMpCiAgICAgICAgZm9yIGogaW4gcmFuZ2Uoayk6CiAgICAgICAgICAgIG1lbWJlcnMgPSBwb2ludHNbbGFiZWxzID09IGpdCiAgICAgICAgICAgIG5ld19jW2pdID0gdG9ydXNfY2VudHJvaWQobWVtYmVycywgcGVyaW9kKSBpZiBsZW4obWVtYmVycykgPiAwIGVsc2UgcG9pbnRzW3JuZy5jaG9pY2UobildCgogICAgICAgIHNoaWZ0ID0gbnAubWF4KHRvcnVzX2Rpc3RhbmNlKGNlbnRlcnMsIG5ld19jLCBwZXJpb2QpKQogICAgICAgIGNlbnRlcnMgPSBuZXdfYwogICAgICAgIGlmIHNoaWZ0IDwgdG9sOgogICAgICAgICAgICBicmVhawoKICAgIHJldHVybiBsYWJlbHMsIGNlbnRlcnMsIGhpc3RvcnkKCgpkZWYgbWlua293c2tpX2ttZWFucyhwb2ludHMsIGs9MywgcD0yLCBtYXhfaXRlcj0xMDAsIHRvbD0xZS02LCBzZWVkPTEyMyk6CiAgICAiIiIKICAgIEstbWVhbnMgdXNpbmcgTWlua293c2tpIExwIGRpc3RhbmNlLgogICAgQ2VudHJvaWQgdXBkYXRlOiBtZWRpYW4gKEwxKSwgbWVhbiAoTDIpLCBtaWRyYW5nZSAoTC1pbmZpbml0eSkuCgogICAgUGFyYW1ldGVycwogICAgLS0tLS0tLS0tLQogICAgcG9pbnRzICAgOiAoTiwgRCkgYXJyYXkKICAgIGsgICAgICAgIDogbnVtYmVyIG9mIGNsdXN0ZXJzCiAgICBwICAgICAgICA6IE1pbmtvd3NraSBleHBvbmVudCAocCA%2BPSAxMDAgaXMgdHJlYXRlZCBhcyBDaGVieXNoZXYpCiAgICBtYXhfaXRlciA6IG1heGltdW0gaXRlcmF0aW9ucwogICAgdG9sICAgICAgOiBjb252ZXJnZW5jZSB0aHJlc2hvbGQgb24gbWF4IGNlbnRyb2lkIHNoaWZ0CiAgICBzZWVkICAgICA6IHJhbmRvbSBzZWVkCgogICAgUmV0dXJucwogICAgLS0tLS0tLQogICAgbGFiZWxzICA6IChOLCkgY2x1c3RlciBhc3NpZ25tZW50cwogICAgY2VudGVycyA6IChrLCBEKSBjZW50cm9pZHMKICAgIGhpc3RvcnkgOiBsaXN0IG9mIHRvdGFsIGludHJhLWNsdXN0ZXIgTHAgZGlzdGFuY2UgcGVyIGl0ZXJhdGlvbgogICAgIiIiCiAgICBybmcgPSBucC5yYW5kb20uZGVmYXVsdF9ybmcoc2VlZCkKICAgIG4gPSBsZW4ocG9pbnRzKQogICAgaWR4ID0gcm5nLmNob2ljZShuLCBzaXplPWssIHJlcGxhY2U9RmFsc2UpCiAgICBjZW50ZXJzID0gcG9pbnRzW2lkeF0uY29weSgpCiAgICBoaXN0b3J5ID0gW10KICAgIGxhYmVscyA9IG5wLnplcm9zKG4sIGR0eXBlPWludCkKCiAgICBmb3IgXyBpbiByYW5nZShtYXhfaXRlcik6CiAgICAgICAgRCA9IF9taW5rb3dza2lfbWF0cml4KHBvaW50cywgY2VudGVycywgcCkKICAgICAgICBsYWJlbHMgPSBucC5hcmdtaW4oRCwgYXhpcz0xKQogICAgICAgIGhpc3RvcnkuYXBwZW5kKGZsb2F0KG5wLnN1bShEW25wLmFyYW5nZShuKSwgbGFiZWxzXSkpKQoKICAgICAgICBuZXdfYyA9IG5wLnplcm9zX2xpa2UoY2VudGVycykKICAgICAgICBmb3IgaiBpbiByYW5nZShrKToKICAgICAgICAgICAgbWVtYmVycyA9IHBvaW50c1tsYWJlbHMgPT0gal0KICAgICAgICAgICAgaWYgbGVuKG1lbWJlcnMpID09IDA6CiAgICAgICAgICAgICAgICBuZXdfY1tqXSA9IHBvaW50c1tybmcuY2hvaWNlKG4pXQogICAgICAgICAgICBlbGlmIHAgPD0gMS4wICsgMWUtNjoKICAgICAgICAgICAgICAgIG5ld19jW2pdID0gbnAubWVkaWFuKG1lbWJlcnMsIGF4aXM9MCkKICAgICAgICAgICAgZWxpZiBwID49IDEwMDoKICAgICAgICAgICAgICAgIG5ld19jW2pdID0gKG1lbWJlcnMubWF4KGF4aXM9MCkgKyBtZW1iZXJzLm1pbihheGlzPTApKSAvIDIKICAgICAgICAgICAgZWxzZToKICAgICAgICAgICAgICAgIG5ld19jW2pdID0gbWVtYmVycy5tZWFuKGF4aXM9MCkKCiAgICAgICAgc2hpZnQgPSBucC5tYXgobnAubGluYWxnLm5vcm0oY2VudGVycyAtIG5ld19jLCBheGlzPTEpKQogICAgICAgIGNlbnRlcnMgPSBuZXdfYwogICAgICAgIGlmIHNoaWZ0IDwgdG9sOgogICAgICAgICAgICBicmVhawoKICAgIHJldHVybiBsYWJlbHMsIGNlbnRlcnMsIGhpc3RvcnkKCgpkZWYgbWFoYWxhbm9iaXNfa21lYW5zKHBvaW50cywgaz0zLCBtYXhfaXRlcj0xMDAsIHRvbD0xZS02LCBzZWVkPTEyMyk6CiAgICAiIiIKICAgIEstbWVhbnMgd2l0aCBnbG9iYWwgTWFoYWxhbm9iaXMgZGlzdGFuY2UgKGNvdmFyaWFuY2UgY29tcHV0ZWQgZnJvbSBmdWxsIGRhdGFzZXQpLgoKICAgIFBhcmFtZXRlcnMKICAgIC0tLS0tLS0tLS0KICAgIHBvaW50cyAgIDogKE4sIEQpIGFycmF5CiAgICBrICAgICAgICA6IG51bWJlciBvZiBjbHVzdGVycwogICAgbWF4X2l0ZXIgOiBtYXhpbXVtIGl0ZXJhdGlvbnMKICAgIHRvbCAgICAgIDogY29udmVyZ2VuY2UgdGhyZXNob2xkIG9uIG1heCBjZW50cm9pZCBzaGlmdAogICAgc2VlZCAgICAgOiByYW5kb20gc2VlZAoKICAgIFJldHVybnMKICAgIC0tLS0tLS0KICAgIGxhYmVscyAgOiAoTiwpIGNsdXN0ZXIgYXNzaWdubWVudHMKICAgIGNlbnRlcnMgOiAoaywgRCkgY2VudHJvaWRzCiAgICBoaXN0b3J5IDogbGlzdCBvZiB0b3RhbCBpbnRyYS1jbHVzdGVyIE1haGFsYW5vYmlzIGRpc3RhbmNlIHBlciBpdGVyYXRpb24KICAgICIiIgogICAgcm5nID0gbnAucmFuZG9tLmRlZmF1bHRfcm5nKHNlZWQpCiAgICBuLCBkID0gcG9pbnRzLnNoYXBlCiAgICBjb3YgPSBucC5jb3YocG9pbnRzLlQpCiAgICBjb3ZfaW52ID0gbnAubGluYWxnLmludihjb3YgKyAxZS02ICogbnAuZXllKGQpKQoKICAgIGlkeCA9IHJuZy5jaG9pY2Uobiwgc2l6ZT1rLCByZXBsYWNlPUZhbHNlKQogICAgY2VudGVycyA9IHBvaW50c1tpZHhdLmNvcHkoKQogICAgaGlzdG9yeSA9IFtdCiAgICBsYWJlbHMgPSBucC56ZXJvcyhuLCBkdHlwZT1pbnQpCgogICAgZm9yIF8gaW4gcmFuZ2UobWF4X2l0ZXIpOgogICAgICAgIEQgPSBfbWFoYWxfbWF0cml4KHBvaW50cywgY2VudGVycywgY292X2ludikKICAgICAgICBsYWJlbHMgPSBucC5hcmdtaW4oRCwgYXhpcz0xKQogICAgICAgIGhpc3RvcnkuYXBwZW5kKGZsb2F0KG5wLnN1bShEW25wLmFyYW5nZShuKSwgbGFiZWxzXSkpKQoKICAgICAgICBuZXdfYyA9IG5wLnplcm9zX2xpa2UoY2VudGVycykKICAgICAgICBmb3IgaiBpbiByYW5nZShrKToKICAgICAgICAgICAgbWVtYmVycyA9IHBvaW50c1tsYWJlbHMgPT0gal0KICAgICAgICAgICAgbmV3X2Nbal0gPSBtZW1iZXJzLm1lYW4oYXhpcz0wKSBpZiBsZW4obWVtYmVycykgPiAwIGVsc2UgcG9pbnRzW3JuZy5jaG9pY2UobildCgogICAgICAgIHNoaWZ0ID0gbnAubWF4KG5wLmxpbmFsZy5ub3JtKGNlbnRlcnMgLSBuZXdfYywgYXhpcz0xKSkKICAgICAgICBjZW50ZXJzID0gbmV3X2MKICAgICAgICBpZiBzaGlmdCA8IHRvbDoKICAgICAgICAgICAgYnJlYWsKCiAgICByZXR1cm4gbGFiZWxzLCBjZW50ZXJzLCBoaXN0b3J5CgoKZGVmIGttZWRvaWRzX3BhbShELCBrPTMsIG1heF9pdGVyPTEwMCwgc2VlZD0xMjMpOgogICAgIiIiCiAgICBLLU1lZG9pZHMgdXNpbmcgUEFNIChQYXJ0aXRpb25pbmcgQXJvdW5kIE1lZG9pZHMpOiBncmVlZHkgQlVJTEQgKyBpdGVyYXRpdmUgU1dBUC4KICAgIE9wZXJhdGVzIG9uIGEgcHJlY29tcHV0ZWQgTiB4IE4gZGlzdGFuY2UgbWF0cml4LgoKICAgIFBhcmFtZXRlcnMKICAgIC0tLS0tLS0tLS0KICAgIEQgICAgICAgIDogKE4sIE4pIHN5bW1ldHJpYyBkaXN0YW5jZSBtYXRyaXgKICAgIGsgICAgICAgIDogbnVtYmVyIG9mIG1lZG9pZHMKICAgIG1heF9pdGVyIDogbWF4aW11bSBTV0FQIGl0ZXJhdGlvbnMKICAgIHNlZWQgICAgIDogdW51c2VkIChrZXB0IGZvciBBUEkgY29uc2lzdGVuY3kpCgogICAgUmV0dXJucwogICAgLS0tLS0tLQogICAgbGFiZWxzICA6IChOLCkgY2x1c3RlciBhc3NpZ25tZW50cwogICAgbWVkb2lkcyA6IChrLCkgaW5kaWNlcyBvZiBtZWRvaWRzIGluIEQKICAgIGhpc3RvcnkgOiBsaXN0IG9mIHRvdGFsIGFzc2lnbm1lbnQgY29zdCBwZXIgU1dBUCBpdGVyYXRpb24KICAgICIiIgogICAgbiA9IEQuc2hhcGVbMF0KCiAgICAjIEJVSUxEIHBoYXNlOiBncmVlZHkgbWVkb2lkIGluaXRpYWxpemF0aW9uCiAgICBtZWRvaWRzID0gW2ludChucC5hcmdtaW4oRC5zdW0oYXhpcz0xKSkpXQogICAgZm9yIF8gaW4gcmFuZ2UoMSwgayk6CiAgICAgICAgZGlzdF9uZWFyZXN0ID0gRFs6LCBtZWRvaWRzXS5taW4oYXhpcz0xKQogICAgICAgIGNhbmRpZGF0ZXMgPSBbaSBmb3IgaSBpbiByYW5nZShuKSBpZiBpIG5vdCBpbiBtZWRvaWRzXQogICAgICAgIGJlc3RfZ2FpbiwgYmVzdF9jID0gLW5wLmluZiwgY2FuZGlkYXRlc1swXQogICAgICAgIGZvciBjIGluIGNhbmRpZGF0ZXM6CiAgICAgICAgICAgIGdhaW4gPSBmbG9hdChucC5zdW0obnAubWF4aW11bShkaXN0X25lYXJlc3QgLSBEWzosIGNdLCAwKSkpCiAgICAgICAgICAgIGlmIGdhaW4gPiBiZXN0X2dhaW46CiAgICAgICAgICAgICAgICBiZXN0X2dhaW4sIGJlc3RfYyA9IGdhaW4sIGMKICAgICAgICBtZWRvaWRzLmFwcGVuZChiZXN0X2MpCgogICAgbWVkb2lkcyA9IG5wLmFycmF5KG1lZG9pZHMpCiAgICBEX21lZCA9IERbOiwgbWVkb2lkc10KICAgIGxhYmVscyA9IG5wLmFyZ21pbihEX21lZCwgYXhpcz0xKQogICAgY29zdCA9IGZsb2F0KG5wLnN1bShEX21lZFtucC5hcmFuZ2UobiksIGxhYmVsc10pKQogICAgaGlzdG9yeSA9IFtjb3N0XQoKICAgICMgU1dBUCBwaGFzZQogICAgZm9yIF8gaW4gcmFuZ2UobWF4X2l0ZXIpOgogICAgICAgIGJlc3Rfc3dhcCwgYmVzdF9kZWx0YSA9IE5vbmUsIDAuMAogICAgICAgIG5vbl9tZWRvaWRzID0gW2kgZm9yIGkgaW4gcmFuZ2UobikgaWYgaSBub3QgaW4gbWVkb2lkc10KCiAgICAgICAgZm9yIG1faWR4IGluIHJhbmdlKGspOgogICAgICAgICAgICBmb3IgaCBpbiBub25fbWVkb2lkczoKICAgICAgICAgICAgICAgIG5ld19tZWQgPSBtZWRvaWRzLmNvcHkoKQogICAgICAgICAgICAgICAgbmV3X21lZFttX2lkeF0gPSBoCiAgICAgICAgICAgICAgICBuZXdfRCA9IERbOiwgbmV3X21lZF0KICAgICAgICAgICAgICAgIG5ld19sID0gbnAuYXJnbWluKG5ld19ELCBheGlzPTEpCiAgICAgICAgICAgICAgICBuZXdfY29zdCA9IGZsb2F0KG5wLnN1bShuZXdfRFtucC5hcmFuZ2UobiksIG5ld19sXSkpCiAgICAgICAgICAgICAgICBkZWx0YSA9IG5ld19jb3N0IC0gY29zdAogICAgICAgICAgICAgICAgaWYgZGVsdGEgPCBiZXN0X2RlbHRhOgogICAgICAgICAgICAgICAgICAgIGJlc3RfZGVsdGEsIGJlc3Rfc3dhcCA9IGRlbHRhLCAobV9pZHgsIGgpCgogICAgICAgIGlmIGJlc3Rfc3dhcCBpcyBOb25lOgogICAgICAgICAgICBicmVhawoKICAgICAgICBtZWRvaWRzW2Jlc3Rfc3dhcFswXV0gPSBiZXN0X3N3YXBbMV0KICAgICAgICBEX21lZCA9IERbOiwgbWVkb2lkc10KICAgICAgICBsYWJlbHMgPSBucC5hcmdtaW4oRF9tZWQsIGF4aXM9MSkKICAgICAgICBjb3N0ID0gZmxvYXQobnAuc3VtKERfbWVkW25wLmFyYW5nZShuKSwgbGFiZWxzXSkpCiAgICAgICAgaGlzdG9yeS5hcHBlbmQoY29zdCkKCiAgICByZXR1cm4gbGFiZWxzLCBtZWRvaWRzLCBoaXN0b3J5CgoKZGVmIGdvd2VyX2Rpc3RhbmNlX21hdHJpeChkYXRhLCB3X2dlbz0xLjAsIHdfY2xpbWF0ZT0xLjAsIHdfdGVycmFpbj0xLjApOgogICAgIiIiCiAgICBDb21wdXRlIE4geCBOIEdvd2VyIGRpc3RhbmNlIG1hdHJpeCBmb3IgbWl4ZWQgZ2VvZ3JhcGhpYyArIGNhdGVnb3JpY2FsIGRhdGEuCgogICAgQ29tcG9uZW50czoKICAgICAgLSBHZW9ncmFwaGljOiBIYXZlcnNpbmUgZGlzdGFuY2Ugbm9ybWFsaXplZCB0byBbMCwgMV0gKG1heCA9IHBpIG9uIHVuaXQgc3BoZXJlKQogICAgICAtIENsaW1hdGU6ICAgIFNpbXBsZSBtYXRjaGluZyAoMCBpZiBzYW1lLCAxIGlmIGRpZmZlcmVudCkKICAgICAgLSBUZXJyYWluOiAgICBTaW1wbGUgbWF0Y2hpbmcgKDAgaWYgc2FtZSwgMSBpZiBkaWZmZXJlbnQpCgogICAgUGFyYW1ldGVycwogICAgLS0tLS0tLS0tLQogICAgZGF0YSA6IGRpY3Qgd2l0aCBrZXlzICdsYXRzJywgJ2xvbnMnLCAnY2xpbWF0ZScsICd0ZXJyYWluJyAoYWxsIGxlbmd0aCBOKQogICAgd19nZW8sIHdfY2xpbWF0ZSwgd190ZXJyYWluIDogcmVsYXRpdmUgd2VpZ2h0cyBmb3IgZWFjaCBjb21wb25lbnQKCiAgICBSZXR1cm5zCiAgICAtLS0tLS0tCiAgICBEIDogKE4sIE4pIHN5bW1ldHJpYyBkaXN0YW5jZSBtYXRyaXggaW4gWzAsIDFdCiAgICAiIiIKICAgIG4gPSBsZW4oZGF0YVsnbGF0cyddKQogICAgbGF0cywgbG9ucyA9IGRhdGFbJ2xhdHMnXSwgZGF0YVsnbG9ucyddCiAgICBjbGltYXRlLCB0ZXJyYWluID0gZGF0YVsnY2xpbWF0ZSddLCBkYXRhWyd0ZXJyYWluJ10KICAgIHRvdGFsX3cgPSB3X2dlbyArIHdfY2xpbWF0ZSArIHdfdGVycmFpbgogICAgRCA9IG5wLnplcm9zKChuLCBuKSkKCiAgICBmb3IgaSBpbiByYW5nZShuKToKICAgICAgICBkX2dlbyA9IGhhdmVyc2luZShsYXRzW2ldLCBsb25zW2ldLCBsYXRzLCBsb25zKSAvIG5wLnBpCiAgICAgICAgZF9jbGltYXRlID0gKGNsaW1hdGVbaV0gIT0gY2xpbWF0ZSkuYXN0eXBlKGZsb2F0KQogICAgICAgIGRfdGVycmFpbiA9ICh0ZXJyYWluW2ldICE9IHRlcnJhaW4pLmFzdHlwZShmbG9hdCkKICAgICAgICBEW2ksIDpdID0gKHdfZ2VvICogZF9nZW8gKyB3X2NsaW1hdGUgKiBkX2NsaW1hdGUgKyB3X3RlcnJhaW4gKiBkX3RlcnJhaW4pIC8gdG90YWxfdwoKICAgIHJldHVybiBECgoKZGVmIGdvd2VyX2ttZWRvaWRzKGRhdGEsIGs9Mywgd19nZW89MS4wLCB3X2NsaW1hdGU9MS4wLCB3X3RlcnJhaW49MS4wLCBtYXhfaXRlcj0xMDAsIHNlZWQ9MTIzKToKICAgICIiIgogICAgSy1NZWRvaWRzIHdpdGggR293ZXIgZGlzdGFuY2Ugb24gbWl4ZWQgZ2VvZ3JhcGhpYyArIGNhdGVnb3JpY2FsIGRhdGEuCgogICAgUGFyYW1ldGVycwogICAgLS0tLS0tLS0tLQogICAgZGF0YSA6IGRpY3Qgd2l0aCBrZXlzICdsYXRzJywgJ2xvbnMnLCAnY2xpbWF0ZScsICd0ZXJyYWluJwogICAgayAgICA6IG51bWJlciBvZiBtZWRvaWRzCiAgICB3X2dlbywgd19jbGltYXRlLCB3X3RlcnJhaW4gOiBHb3dlciBjb21wb25lbnQgd2VpZ2h0cwogICAgbWF4X2l0ZXIgOiBtYXhpbXVtIFNXQVAgaXRlcmF0aW9ucwogICAgc2VlZCAgICAgOiByYW5kb20gc2VlZAoKICAgIFJldHVybnMKICAgIC0tLS0tLS0KICAgIGxhYmVscyAgOiAoTiwpIGNsdXN0ZXIgYXNzaWdubWVudHMKICAgIG1lZG9pZHMgOiAoaywpIG1lZG9pZCBpbmRpY2VzCiAgICBoaXN0b3J5IDogbGlzdCBvZiB0b3RhbCBjb3N0IHBlciBpdGVyYXRpb24KICAgICIiIgogICAgRCA9IGdvd2VyX2Rpc3RhbmNlX21hdHJpeChkYXRhLCB3X2dlbywgd19jbGltYXRlLCB3X3RlcnJhaW4pCiAgICByZXR1cm4ga21lZG9pZHNfcGFtKEQsIGs9aywgbWF4X2l0ZXI9bWF4X2l0ZXIsIHNlZWQ9c2VlZCkKCgojIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAojIEdNTSBJTlRFUk5BTCBIRUxQRVJTCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACgpkZWYgX2xvZ19zdW1fZXhwKGxvZ192YWxzLCBheGlzPU5vbmUpOgogICAgIiIiTnVtZXJpY2FsbHkgc3RhYmxlIGxvZy1zdW0tZXhwLiIiIgogICAgbWF4X3ZhbCA9IG5wLm1heChsb2dfdmFscywgYXhpcz1heGlzLCBrZWVwZGltcz1UcnVlKQogICAgcmVzdWx0ID0gbWF4X3ZhbCArIG5wLmxvZyhucC5zdW0obnAuZXhwKGxvZ192YWxzIC0gbWF4X3ZhbCksIGF4aXM9YXhpcywga2VlcGRpbXM9VHJ1ZSkpCiAgICBpZiBheGlzIGlzIG5vdCBOb25lOgogICAgICAgIHJlc3VsdCA9IG5wLnNxdWVlemUocmVzdWx0LCBheGlzPWF4aXMpCiAgICByZXR1cm4gcmVzdWx0CgoKZGVmIF9sb2dfZ2F1c3NpYW5fcGRmKHgsIG11LCBzaWdtYSk6CiAgICAiIiIKICAgIExvZyBOKHggfCBtdSwgc2lnbWEpIGZvciBlYWNoIHJvdyBvZiB4LgogICAgeDogKE4sIGQpOyBtdTogKGQsKTsgc2lnbWE6IChkLCBkKS4gUmV0dXJucyAoTiwpIGxvZy1kZW5zaXRpZXMuCiAgICAiIiIKICAgIGQgPSBsZW4obXUpCiAgICBkaWZmID0geCAtIG11CiAgICB0cnk6CiAgICAgICAgTCA9IG5wLmxpbmFsZy5jaG9sZXNreShzaWdtYSkKICAgIGV4Y2VwdCBucC5saW5hbGcuTGluQWxnRXJyb3I6CiAgICAgICAgTCA9IG5wLmxpbmFsZy5jaG9sZXNreShzaWdtYSArIDFlLTYgKiBucC5leWUoZCkpCiAgICB6ID0gbnAubGluYWxnLnNvbHZlKEwsIGRpZmYuVCkKICAgIG1haGFsX3NxID0gbnAuc3VtKHoqKjIsIGF4aXM9MCkKICAgIGxvZ19kZXQgPSAyICogbnAuc3VtKG5wLmxvZyhucC5kaWFnKEwpKSkKICAgIHJldHVybiAtMC41ICogKGQgKiBucC5sb2coMiAqIG5wLnBpKSArIGxvZ19kZXQgKyBtYWhhbF9zcSkKCgpkZWYgX2xvZ192bWZfcGRmKHgsIG11LCBrYXBwYSwgcD0zKToKICAgICIiIgogICAgTG9nIHZNRiBkZW5zaXR5IGZvciBlYWNoIHJvdyBvZiB4ICh1bml0IHZlY3RvcnMgb24gU157cC0xfSkuCiAgICB4OiAoTiwgcCk7IG11OiAocCwpIHVuaXQgdmVjdG9yOyBrYXBwYTogc2NhbGFyLiBSZXR1cm5zIChOLCkgbG9nLWRlbnNpdGllcy4KICAgICIiIgogICAgdiA9IHAgLyAyLjAgLSAxCiAgICBsb2dfaXZlID0gbnAubG9nKG5wLmNsaXAoaXZlKHYsIGthcHBhKSwgMWUtMzAwLCBOb25lKSkKICAgIGxvZ19iZXNzZWwgPSBsb2dfaXZlICsga2FwcGEKICAgIGxvZ19DID0gdiAqIG5wLmxvZyhucC5jbGlwKGthcHBhLCAxZS0zMDAsIE5vbmUpKSAtIChwIC8gMi4wKSAqIG5wLmxvZygyICogbnAucGkpIC0gbG9nX2Jlc3NlbAogICAgcmV0dXJuIGxvZ19DICsga2FwcGEgKiAoeCBAIG11KQoKCmRlZiBfZXN0aW1hdGVfa2FwcGFfdm1mKFJfYmFyLCBwPTMpOgogICAgIiIiRXN0aW1hdGUgdk1GIGthcHBhIGZyb20gbWVhbiByZXN1bHRhbnQgbGVuZ3RoIChCYW5lcmplZSBldCBhbC4gMjAwNSkuIiIiCiAgICBSX2JhciA9IG5wLmNsaXAoUl9iYXIsIDFlLTEwLCAxIC0gMWUtMTApCiAgICByZXR1cm4gUl9iYXIgKiAocCAtIFJfYmFyKioyKSAvICgxIC0gUl9iYXIqKjIpCgoKZGVmIF9lc3RpbWF0ZV9rYXBwYV92bShSX2Jhcik6CiAgICAiIiJFc3RpbWF0ZSB2b24gTWlzZXMga2FwcGEgZnJvbSBtZWFuIHJlc3VsdGFudCBsZW5ndGggKE1hcmRpYS1KdXBwKS4iIiIKICAgIFJfYmFyID0gbnAuY2xpcChSX2JhciwgMWUtMTAsIDEgLSAxZS0xMCkKICAgIHJldHVybiBSX2JhciAqICgyIC0gUl9iYXIqKjIpIC8gKDEgLSBSX2JhcioqMikKCgpkZWYgX2xvZ192b25fbWlzZXNfcGRmKHgsIG11LCBrYXBwYSk6CiAgICAiIiJMb2cgdm9uIE1pc2VzIFBERiB1c2luZyBpMGUgKGV4cG9uZW50aWFsbHktc2NhbGVkIEJlc3NlbCkgZm9yIG51bWVyaWNhbCBzdGFiaWxpdHkuIiIiCiAgICByZXR1cm4ga2FwcGEgKiAobnAuY29zKHggLSBtdSkgLSAxKSAtIG5wLmxvZygyICogbnAucGkpIC0gbnAubG9nKGkwZShrYXBwYSkpCgoKIyDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKIyBIWVBFUkJPTElDIEdNTTogbm9ybWFsaXppbmcgY29uc3RhbnQgY2FjaGUKIyDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKCmRlZiBfY29tcHV0ZV9sb2dfWihzaWdtYSwgZ3JpZF9yZXM9MTUwKToKICAgICIiIgogICAgQXBwcm94aW1hdGUgbG9nIFooc2lnbWEpIGZvciB0aGUgd3JhcHBlZC1ub3JtYWwgb24gdGhlIFBvaW5jYXJlIGRpc2suCiAgICBJbnRlZ3JhdGVzIGV4cCgtZF9IXjIvKDIqc2lnbWFeMikpIGFnYWluc3QgdGhlIGh5cGVyYm9saWMgYXJlYSBlbGVtZW50LgogICAgIiIiCiAgICB4ID0gbnAubGluc3BhY2UoLTAuOTk1LCAwLjk5NSwgZ3JpZF9yZXMpCiAgICBkeCA9IHhbMV0gLSB4WzBdCiAgICB4eCwgeXkgPSBucC5tZXNoZ3JpZCh4LCB4KQogICAgZ3JpZCA9IG5wLnN0YWNrKFt4eC5yYXZlbCgpLCB5eS5yYXZlbCgpXSwgYXhpcz0tMSkKICAgIHJfc3EgPSBucC5zdW0oZ3JpZCoqMiwgYXhpcz0xKQogICAgaW5zaWRlID0gcl9zcSA8IDAuOTkKICAgIHIgPSBucC5zcXJ0KHJfc3FbaW5zaWRlXSkKICAgIGRfSCA9IDIgKiBucC5hcmN0YW5oKG5wLmNsaXAociwgMCwgMC45OTk5KSkKICAgIGtlcm5lbCA9IG5wLmV4cCgtZF9IKioyIC8gKDIgKiBzaWdtYSoqMikpCiAgICBhcmVhID0gNC4wIC8gKDEgLSByX3NxW2luc2lkZV0pKioyCiAgICBaID0gbnAuc3VtKGtlcm5lbCAqIGFyZWEpICogZHggKiBkeAogICAgcmV0dXJuIG5wLmxvZyhtYXgoWiwgMWUtMzAwKSkKCgpfSFlQRVJfU0lHTUFfR1JJRCA9IE5vbmUKX0hZUEVSX0xPR19aX1ZBTFMgPSBOb25lCgoKZGVmIF9nZXRfbG9nX1pfaW50ZXJwKHNpZ21hKToKICAgICIiIkdldCBsb2cgWihzaWdtYSkgYnkgbGluZWFyIGludGVycG9sYXRpb24gZnJvbSBhIHByZWNvbXB1dGVkIGdyaWQgKGxhenkgaW5pdCkuIiIiCiAgICBnbG9iYWwgX0hZUEVSX1NJR01BX0dSSUQsIF9IWVBFUl9MT0dfWl9WQUxTCiAgICBpZiBfSFlQRVJfU0lHTUFfR1JJRCBpcyBOb25lOgogICAgICAgIF9IWVBFUl9TSUdNQV9HUklEID0gbnAubGluc3BhY2UoMC4wNSwgMy4wLCA2MCkKICAgICAgICBfSFlQRVJfTE9HX1pfVkFMUyA9IG5wLmFycmF5KFtfY29tcHV0ZV9sb2dfWihzKSBmb3IgcyBpbiBfSFlQRVJfU0lHTUFfR1JJRF0pCiAgICByZXR1cm4gZmxvYXQobnAuaW50ZXJwKG5wLmNsaXAoc2lnbWEsIDAuMDUsIDMuMCksIF9IWVBFUl9TSUdNQV9HUklELCBfSFlQRVJfTE9HX1pfVkFMUykpCgoKIyDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKIyBHTU0gQ0xVU1RFUklORyAgKGFsbCByZXR1cm46IGxhYmVscywgY2VudGVycywgaGlzdG9yeSkKIyDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKCmRlZiBldWNsaWRlYW5fZ21tKHBvaW50cywgaz0zLCBtYXhfaXRlcj0yMDAsIHRvbD0xZS02LCBzZWVkPTEyMyk6CiAgICAiIiIKICAgIEVNIGZvciBHYXVzc2lhbiBNaXh0dXJlIE1vZGVsIGluIEV1Y2xpZGVhbiBzcGFjZS4KCiAgICBQYXJhbWV0ZXJzCiAgICAtLS0tLS0tLS0tCiAgICBwb2ludHMgICA6IChOLCBEKSBhcnJheQogICAgayAgICAgICAgOiBudW1iZXIgb2YgY29tcG9uZW50cwogICAgbWF4X2l0ZXIgOiBtYXhpbXVtIEVNIGl0ZXJhdGlvbnMKICAgIHRvbCAgICAgIDogY29udmVyZ2VuY2UgdGhyZXNob2xkIG9uIGxvZy1saWtlbGlob29kIGNoYW5nZQogICAgc2VlZCAgICAgOiByYW5kb20gc2VlZAoKICAgIFJldHVybnMKICAgIC0tLS0tLS0KICAgIGxhYmVscyAgOiAoTiwpIGhhcmQgYXNzaWdubWVudHMgKGFyZ21heCBvZiByZXNwb25zaWJpbGl0aWVzKQogICAgbWVhbnMgICA6IChrLCBEKSBjb21wb25lbnQgbWVhbnMKICAgIGhpc3RvcnkgOiBsaXN0IG9mIGxvZy1saWtlbGlob29kIHBlciBpdGVyYXRpb24KICAgICIiIgogICAgcm5nID0gbnAucmFuZG9tLmRlZmF1bHRfcm5nKHNlZWQpCiAgICBOLCBkID0gcG9pbnRzLnNoYXBlCiAgICBpZHggPSBybmcuY2hvaWNlKE4sIHNpemU9aywgcmVwbGFjZT1GYWxzZSkKICAgIG1lYW5zID0gcG9pbnRzW2lkeF0uY29weSgpCiAgICBjb3ZzID0gW25wLmV5ZShkKSBmb3IgXyBpbiByYW5nZShrKV0KICAgIHdlaWdodHMgPSBucC5vbmVzKGspIC8gawogICAgaGlzdG9yeSA9IFtdCiAgICByZWcgPSAxZS02CiAgICByZXNwID0gbnAub25lcygoTiwgaykpIC8gawoKICAgIGZvciBfIGluIHJhbmdlKG1heF9pdGVyKToKICAgICAgICAjIEUtc3RlcAogICAgICAgIGxvZ19yZXNwID0gbnAuemVyb3MoKE4sIGspKQogICAgICAgIGZvciBqIGluIHJhbmdlKGspOgogICAgICAgICAgICBsb2dfcmVzcFs6LCBqXSA9IG5wLmxvZyh3ZWlnaHRzW2pdICsgMWUtMzApICsgX2xvZ19nYXVzc2lhbl9wZGYocG9pbnRzLCBtZWFuc1tqXSwgY292c1tqXSkKICAgICAgICBsb2dfbm9ybSA9IF9sb2dfc3VtX2V4cChsb2dfcmVzcCwgYXhpcz0xKQogICAgICAgIHJlc3AgPSBucC5leHAobG9nX3Jlc3AgLSBsb2dfbm9ybVs6LCBucC5uZXdheGlzXSkKICAgICAgICBsbCA9IGZsb2F0KG5wLnN1bShsb2dfbm9ybSkpCiAgICAgICAgaGlzdG9yeS5hcHBlbmQobGwpCiAgICAgICAgaWYgbGVuKGhpc3RvcnkpID4gMSBhbmQgYWJzKGhpc3RvcnlbLTFdIC0gaGlzdG9yeVstMl0pIDwgdG9sOgogICAgICAgICAgICBicmVhawoKICAgICAgICAjIE0tc3RlcAogICAgICAgIGZvciBqIGluIHJhbmdlKGspOgogICAgICAgICAgICByX2ogPSByZXNwWzosIGpdCiAgICAgICAgICAgIE5faiA9IG5wLnN1bShyX2opCiAgICAgICAgICAgIGlmIE5faiA8IDFlLTEwOgogICAgICAgICAgICAgICAgbWVhbnNbal0gPSBwb2ludHNbcm5nLmNob2ljZShOKV0KICAgICAgICAgICAgICAgIGNvdnNbal0gPSBucC5leWUoZCkKICAgICAgICAgICAgICAgIHdlaWdodHNbal0gPSAxLjAgLyBrCiAgICAgICAgICAgICAgICBjb250aW51ZQogICAgICAgICAgICBtZWFuc1tqXSA9IG5wLnN1bShyX2pbOiwgbnAubmV3YXhpc10gKiBwb2ludHMsIGF4aXM9MCkgLyBOX2oKICAgICAgICAgICAgZGlmZiA9IHBvaW50cyAtIG1lYW5zW2pdCiAgICAgICAgICAgIGNvdnNbal0gPSAoZGlmZi5UIEAgKGRpZmYgKiByX2pbOiwgbnAubmV3YXhpc10pKSAvIE5faiArIHJlZyAqIG5wLmV5ZShkKQogICAgICAgICAgICB3ZWlnaHRzW2pdID0gTl9qIC8gTgoKICAgIGxhYmVscyA9IG5wLmFyZ21heChyZXNwLCBheGlzPTEpCiAgICByZXR1cm4gbGFiZWxzLCBtZWFucywgaGlzdG9yeQoKCmRlZiBzcGhlcmljYWxfZ21tKHBvaW50c18zZCwgaz0zLCBtYXhfaXRlcj0yMDAsIHRvbD0xZS02LCBzZWVkPTEyMyk6CiAgICAiIiIKICAgIEVNIGZvciB2b24gTWlzZXMtRmlzaGVyIG1peHR1cmUgb24gdGhlIHVuaXQgc3BoZXJlIFNeMiAoM0QgdW5pdCB2ZWN0b3JzKS4KCiAgICBQYXJhbWV0ZXJzCiAgICAtLS0tLS0tLS0tCiAgICBwb2ludHNfM2QgOiAoTiwgMykgYXJyYXkgb2YgdW5pdCB2ZWN0b3JzCiAgICBrICAgICAgICAgOiBudW1iZXIgb2YgY29tcG9uZW50cwogICAgbWF4X2l0ZXIgIDogbWF4aW11bSBFTSBpdGVyYXRpb25zCiAgICB0b2wgICAgICAgOiBjb252ZXJnZW5jZSB0aHJlc2hvbGQKICAgIHNlZWQgICAgICA6IHJhbmRvbSBzZWVkCgogICAgUmV0dXJucwogICAgLS0tLS0tLQogICAgbGFiZWxzICA6IChOLCkgaGFyZCBhc3NpZ25tZW50cyAoYXJnbWF4IG9mIHJlc3BvbnNpYmlsaXRpZXMpCiAgICBtZWFucyAgIDogKGssIDMpIG1lYW4gZGlyZWN0aW9ucyAodW5pdCB2ZWN0b3JzKQogICAgaGlzdG9yeSA6IGxpc3Qgb2YgbG9nLWxpa2VsaWhvb2QgcGVyIGl0ZXJhdGlvbgogICAgIiIiCiAgICBybmcgPSBucC5yYW5kb20uZGVmYXVsdF9ybmcoc2VlZCkKICAgIE4sIHAgPSBwb2ludHNfM2Quc2hhcGUKICAgIGlkeCA9IHJuZy5jaG9pY2UoTiwgc2l6ZT1rLCByZXBsYWNlPUZhbHNlKQogICAgbWVhbnMgPSBwb2ludHNfM2RbaWR4XS5jb3B5KCkKICAgIG1lYW5zIC89IG5wLmxpbmFsZy5ub3JtKG1lYW5zLCBheGlzPTEsIGtlZXBkaW1zPVRydWUpCiAgICBrYXBwYXMgPSBucC5mdWxsKGssIDIwLjApCiAgICB3ZWlnaHRzID0gbnAub25lcyhrKSAvIGsKICAgIGhpc3RvcnkgPSBbXQogICAgcmVzcCA9IG5wLm9uZXMoKE4sIGspKSAvIGsKCiAgICBmb3IgXyBpbiByYW5nZShtYXhfaXRlcik6CiAgICAgICAgIyBFLXN0ZXAKICAgICAgICBsb2dfcmVzcCA9IG5wLnplcm9zKChOLCBrKSkKICAgICAgICBmb3IgaiBpbiByYW5nZShrKToKICAgICAgICAgICAgbG9nX3Jlc3BbOiwgal0gPSBucC5sb2cod2VpZ2h0c1tqXSArIDFlLTMwKSArIF9sb2dfdm1mX3BkZihwb2ludHNfM2QsIG1lYW5zW2pdLCBrYXBwYXNbal0sIHApCiAgICAgICAgbG9nX25vcm0gPSBfbG9nX3N1bV9leHAobG9nX3Jlc3AsIGF4aXM9MSkKICAgICAgICByZXNwID0gbnAuZXhwKGxvZ19yZXNwIC0gbG9nX25vcm1bOiwgbnAubmV3YXhpc10pCiAgICAgICAgbGwgPSBmbG9hdChucC5zdW0obG9nX25vcm0pKQogICAgICAgIGhpc3RvcnkuYXBwZW5kKGxsKQogICAgICAgIGlmIGxlbihoaXN0b3J5KSA%2BIDEgYW5kIGFicyhoaXN0b3J5Wy0xXSAtIGhpc3RvcnlbLTJdKSA8IHRvbDoKICAgICAgICAgICAgYnJlYWsKCiAgICAgICAgIyBNLXN0ZXAKICAgICAgICBmb3IgaiBpbiByYW5nZShrKToKICAgICAgICAgICAgcl9qID0gcmVzcFs6LCBqXQogICAgICAgICAgICBOX2ogPSBucC5zdW0ocl9qKQogICAgICAgICAgICBpZiBOX2ogPCAxZS0xMDoKICAgICAgICAgICAgICAgIG1lYW5zW2pdID0gcG9pbnRzXzNkW3JuZy5jaG9pY2UoTildCiAgICAgICAgICAgICAgICBrYXBwYXNbal0gPSAyMC4wCiAgICAgICAgICAgICAgICB3ZWlnaHRzW2pdID0gMS4wIC8gawogICAgICAgICAgICAgICAgY29udGludWUKICAgICAgICAgICAgcl9iYXJfdmVjID0gbnAuc3VtKHJfals6LCBucC5uZXdheGlzXSAqIHBvaW50c18zZCwgYXhpcz0wKQogICAgICAgICAgICByX25vcm0gPSBucC5saW5hbGcubm9ybShyX2Jhcl92ZWMpCiAgICAgICAgICAgIG1lYW5zW2pdID0gcl9iYXJfdmVjIC8gbWF4KHJfbm9ybSwgMWUtMTApCiAgICAgICAgICAgIGthcHBhc1tqXSA9IG5wLmNsaXAoX2VzdGltYXRlX2thcHBhX3ZtZihyX25vcm0gLyBOX2osIHApLCAwLjEsIDEwMDApCiAgICAgICAgICAgIHdlaWdodHNbal0gPSBOX2ogLyBOCgogICAgbGFiZWxzID0gbnAuYXJnbWF4KHJlc3AsIGF4aXM9MSkKICAgIHJldHVybiBsYWJlbHMsIG1lYW5zLCBoaXN0b3J5CgoKZGVmIHRvcnVzX2dtbShwb2ludHMsIGs9MywgbWF4X2l0ZXI9MjAwLCB0b2w9MWUtOCwgc2VlZD0xMjMpOgogICAgIiIiCiAgICBFTSBmb3IgcHJvZHVjdC1vZi12b24tTWlzZXMgbWl4dHVyZSBvbiB0aGUgZmxhdCB0b3J1cyBbMCwgMipwaSleMi4KCiAgICBQYXJhbWV0ZXJzCiAgICAtLS0tLS0tLS0tCiAgICBwb2ludHMgICA6IChOLCAyKSBhcnJheSBvZiBhbmdsZXMgaW4gWzAsIDIqcGkpCiAgICBrICAgICAgICA6IG51bWJlciBvZiBjb21wb25lbnRzCiAgICBtYXhfaXRlciA6IG1heGltdW0gRU0gaXRlcmF0aW9ucwogICAgdG9sICAgICAgOiBjb252ZXJnZW5jZSB0aHJlc2hvbGQKICAgIHNlZWQgICAgIDogcmFuZG9tIHNlZWQKCiAgICBSZXR1cm5zCiAgICAtLS0tLS0tCiAgICBsYWJlbHMgIDogKE4sKSBoYXJkIGFzc2lnbm1lbnRzIChhcmdtYXggb2YgcmVzcG9uc2liaWxpdGllcykKICAgIG11ICAgICAgOiAoaywgMikgbWVhbiBkaXJlY3Rpb25zIGluIFswLCAyKnBpKQogICAgaGlzdG9yeSA6IGxpc3Qgb2YgbG9nLWxpa2VsaWhvb2QgcGVyIGl0ZXJhdGlvbgogICAgIiIiCiAgICBybmcgPSBucC5yYW5kb20uUmFuZG9tU3RhdGUoc2VlZCkKICAgIE4sIEQgPSBwb2ludHMuc2hhcGUKICAgIGlkeCA9IHJuZy5jaG9pY2UoTiwgaywgcmVwbGFjZT1GYWxzZSkKICAgIG11ID0gcG9pbnRzW2lkeF0uY29weSgpCiAgICBrYXBwYSA9IG5wLmZ1bGwoKGssIEQpLCA1LjApCiAgICBwaV9rID0gbnAub25lcyhrKSAvIGsKICAgIGhpc3RvcnkgPSBbXQogICAgcmVzcCA9IG5wLm9uZXMoKE4sIGspKSAvIGsKCiAgICBmb3IgXyBpbiByYW5nZShtYXhfaXRlcik6CiAgICAgICAgIyBFLXN0ZXA6IGxvZyBwX2soeF9uKSA9IHN1bV9kIGxvZ192TSh4X25kIHwgbXVfa2QsIGthcHBhX2tkKQogICAgICAgIGxvZ19jb21wID0gbnAuemVyb3MoKE4sIGspKQogICAgICAgIGZvciBqIGluIHJhbmdlKGspOgogICAgICAgICAgICBmb3IgZCBpbiByYW5nZShEKToKICAgICAgICAgICAgICAgIGxvZ19jb21wWzosIGpdICs9IF9sb2dfdm9uX21pc2VzX3BkZihwb2ludHNbOiwgZF0sIG11W2osIGRdLCBrYXBwYVtqLCBkXSkKICAgICAgICBsb2dfdyA9IGxvZ19jb21wICsgbnAubG9nKHBpX2spW25wLm5ld2F4aXMsIDpdCiAgICAgICAgbG9nX25vcm0gPSBfbG9nX3N1bV9leHAobG9nX3csIGF4aXM9MSkKICAgICAgICByZXNwID0gbnAuZXhwKGxvZ193IC0gbG9nX25vcm1bOiwgbnAubmV3YXhpc10pCiAgICAgICAgbGwgPSBmbG9hdChucC5zdW0obG9nX25vcm0pKQogICAgICAgIGhpc3RvcnkuYXBwZW5kKGxsKQogICAgICAgIGlmIGxlbihoaXN0b3J5KSA%2BIDEgYW5kIGFicyhoaXN0b3J5Wy0xXSAtIGhpc3RvcnlbLTJdKSA8IHRvbDoKICAgICAgICAgICAgYnJlYWsKCiAgICAgICAgIyBNLXN0ZXAKICAgICAgICBOX2sgPSBucC5tYXhpbXVtKHJlc3Auc3VtKGF4aXM9MCksIDFlLTEwKQogICAgICAgIHBpX2sgPSBOX2sgLyBOCiAgICAgICAgZm9yIGogaW4gcmFuZ2Uoayk6CiAgICAgICAgICAgIGZvciBkIGluIHJhbmdlKEQpOgogICAgICAgICAgICAgICAgQyA9IG5wLnN1bShyZXNwWzosIGpdICogbnAuY29zKHBvaW50c1s6LCBkXSkpCiAgICAgICAgICAgICAgICBTID0gbnAuc3VtKHJlc3BbOiwgal0gKiBucC5zaW4ocG9pbnRzWzosIGRdKSkKICAgICAgICAgICAgICAgIG11W2osIGRdID0gbnAuYXJjdGFuMihTLCBDKSAlICgyICogbnAucGkpCiAgICAgICAgICAgICAgICBSX2JhciA9IG5wLnNxcnQoQyoqMiArIFMqKjIpIC8gTl9rW2pdCiAgICAgICAgICAgICAgICBrYXBwYVtqLCBkXSA9IF9lc3RpbWF0ZV9rYXBwYV92bShSX2JhcikKCiAgICBsYWJlbHMgPSBucC5hcmdtYXgocmVzcCwgYXhpcz0xKQogICAgcmV0dXJuIGxhYmVscywgbXUsIGhpc3RvcnkKCgpkZWYgaHlwZXJib2xpY19nbW0ocG9pbnRzLCBrPTMsIG1heF9pdGVyPTEwMCwgdG9sPTFlLTYsIHNlZWQ9MTIzKToKICAgICIiIgogICAgRU0gZm9yIHdyYXBwZWQtbm9ybWFsIG1peHR1cmUgb24gdGhlIFBvaW5jYXJlIGRpc2suCiAgICBVc2VzIGEgbGF6eS1wcmVjb21wdXRlZCBub3JtYWxpemluZy1jb25zdGFudCB0YWJsZSBmb3IgZWZmaWNpZW5jeS4KICAgIFdhcm0tc3RhcnRzIHdpdGggYSBmZXcgaXRlcmF0aW9ucyBvZiBoeXBlcmJvbGljIEstbWVhbnMuCgogICAgUGFyYW1ldGVycwogICAgLS0tLS0tLS0tLQogICAgcG9pbnRzICAgOiAoTiwgMikgYXJyYXkgb2YgcG9pbnRzIGluc2lkZSB0aGUgdW5pdCBkaXNrCiAgICBrICAgICAgICA6IG51bWJlciBvZiBjb21wb25lbnRzCiAgICBtYXhfaXRlciA6IG1heGltdW0gRU0gaXRlcmF0aW9ucwogICAgdG9sICAgICAgOiBjb252ZXJnZW5jZSB0aHJlc2hvbGQKICAgIHNlZWQgICAgIDogcmFuZG9tIHNlZWQKCiAgICBSZXR1cm5zCiAgICAtLS0tLS0tCiAgICBsYWJlbHMgIDogKE4sKSBoYXJkIGFzc2lnbm1lbnRzIChhcmdtYXggb2YgcmVzcG9uc2liaWxpdGllcykKICAgIG1lYW5zICAgOiAoaywgMikgY29tcG9uZW50IGNlbnRlcnMgaW4gdGhlIFBvaW5jYXJlIGRpc2sKICAgIGhpc3RvcnkgOiBsaXN0IG9mIGxvZy1saWtlbGlob29kIHBlciBpdGVyYXRpb24KICAgICIiIgogICAgcm5nID0gbnAucmFuZG9tLmRlZmF1bHRfcm5nKHNlZWQpCiAgICBOID0gbGVuKHBvaW50cykKCiAgICAjIFdhcm0tc3RhcnQgd2l0aCBoeXBlcmJvbGljIEstbWVhbnMKICAgIGlkeCA9IHJuZy5jaG9pY2UoTiwgc2l6ZT1rLCByZXBsYWNlPUZhbHNlKQogICAgbWVhbnMgPSBwb2ludHNbaWR4XS5jb3B5KCkKICAgIGZvciBfIGluIHJhbmdlKDE1KToKICAgICAgICBEID0gX3BvaW5jYXJlX21hdHJpeChwb2ludHMsIG1lYW5zKQogICAgICAgIGluaXRfbGFiZWxzID0gbnAuYXJnbWluKEQsIGF4aXM9MSkKICAgICAgICBuZXdfbWVhbnMgPSBtZWFucy5jb3B5KCkKICAgICAgICBmb3IgaiBpbiByYW5nZShrKToKICAgICAgICAgICAgbSA9IHBvaW50c1tpbml0X2xhYmVscyA9PSBqXQogICAgICAgICAgICBpZiBsZW4obSkgPiAwOgogICAgICAgICAgICAgICAgbmV3X21lYW5zW2pdID0gd2VpZ2h0ZWRfZWluc3RlaW5fbWlkcG9pbnQobSwgbnAub25lcyhsZW4obSkpKQogICAgICAgIGlmIG5wLm1heChwb2luY2FyZV9kaXN0YW5jZShtZWFucywgbmV3X21lYW5zKSkgPCAxZS02OgogICAgICAgICAgICBicmVhawogICAgICAgIG1lYW5zID0gbmV3X21lYW5zCgogICAgIyBJbml0aWFsaXplIHNpZ21hcyBmcm9tIEstbWVhbnMgY2x1c3RlciBzcHJlYWQKICAgIEQgPSBfcG9pbmNhcmVfbWF0cml4KHBvaW50cywgbWVhbnMpCiAgICBpbml0X2xhYmVscyA9IG5wLmFyZ21pbihELCBheGlzPTEpCiAgICBzaWdtYXMgPSBucC5hcnJheShbCiAgICAgICAgbnAuY2xpcCgKICAgICAgICAgICAgbnAuc3FydChucC5tZWFuKERbaW5pdF9sYWJlbHMgPT0gaiwgal0qKjIpKSBpZiBucC5hbnkoaW5pdF9sYWJlbHMgPT0gaikgZWxzZSAwLjUsCiAgICAgICAgICAgIDAuMDUsIDIuMCwKICAgICAgICApCiAgICAgICAgZm9yIGogaW4gcmFuZ2UoaykKICAgIF0pCiAgICB3ZWlnaHRzID0gbnAub25lcyhrKSAvIGsKICAgIGhpc3RvcnkgPSBbXQogICAgcmVzcCA9IG5wLm9uZXMoKE4sIGspKSAvIGsKCiAgICBmb3IgXyBpbiByYW5nZShtYXhfaXRlcik6CiAgICAgICAgIyBFLXN0ZXAKICAgICAgICBkaXN0X21hdCA9IF9wb2luY2FyZV9tYXRyaXgocG9pbnRzLCBtZWFucykKICAgICAgICBsb2dfZGVucyA9IG5wLnplcm9zKChOLCBrKSkKICAgICAgICBmb3IgaiBpbiByYW5nZShrKToKICAgICAgICAgICAgbG9nX1ogPSBfZ2V0X2xvZ19aX2ludGVycChzaWdtYXNbal0pCiAgICAgICAgICAgIGxvZ19kZW5zWzosIGpdID0gKAogICAgICAgICAgICAgICAgbnAubG9nKHdlaWdodHNbal0gKyAxZS0zMCkKICAgICAgICAgICAgICAgIC0gbG9nX1oKICAgICAgICAgICAgICAgIC0gZGlzdF9tYXRbOiwgal0qKjIgLyAoMiAqIHNpZ21hc1tqXSoqMikKICAgICAgICAgICAgKQoKICAgICAgICBsb2dfc3VtID0gX2xvZ19zdW1fZXhwKGxvZ19kZW5zLCBheGlzPTEpCiAgICAgICAgcmVzcCA9IG5wLmV4cChsb2dfZGVucyAtIGxvZ19zdW1bOiwgbnAubmV3YXhpc10pCiAgICAgICAgcmVzcCA9IG5wLmNsaXAocmVzcCwgMWUtMTUsIE5vbmUpCiAgICAgICAgcmVzcCAvPSByZXNwLnN1bShheGlzPTEsIGtlZXBkaW1zPVRydWUpCiAgICAgICAgbGwgPSBmbG9hdChucC5zdW0obG9nX3N1bSkpCiAgICAgICAgaGlzdG9yeS5hcHBlbmQobGwpCiAgICAgICAgaWYgbGVuKGhpc3RvcnkpID4gMSBhbmQgYWJzKGhpc3RvcnlbLTFdIC0gaGlzdG9yeVstMl0pIDwgdG9sOgogICAgICAgICAgICBicmVhawoKICAgICAgICAjIE0tc3RlcAogICAgICAgIE5fayA9IHJlc3Auc3VtKGF4aXM9MCkKICAgICAgICBuZXdfbWVhbnMgPSBucC56ZXJvc19saWtlKG1lYW5zKQogICAgICAgIG5ld19zaWdtYXMgPSBucC56ZXJvcyhrKQogICAgICAgIGZvciBqIGluIHJhbmdlKGspOgogICAgICAgICAgICBuZXdfbWVhbnNbal0gPSB3ZWlnaHRlZF9laW5zdGVpbl9taWRwb2ludChwb2ludHMsIHJlc3BbOiwgal0pCiAgICAgICAgICAgIGRpc3RzID0gcG9pbmNhcmVfZGlzdGFuY2UocG9pbnRzLCBuZXdfbWVhbnNbal0pCiAgICAgICAgICAgIG5ld19zaWdtYXNbal0gPSBucC5jbGlwKAogICAgICAgICAgICAgICAgbnAuc3FydChucC5zdW0ocmVzcFs6LCBqXSAqIGRpc3RzKioyKSAvIG1heChOX2tbal0sIDFlLTEwKSksCiAgICAgICAgICAgICAgICAwLjA1LCAzLjAsCiAgICAgICAgICAgICkKICAgICAgICBtZWFucyA9IG5ld19tZWFucwogICAgICAgIHNpZ21hcyA9IG5ld19zaWdtYXMKICAgICAgICB3ZWlnaHRzID0gTl9rIC8gTgoKICAgIGxhYmVscyA9IG5wLmFyZ21heChyZXNwLCBheGlzPTEpCiAgICByZXR1cm4gbGFiZWxzLCBtZWFucywgaGlzdG9yeQoKCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACiMgVkFMSURBVElPTgojIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAoKZGVmIGNvbXB1dGVfZGlzdGFuY2VfbWF0cml4KHBvaW50cywgZGlzdF9mbik6CiAgICAiIiIKICAgIEJ1aWxkIGFuIE4geCBOIHN5bW1ldHJpYyBkaXN0YW5jZSBtYXRyaXggdXNpbmcgZGlzdF9mbih1LCB2KSAtPiBzY2FsYXIuCiAgICBQb2ludHMgY2FuIGJlIGFueSBhcnJheTsgZGlzdF9mbiByZWNlaXZlcyB0d28gcm93cy4KICAgICIiIgogICAgbiA9IGxlbihwb2ludHMpCiAgICBEID0gbnAuemVyb3MoKG4sIG4pKQogICAgZm9yIGkgaW4gcmFuZ2Uobik6CiAgICAgICAgZm9yIGogaW4gcmFuZ2UoaSArIDEsIG4pOgogICAgICAgICAgICBkID0gZmxvYXQoZGlzdF9mbihwb2ludHNbaV0sIHBvaW50c1tqXSkpCiAgICAgICAgICAgIERbaSwgal0gPSBkCiAgICAgICAgICAgIERbaiwgaV0gPSBkCiAgICByZXR1cm4gRAoKCmRlZiBzaWxob3VldHRlX2Zyb21fbWF0cml4KEQsIGxhYmVscyk6CiAgICAiIiIKICAgIE1lYW4gc2lsaG91ZXR0ZSBzY29yZSBmcm9tIGEgcHJlY29tcHV0ZWQgTiB4IE4gZGlzdGFuY2UgbWF0cml4LgogICAgcyhpKSA9IChiKGkpIC0gYShpKSkgLyBtYXgoYShpKSwgYihpKSkKICAgIGEoaSkgPSBtZWFuIGludHJhLWNsdXN0ZXIgZGlzdGFuY2U7IGIoaSkgPSBtaW4gbWVhbiBpbnRlci1jbHVzdGVyIGRpc3RhbmNlLgogICAgUmV0dXJucyBtZWFuIHNpbGhvdWV0dGUgaW4gWy0xLCAxXS4gUmV0dXJucyAwIGZvciBzaW5nbGUtY2x1c3RlciBpbnB1dHMuCiAgICAiIiIKICAgIG4gPSBsZW4obGFiZWxzKQogICAgdW5pcXVlX2xhYmVscyA9IG5wLnVuaXF1ZShsYWJlbHMpCiAgICBpZiBsZW4odW5pcXVlX2xhYmVscykgPCAyOgogICAgICAgIHJldHVybiAwLjAKCiAgICBzID0gbnAuemVyb3MobikKICAgIGZvciBpIGluIHJhbmdlKG4pOgogICAgICAgIHNhbWUgPSAobGFiZWxzID09IGxhYmVsc1tpXSkKICAgICAgICBzYW1lW2ldID0gRmFsc2UKICAgICAgICBpZiBub3Qgc2FtZS5hbnkoKToKICAgICAgICAgICAgc1tpXSA9IDAuMAogICAgICAgICAgICBjb250aW51ZQogICAgICAgIGFfaSA9IGZsb2F0KG5wLm1lYW4oRFtpLCBzYW1lXSkpCgogICAgICAgIGJfaSA9IG5wLmluZgogICAgICAgIGZvciBjIGluIHVuaXF1ZV9sYWJlbHM6CiAgICAgICAgICAgIGlmIGMgPT0gbGFiZWxzW2ldOgogICAgICAgICAgICAgICAgY29udGludWUKICAgICAgICAgICAgb3RoZXIgPSBsYWJlbHMgPT0gYwogICAgICAgICAgICBpZiBub3Qgb3RoZXIuYW55KCk6CiAgICAgICAgICAgICAgICBjb250aW51ZQogICAgICAgICAgICBiX2kgPSBtaW4oYl9pLCBmbG9hdChucC5tZWFuKERbaSwgb3RoZXJdKSkpCgogICAgICAgIGRlbm9tID0gbWF4KGFfaSwgYl9pKQogICAgICAgIHNbaV0gPSAoYl9pIC0gYV9pKSAvIGRlbm9tIGlmIGRlbm9tID4gMCBlbHNlIDAuMAoKICAgIHJldHVybiBmbG9hdChucC5tZWFuKHMpKQoKCmRlZiBwdmVfc2NvcmUoRCwgbGFiZWxzKToKICAgICIiIgogICAgUHJvcG9ydGlvbiBvZiBWYXJpYW5jZSBFeHBsYWluZWQgZnJvbSBhIHByZWNvbXB1dGVkIE4geCBOIGRpc3RhbmNlIG1hdHJpeC4KICAgIFBWRSA9IDEgLSBUV0NTU19LIC8gVFdDU1NfMQogICAgd2hlcmUgVFdDU1MgdXNlcyBzcXVhcmVkIGRpc3RhbmNlczogc3VtX3tjbHVzdGVyIGN9IHN1bV97aSBpbiBjfSBkKGksIGNlbnRyb2lkX2MpXjIuCiAgICBTaW5jZSB3ZSB3b3JrIGZyb20gZGlzdGFuY2UgbWF0cmljZXMsIFRXQ1NTIGlzIGFwcHJveGltYXRlZCBhcwogICAgc3VtX2MgKHN1bV97aSxqIGluIGN9IGRfe2lqfV4yKSAvICgyICogbl9jKS4KCiAgICBSZXR1cm5zIFBWRSBpbiBbMCwgMV0uIEhpZ2hlciBpcyBiZXR0ZXIuCiAgICAiIiIKICAgIEQgPSBucC5hc2FycmF5KEQsIGR0eXBlPWZsb2F0KQogICAgbiA9IGxlbihsYWJlbHMpCiAgICB1bmlxdWUgPSBucC51bmlxdWUobGFiZWxzKQoKICAgIHR3Y3NzX2sgPSAwLjAKICAgIGZvciBjIGluIHVuaXF1ZToKICAgICAgICBtYXNrID0gbGFiZWxzID09IGMKICAgICAgICBuX2MgPSBpbnQobWFzay5zdW0oKSkKICAgICAgICBpZiBuX2MgPCAyOgogICAgICAgICAgICBjb250aW51ZQogICAgICAgIHN1YiA9IERbbnAuaXhfKG1hc2ssIG1hc2spXQogICAgICAgIHR3Y3NzX2sgKz0gbnAuc3VtKHN1YioqMikgLyAoMiAqIG5fYykKCiAgICB0d2Nzc18xID0gbnAuc3VtKEQqKjIpIC8gKDIgKiBuKQogICAgaWYgdHdjc3NfMSA8IDFlLTE1OgogICAgICAgIHJldHVybiAwLjAKICAgIHJldHVybiBmbG9hdCgxLjAgLSB0d2Nzc19rIC8gdHdjc3NfMSkKCgojIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAojIERBVEEgR0VORVJBVElPTgojIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAoKZGVmIGdlbmVyYXRlX3NwaGVyZV9jbHVzdGVycyhuX3BvaW50cz0zMDAsIGs9NSwgc3ByZWFkX2RlZz0xNSwgc2VlZD00Mik6CiAgICAiIiIKICAgIEdlbmVyYXRlIHN5bnRoZXRpYyBjbHVzdGVyZWQgcG9pbnRzIG9uIHRoZSB1bml0IHNwaGVyZS4KCiAgICBSZXR1cm5zCiAgICAtLS0tLS0tCiAgICBsYXRzLCBsb25zICAgOiAxLUQgYXJyYXlzIGluIHJhZGlhbnMKICAgIHRydWVfbGFiZWxzICA6IChOLCkgaW50ZWdlciBsYWJlbHMKICAgICIiIgogICAgcm5nID0gbnAucmFuZG9tLmRlZmF1bHRfcm5nKHNlZWQpCiAgICBzcHJlYWQgPSBucC5kZWcycmFkKHNwcmVhZF9kZWcpCiAgICBjX2xhdHNfZGVnID0gbnAuYXJyYXkoWzYwLCAtNDAsIDEwLCAtNjAsIDM1LCA4MCwgLTIwLCA1MCwgLTcwLCAyNV0pCiAgICBjX2xvbnNfZGVnID0gbnAuYXJyYXkoWzMwLCAtNjAsIDE1MCwgODAsIC0xMzAsIDYwLCAyMDAsIC05MCwgLTMwLCAxMDBdKQogICAgY19sYXRzID0gbnAuZGVnMnJhZChjX2xhdHNfZGVnWzprXSkKICAgIGNfbG9ucyA9IG5wLmRlZzJyYWQoY19sb25zX2RlZ1s6a10pCiAgICBwcGMgPSBuX3BvaW50cyAvLyBrCiAgICBhbGxfbGF0cywgYWxsX2xvbnMsIGFsbF9sYWJlbHMgPSBbXSwgW10sIFtdCiAgICBmb3IgaSBpbiByYW5nZShrKToKICAgICAgICBuID0gcHBjIGlmIGkgPCBrIC0gMSBlbHNlIG5fcG9pbnRzIC0gcHBjICogKGsgLSAxKQogICAgICAgIGRsYXQgPSBybmcubm9ybWFsKDAsIHNwcmVhZCwgbikKICAgICAgICBkbG9uID0gcm5nLm5vcm1hbCgwLCBzcHJlYWQgLyBtYXgobnAuY29zKGNfbGF0c1tpXSksIDAuMSksIG4pCiAgICAgICAgbGF0cyA9IG5wLmNsaXAoY19sYXRzW2ldICsgZGxhdCwgLW5wLnBpIC8gMiwgbnAucGkgLyAyKQogICAgICAgIGxvbnMgPSAoY19sb25zW2ldICsgZGxvbiArIG5wLnBpKSAlICgyICogbnAucGkpIC0gbnAucGkKICAgICAgICBhbGxfbGF0cy5hcHBlbmQobGF0cykKICAgICAgICBhbGxfbG9ucy5hcHBlbmQobG9ucykKICAgICAgICBhbGxfbGFiZWxzLmFwcGVuZChucC5mdWxsKG4sIGkpKQogICAgcmV0dXJuIG5wLmNvbmNhdGVuYXRlKGFsbF9sYXRzKSwgbnAuY29uY2F0ZW5hdGUoYWxsX2xvbnMpLCBucC5jb25jYXRlbmF0ZShhbGxfbGFiZWxzKQoKCmRlZiBnZW5lcmF0ZV90b3J1c19jbHVzdGVycyhuX3BvaW50cz0zMDAsIGs9NSwgc3ByZWFkPTAuMzUsIHNlZWQ9NDIpOgogICAgIiIiCiAgICBHZW5lcmF0ZSBzeW50aGV0aWMgY2x1c3RlcmVkIHBvaW50cyBvbiB0aGUgZmxhdCB0b3J1cyBbMCwgMipwaSleMi4KICAgIFNvbWUgY2VudGVycyBwbGFjZWQgbmVhciBib3VuZGFyaWVzIHRvIGhpZ2hsaWdodCB0b3JvaWRhbCB3cmFwYXJvdW5kLgoKICAgIFJldHVybnMKICAgIC0tLS0tLS0KICAgIHBvaW50cyAgICAgIDogKE4sIDIpIGFycmF5CiAgICB0cnVlX2xhYmVscyA6IChOLCkgaW50ZWdlciBsYWJlbHMKICAgICIiIgogICAgcm5nID0gbnAucmFuZG9tLmRlZmF1bHRfcm5nKHNlZWQpCiAgICBjb25maWdzID0gWwogICAgICAgICgwLjMsIDAuMiksICgzLjUsIDEuNSksICgxLjAsIDQuNSksICg1LjAsIDUuOCksICg0LjAsIDMuMiksCiAgICAgICAgKDIuMCwgMi4wKSwgKDEuNSwgNS41KSwgKDUuNSwgMS4wKSwgKDMuMCwgNC4wKSwgKDAuNSwgMy4wKSwKICAgIF0KICAgIGNlbnRlcnMgPSBucC5hcnJheShjb25maWdzWzprXSkKICAgIHBwYyA9IG5fcG9pbnRzIC8vIGsKICAgIGFsbF9wdHMsIGFsbF9sYWJlbHMgPSBbXSwgW10KICAgIGZvciBpIGluIHJhbmdlKGspOgogICAgICAgIG4gPSBwcGMgaWYgaSA8IGsgLSAxIGVsc2Ugbl9wb2ludHMgLSBwcGMgKiAoayAtIDEpCiAgICAgICAgcHRzID0gKGNlbnRlcnNbaV0gKyBybmcubm9ybWFsKDAsIHNwcmVhZCwgKG4sIDIpKSkgJSAoMiAqIG5wLnBpKQogICAgICAgIGFsbF9wdHMuYXBwZW5kKHB0cykKICAgICAgICBhbGxfbGFiZWxzLmFwcGVuZChucC5mdWxsKG4sIGkpKQogICAgcmV0dXJuIG5wLnZzdGFjayhhbGxfcHRzKSwgbnAuY29uY2F0ZW5hdGUoYWxsX2xhYmVscykKCgpkZWYgZ2VuZXJhdGVfaHlwZXJib2xpY19jbHVzdGVycyhuX3BvaW50cz0zMDAsIGs9NSwgc3ByZWFkPTAuMDgsIHNlZWQ9NDIpOgogICAgIiIiCiAgICBHZW5lcmF0ZSBzeW50aGV0aWMgY2x1c3RlcmVkIHBvaW50cyBpbiB0aGUgUG9pbmNhcmUgZGlzay4KICAgIENlbnRlcnMgcGxhY2VkIGF0IHZhcnlpbmcgZGVwdGhzIHRvIGRlbW9uc3RyYXRlIGh5cGVyYm9saWMgZ2VvbWV0cnkgZWZmZWN0cy4KCiAgICBSZXR1cm5zCiAgICAtLS0tLS0tCiAgICBwb2ludHMgICAgICA6IChOLCAyKSBhcnJheSBpbnNpZGUgdGhlIHVuaXQgZGlzawogICAgdHJ1ZV9sYWJlbHMgOiAoTiwpIGludGVnZXIgbGFiZWxzCiAgICBjZW50ZXJzICAgICA6IChrLCAyKSBzZWVkIGNlbnRlciBjb29yZGluYXRlcwogICAgIiIiCiAgICBybmcgPSBucC5yYW5kb20uZGVmYXVsdF9ybmcoc2VlZCkKICAgIGNvbmZpZ3MgPSBbCiAgICAgICAgKDAuMTUsIDAuMCksICgwLjUwLCAyLjApLCAoMC43NSwgNC4yKSwgKDAuODgsIDEuMiksICgwLjYwLCA1LjApLAogICAgICAgICgwLjMwLCAzLjUpLCAoMC43MCwgMC41KSwgKDAuNDUsIDUuOCksICgwLjgyLCAzLjApLCAoMC4yMCwgMS44KSwKICAgIF0KICAgIGNlbnRlcnMgPSBucC5hcnJheShbW3IgKiBucC5jb3ModCksIHIgKiBucC5zaW4odCldIGZvciByLCB0IGluIGNvbmZpZ3NbOmtdXSkKICAgIHBwYyA9IG5fcG9pbnRzIC8vIGsKICAgIGFsbF9wdHMsIGFsbF9sYWJlbHMgPSBbXSwgW10KICAgIGZvciBpIGluIHJhbmdlKGspOgogICAgICAgIG4gPSBwcGMgaWYgaSA8IGsgLSAxIGVsc2Ugbl9wb2ludHMgLSBwcGMgKiAoayAtIDEpCiAgICAgICAgcGVydCA9IHJuZy5ub3JtYWwoMCwgc3ByZWFkLCAobiwgMikpCiAgICAgICAgbm9ybXMgPSBucC5saW5hbGcubm9ybShwZXJ0LCBheGlzPTEsIGtlZXBkaW1zPVRydWUpCiAgICAgICAgcGVydCA9IG5wLndoZXJlKG5vcm1zID4gMC40LCBwZXJ0ICogMC40IC8gbm9ybXMsIHBlcnQpCiAgICAgICAgcHRzID0gbW9iaXVzX2FkZGl0aW9uKGNlbnRlcnNbaV0sIHBlcnQpCiAgICAgICAgYWxsX3B0cy5hcHBlbmQocHRzKQogICAgICAgIGFsbF9sYWJlbHMuYXBwZW5kKG5wLmZ1bGwobiwgaSkpCiAgICByZXR1cm4gbnAudnN0YWNrKGFsbF9wdHMpLCBucC5jb25jYXRlbmF0ZShhbGxfbGFiZWxzKSwgY2VudGVycwoKCmRlZiBnZW5lcmF0ZV9ldWNsaWRlYW5fY2x1c3RlcnMobl9wb2ludHM9MzAwLCBrPTQsIHNlZWQ9NDIpOgogICAgIiIiCiAgICBHZW5lcmF0ZSAyRCBHYXVzc2lhbiBjbHVzdGVycyB3aXRoIGRpZmZlcmVudCBjb3ZhcmlhbmNlIHNoYXBlcyBmb3IgR01NIGRlbW9zLgoKICAgIFJldHVybnMKICAgIC0tLS0tLS0KICAgIHBvaW50cyAgICAgIDogKE4sIDIpIGFycmF5CiAgICB0cnVlX2xhYmVscyA6IChOLCkgaW50ZWdlciBsYWJlbHMKICAgICIiIgogICAgcm5nID0gbnAucmFuZG9tLmRlZmF1bHRfcm5nKHNlZWQpCiAgICBjb25maWdzID0gWwogICAgICAgIChucC5hcnJheShbMC4wLCAwLjBdKSwgICBucC5hcnJheShbWzEuMCwgMC4wXSwgIFswLjAsIDEuMF1dKSksCiAgICAgICAgKG5wLmFycmF5KFs1LjAsIDUuMF0pLCAgIG5wLmFycmF5KFtbMy4wLCAyLjJdLCAgWzIuMiwgMi4wXV0pKSwKICAgICAgICAobnAuYXJyYXkoWy00LjAsIDQuMF0pLCAgbnAuYXJyYXkoW1s0LjAsIDAuMF0sICBbMC4wLCAwLjNdXSkpLAogICAgICAgIChucC5hcnJheShbMy4wLCAtMy4wXSksICBucC5hcnJheShbWzAuMywgMC4xXSwgIFswLjEsIDAuM11dKSksCiAgICAgICAgKG5wLmFycmF5KFstMy4wLCAtMS4wXSksIG5wLmFycmF5KFtbMS41LCAwLjhdLCAgWzAuOCwgMC44XV0pKSwKICAgIF1bOmtdCiAgICBwcGMgPSBuX3BvaW50cyAvLyBrCiAgICBhbGxfcHRzLCBhbGxfbGFiZWxzID0gW10sIFtdCiAgICBmb3IgaSwgKG11LCBjb3YpIGluIGVudW1lcmF0ZShjb25maWdzKToKICAgICAgICBuID0gcHBjIGlmIGkgPCBrIC0gMSBlbHNlIG5fcG9pbnRzIC0gcHBjICogKGsgLSAxKQogICAgICAgIHB0cyA9IHJuZy5tdWx0aXZhcmlhdGVfbm9ybWFsKG11LCBjb3YsIHNpemU9bikKICAgICAgICBhbGxfcHRzLmFwcGVuZChwdHMpCiAgICAgICAgYWxsX2xhYmVscy5hcHBlbmQobnAuZnVsbChuLCBpKSkKICAgIHB0cyA9IG5wLnZzdGFjayhhbGxfcHRzKQogICAgbGJscyA9IG5wLmNvbmNhdGVuYXRlKGFsbF9sYWJlbHMpCiAgICBwZXJtID0gcm5nLnBlcm11dGF0aW9uKGxlbihwdHMpKQogICAgcmV0dXJuIHB0c1twZXJtXSwgbGJsc1twZXJtXQoKCmRlZiBnZW5lcmF0ZV9taXhlZF9kYXRhKG5fcG9pbnRzPTMwMCwgbl9jbHVzdGVycz01LCBzZWVkPTQyKToKICAgICIiIgogICAgR2VuZXJhdGUgbWl4ZWQgZ2VvZ3JhcGhpYyArIGNhdGVnb3JpY2FsIGRhdGEgZm9yIEdvd2VyIC8gSy1NZWRvaWRzIGRlbW9zLgogICAgSW5jbHVkZXMgY2x1c3RlcnMgdGhhdCBhcmUgZ2VvZ3JhcGhpY2FsbHkgY2xvc2UgYnV0IGNhdGVnb3JpY2FsbHkgZGlmZmVyZW50LAogICAgYW5kIGNsdXN0ZXJzIHRoYXQgYXJlIGdlb2dyYXBoaWNhbGx5IGZhciBidXQgY2F0ZWdvcmljYWxseSBzaW1pbGFyLgoKICAgIFJldHVybnMKICAgIC0tLS0tLS0KICAgIGRpY3Qgd2l0aCBrZXlzOgogICAgICAnbGF0cycsICdsb25zJyAgIDogcmFkaWFucwogICAgICAnY2xpbWF0ZScgICAgICAgIDogc3RyaW5nIGFycmF5CiAgICAgICd0ZXJyYWluJyAgICAgICAgOiBzdHJpbmcgYXJyYXkKICAgICAgJ3RydWVfbGFiZWxzJyAgICA6IGludGVnZXIgYXJyYXkKICAgICAgJ2NsdXN0ZXJfZGVmcycgICA6IGxpc3Qgb2YgY2x1c3RlciBkZWZpbml0aW9uIHR1cGxlcwogICAgIiIiCiAgICBybmcgPSBucC5yYW5kb20uZGVmYXVsdF9ybmcoc2VlZCkKICAgIHNwcmVhZF9yYWQgPSBucC5kZWcycmFkKDEyKQogICAgY2x1c3Rlcl9kZWZzID0gWwogICAgICAgICgyMCwgNDAsICAgJ3Ryb3BpY2FsJywgICdjb2FzdGFsJywgICAwLjg1LCAwLjgwKSwKICAgICAgICAoMjUsIDUwLCAgICdhcmlkJywgICAgICAncGxhaW5zJywgICAgMC44NSwgMC44MCksCiAgICAgICAgKC01MCwgLTcwLCAncG9sYXInLCAgICAgJ21vdW50YWluJywgIDAuOTAsIDAuODUpLAogICAgICAgICg1NSwgMTAsICAgJ3RlbXBlcmF0ZScsICdmb3Jlc3QnLCAgICAwLjg1LCAwLjgwKSwKICAgICAgICAoNTAsIDE0MCwgICd0ZW1wZXJhdGUnLCAnZm9yZXN0JywgICAgMC44NSwgMC44MCksCiAgICBdWzpuX2NsdXN0ZXJzXQogICAgcHBjID0gbl9wb2ludHMgLy8gbl9jbHVzdGVycwogICAgYWxsX2xhdHMsIGFsbF9sb25zID0gW10sIFtdCiAgICBhbGxfY2xpbWF0ZXMsIGFsbF90ZXJyYWlucywgYWxsX2xhYmVscyA9IFtdLCBbXSwgW10KICAgIGZvciBpLCAoY2xhdCwgY2xvbiwgZG9tX2MsIGRvbV90LCBjX3B1ciwgdF9wdXIpIGluIGVudW1lcmF0ZShjbHVzdGVyX2RlZnMpOgogICAgICAgIG4gPSBwcGMgaWYgaSA8IG5fY2x1c3RlcnMgLSAxIGVsc2Ugbl9wb2ludHMgLSBwcGMgKiAobl9jbHVzdGVycyAtIDEpCiAgICAgICAgY2xhdF9yLCBjbG9uX3IgPSBucC5kZWcycmFkKGNsYXQpLCBucC5kZWcycmFkKGNsb24pCiAgICAgICAgZGxhdCA9IHJuZy5ub3JtYWwoMCwgc3ByZWFkX3JhZCwgbikKICAgICAgICBkbG9uID0gcm5nLm5vcm1hbCgwLCBzcHJlYWRfcmFkIC8gbWF4KG5wLmNvcyhjbGF0X3IpLCAwLjEpLCBuKQogICAgICAgIGxhdHMgPSBucC5jbGlwKGNsYXRfciArIGRsYXQsIC1ucC5waSAvIDIsIG5wLnBpIC8gMikKICAgICAgICBsb25zID0gKGNsb25fciArIGRsb24gKyBucC5waSkgJSAoMiAqIG5wLnBpKSAtIG5wLnBpCiAgICAgICAgY2xpbWF0ZXMgPSBbZG9tX2MgaWYgcm5nLnJhbmRvbSgpIDwgY19wdXIgZWxzZSBybmcuY2hvaWNlKENMSU1BVEVTKSBmb3IgXyBpbiByYW5nZShuKV0KICAgICAgICB0ZXJyYWlucyA9IFtkb21fdCBpZiBybmcucmFuZG9tKCkgPCB0X3B1ciBlbHNlIHJuZy5jaG9pY2UoVEVSUkFJTlMpIGZvciBfIGluIHJhbmdlKG4pXQogICAgICAgIGFsbF9sYXRzLmFwcGVuZChsYXRzKQogICAgICAgIGFsbF9sb25zLmFwcGVuZChsb25zKQogICAgICAgIGFsbF9jbGltYXRlcy5leHRlbmQoY2xpbWF0ZXMpCiAgICAgICAgYWxsX3RlcnJhaW5zLmV4dGVuZCh0ZXJyYWlucykKICAgICAgICBhbGxfbGFiZWxzLmFwcGVuZChucC5mdWxsKG4sIGkpKQogICAgcmV0dXJuIHsKICAgICAgICAnbGF0cyc6IG5wLmNvbmNhdGVuYXRlKGFsbF9sYXRzKSwKICAgICAgICAnbG9ucyc6IG5wLmNvbmNhdGVuYXRlKGFsbF9sb25zKSwKICAgICAgICAnY2xpbWF0ZSc6IG5wLmFycmF5KGFsbF9jbGltYXRlcyksCiAgICAgICAgJ3RlcnJhaW4nOiBucC5hcnJheShhbGxfdGVycmFpbnMpLAogICAgICAgICd0cnVlX2xhYmVscyc6IG5wLmNvbmNhdGVuYXRlKGFsbF9sYWJlbHMpLAogICAgICAgICdjbHVzdGVyX2RlZnMnOiBjbHVzdGVyX2RlZnMsCiAgICB9CgoKZGVmIGdlbmVyYXRlX3JhbWFjaGFuZHJhbl9kYXRhKG49NTAwLCBzZWVkPTQyKToKICAgICIiIgogICAgR2VuZXJhdGUgc3ludGhldGljIFJhbWFjaGFuZHJhbi1saWtlIHRvcnNpb24gYW5nbGUgZGF0YSBvbiB0aGUgdG9ydXMgWy1waSwgcGkpXjIuCiAgICBGb3VyIHJlZ2lvbnMgY29ycmVzcG9uZGluZyB0byBrbm93biBwcm90ZWluIHNlY29uZGFyeSBzdHJ1Y3R1cmUgem9uZXMuCgogICAgUmV0dXJucwogICAgLS0tLS0tLQogICAgZGljdCB3aXRoIGtleXMgJ3BoaScsICdwc2knIChyYWRpYW5zKSwgJ3NlY29uZGFyeV9zdHJ1Y3R1cmUnLCAndHJ1ZV9sYWJlbHMnLgogICAgIiIiCiAgICBybmcgPSBucC5yYW5kb20uZGVmYXVsdF9ybmcoc2VlZCkKICAgICMgKHBoaV9jZW50ZXJfZGVnLCBwc2lfY2VudGVyX2RlZywgZnJhY3Rpb24sIHNwcmVhZF9kZWcsIG5hbWUpCiAgICByZWdpb25zID0gWwogICAgICAgICgtNjAsIC00NSwgMC4zNSwgMTUsICdhbHBoYS1oZWxpeCcpLAogICAgICAgICgtMTIwLCAxMzAsIDAuMzAsIDIwLCAnYmV0YS1zaGVldCcpLAogICAgICAgICgtNjUsIDEzNSwgMC4yMCwgMTgsICdwb2x5cHJvbGluZScpLAogICAgICAgICg2MCwgICA0NSwgMC4xNSwgMTIsICdsZWZ0LWhlbGl4JyksCiAgICBdCiAgICBjb3VudHMgPSBbaW50KHJbMl0gKiBuKSBmb3IgciBpbiByZWdpb25zXQogICAgY291bnRzWy0xXSA9IG4gLSBzdW0oY291bnRzWzotMV0pCiAgICBwaGlfbGlzdCwgcHNpX2xpc3QsIGxhYmVscywgc3MgPSBbXSwgW10sIFtdLCBbXQogICAgZm9yIGksIChwaGlfYywgcHNpX2MsIF8sIHNwcmVhZCwgbmFtZSkgaW4gZW51bWVyYXRlKHJlZ2lvbnMpOgogICAgICAgIHMgPSBucC5kZWcycmFkKHNwcmVhZCkKICAgICAgICBwaGkgPSBucC5jbGlwKHJuZy5ub3JtYWwobnAuZGVnMnJhZChwaGlfYyksIHMsIGNvdW50c1tpXSksIC1ucC5waSwgbnAucGkpCiAgICAgICAgcHNpID0gbnAuY2xpcChybmcubm9ybWFsKG5wLmRlZzJyYWQocHNpX2MpLCBzLCBjb3VudHNbaV0pLCAtbnAucGksIG5wLnBpKQogICAgICAgIHBoaV9saXN0LmFwcGVuZChwaGkpCiAgICAgICAgcHNpX2xpc3QuYXBwZW5kKHBzaSkKICAgICAgICBsYWJlbHMuYXBwZW5kKG5wLmZ1bGwoY291bnRzW2ldLCBpKSkKICAgICAgICBzcy5leHRlbmQoW25hbWVdICogY291bnRzW2ldKQogICAgcGhpX2FyciA9IG5wLmNvbmNhdGVuYXRlKHBoaV9saXN0KQogICAgcHNpX2FyciA9IG5wLmNvbmNhdGVuYXRlKHBzaV9saXN0KQogICAgdHJ1ZV9sYWJlbHMgPSBucC5jb25jYXRlbmF0ZShsYWJlbHMpCiAgICBwZXJtID0gcm5nLnBlcm11dGF0aW9uKG4pCiAgICByZXR1cm4gewogICAgICAgICdwaGknOiBwaGlfYXJyW3Blcm1dLAogICAgICAgICdwc2knOiBwc2lfYXJyW3Blcm1dLAogICAgICAgICdzZWNvbmRhcnlfc3RydWN0dXJlJzogbnAuYXJyYXkoc3MpW3Blcm1dLAogICAgICAgICd0cnVlX2xhYmVscyc6IHRydWVfbGFiZWxzW3Blcm1dLAogICAgfQoKCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACiMgREFUQSBMT0FERVJTICAod2l0aCBzeW50aGV0aWMgZmFsbGJhY2tzKQojIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAoKZGVmIGxvYWRfZWFydGhxdWFrZXMocGF0aD1Ob25lKToKICAgICIiIgogICAgTG9hZCBVU0dTIGVhcnRocXVha2UgZGF0YSAobGF0L2xvbiBpbiBkZWdyZWVzLCBtYWduaXR1ZGUpLgogICAgRmFsbHMgYmFjayB0byBzeW50aGV0aWMgc3BoZXJlIGNsdXN0ZXIgZGF0YSBpZiBmaWxlIGlzIG1pc3Npbmcgb3IgdW5yZWFkYWJsZS4KCiAgICBSZXR1cm5zCiAgICAtLS0tLS0tCiAgICBkaWN0IHdpdGgga2V5czogJ2xhdHMnIChyYWRpYW5zKSwgJ2xvbnMnIChyYWRpYW5zKSwgJ21hZ25pdHVkZScgKGFycmF5IG9yIE5vbmUpLgogICAgIiIiCiAgICBpZiBwYXRoIGlzIE5vbmU6CiAgICAgICAgcGF0aCA9IG9zLnBhdGguam9pbihvcy5wYXRoLmRpcm5hbWUoX19maWxlX18pLCAnZGF0YScsICdlYXJ0aHF1YWtlcy5jc3YnKQogICAgdHJ5OgogICAgICAgIGltcG9ydCBjc3YKICAgICAgICBsYXRzLCBsb25zLCBtYWdzID0gW10sIFtdLCBbXQogICAgICAgIHdpdGggb3BlbihwYXRoLCBuZXdsaW5lPScnKSBhcyBmOgogICAgICAgICAgICByZWFkZXIgPSBjc3YuRGljdFJlYWRlcihmKQogICAgICAgICAgICBmb3Igcm93IGluIHJlYWRlcjoKICAgICAgICAgICAgICAgIHRyeToKICAgICAgICAgICAgICAgICAgICBsYXRzLmFwcGVuZChmbG9hdChyb3dbJ2xhdGl0dWRlJ10pKQogICAgICAgICAgICAgICAgICAgIGxvbnMuYXBwZW5kKGZsb2F0KHJvd1snbG9uZ2l0dWRlJ10pKQogICAgICAgICAgICAgICAgICAgIG1hZ3MuYXBwZW5kKGZsb2F0KHJvdy5nZXQoJ21hZycsIHJvdy5nZXQoJ21hZ25pdHVkZScsIDAuMCkpKSkKICAgICAgICAgICAgICAgIGV4Y2VwdCAoS2V5RXJyb3IsIFZhbHVlRXJyb3IpOgogICAgICAgICAgICAgICAgICAgIGNvbnRpbnVlCiAgICAgICAgaWYgbGVuKGxhdHMpIDwgMTA6CiAgICAgICAgICAgIHJhaXNlIFZhbHVlRXJyb3IoIlRvbyBmZXcgcm93cyIpCiAgICAgICAgcmV0dXJuIHsKICAgICAgICAgICAgJ2xhdHMnOiBucC5kZWcycmFkKG5wLmFycmF5KGxhdHMpKSwKICAgICAgICAgICAgJ2xvbnMnOiBucC5kZWcycmFkKG5wLmFycmF5KGxvbnMpKSwKICAgICAgICAgICAgJ21hZ25pdHVkZSc6IG5wLmFycmF5KG1hZ3MpLAogICAgICAgIH0KICAgIGV4Y2VwdCBFeGNlcHRpb246CiAgICAgICAgbGF0cywgbG9ucywgXyA9IGdlbmVyYXRlX3NwaGVyZV9jbHVzdGVycyhuX3BvaW50cz00MDAsIGs9NSwgc2VlZD0wKQogICAgICAgIHJldHVybiB7J2xhdHMnOiBsYXRzLCAnbG9ucyc6IGxvbnMsICdtYWduaXR1ZGUnOiBOb25lfQoKCmRlZiBsb2FkX21ldGVvcml0ZXMocGF0aCk6CiAgICAiIiIKICAgIExvYWQgTkFTQSBtZXRlb3JpdGUgbGFuZGluZ3MgQ1NWIChyZWNsYXQgLyByZWNsb25nIGNvbHVtbnMsIGRlZ3JlZXMpLgogICAgUmV0dXJucyBkaWN0IHdpdGggJ2xhdHMnLCAnbG9ucycgKHJhZGlhbnMpLCAnbWFnbml0dWRlJyAobWFzcyBpbiBnIG9yIE5vbmUpLgogICAgIiIiCiAgICBpbXBvcnQgY3N2CiAgICBsYXRzLCBsb25zLCBtYXNzZXMgPSBbXSwgW10sIFtdCiAgICB0cnk6CiAgICAgICAgd2l0aCBvcGVuKHBhdGgsIG5ld2xpbmU9JycsIGVuY29kaW5nPSdsYXRpbi0xJykgYXMgZjoKICAgICAgICAgICAgcmVhZGVyID0gY3N2LkRpY3RSZWFkZXIoZikKICAgICAgICAgICAgIyBjb2x1bW4gbmFtZSBtYXkgYmUgJ3JlY2xvbmcnIG9yIHN0YXJ0IHdpdGggJ3JlY2xvbmcnCiAgICAgICAgICAgIGxvbl9jb2wgPSBuZXh0KAogICAgICAgICAgICAgICAgKGMgZm9yIGMgaW4gcmVhZGVyLmZpZWxkbmFtZXMgb3IgW10gaWYgYy5zdGFydHN3aXRoKCdyZWNsb25nJykpLCBOb25lCiAgICAgICAgICAgICkKICAgICAgICAgICAgZm9yIHJvdyBpbiByZWFkZXI6CiAgICAgICAgICAgICAgICB0cnk6CiAgICAgICAgICAgICAgICAgICAgbGF0ID0gZmxvYXQocm93WydyZWNsYXQnXSkKICAgICAgICAgICAgICAgICAgICBsb24gPSBmbG9hdChyb3dbbG9uX2NvbF0pIGlmIGxvbl9jb2wgZWxzZSBmbG9hdChyb3dbJ3JlY2xvbmcnXSkKICAgICAgICAgICAgICAgICAgICBtYXNzX3N0ciA9IHJvdy5nZXQoJ21hc3MgKGcpJywgJycpLnN0cmlwKCkKICAgICAgICAgICAgICAgICAgICBtYXNzZXMuYXBwZW5kKGZsb2F0KG1hc3Nfc3RyKSBpZiBtYXNzX3N0ciBlbHNlIDAuMCkKICAgICAgICAgICAgICAgICAgICBsYXRzLmFwcGVuZChsYXQpCiAgICAgICAgICAgICAgICAgICAgbG9ucy5hcHBlbmQobG9uKQogICAgICAgICAgICAgICAgZXhjZXB0IChLZXlFcnJvciwgVmFsdWVFcnJvciwgVHlwZUVycm9yKToKICAgICAgICAgICAgICAgICAgICBjb250aW51ZQogICAgICAgIGlmIGxlbihsYXRzKSA8IDEwOgogICAgICAgICAgICByYWlzZSBWYWx1ZUVycm9yKCJUb28gZmV3IHJvd3MiKQogICAgICAgIHJldHVybiB7CiAgICAgICAgICAgICdsYXRzJzogbnAuZGVnMnJhZChucC5hcnJheShsYXRzKSksCiAgICAgICAgICAgICdsb25zJzogbnAuZGVnMnJhZChucC5hcnJheShsb25zKSksCiAgICAgICAgICAgICdtYWduaXR1ZGUnOiBucC5hcnJheShtYXNzZXMpLAogICAgICAgIH0KICAgIGV4Y2VwdCBFeGNlcHRpb246CiAgICAgICAgbGF0cywgbG9ucywgXyA9IGdlbmVyYXRlX3NwaGVyZV9jbHVzdGVycyhuX3BvaW50cz00MDAsIGs9NSwgc2VlZD0xKQogICAgICAgIHJldHVybiB7J2xhdHMnOiBsYXRzLCAnbG9ucyc6IGxvbnMsICdtYWduaXR1ZGUnOiBOb25lfQoKCmRlZiBsb2FkX2FpcnBvcnRzKHBhdGgpOgogICAgIiIiCiAgICBMb2FkIE9wZW5GbGlnaHRzIGFpcnBvcnRzLmRhdCAobm8gaGVhZGVyLCBjb21tYS1kZWxpbWl0ZWQpLgogICAgRmllbGRzOiBpZCxuYW1lLGNpdHksY291bnRyeSxpYXRhLGljYW8sbGF0LGxvbixhbHQsLi4uCiAgICBSZXR1cm5zIGRpY3Qgd2l0aCAnbGF0cycsICdsb25zJyAocmFkaWFucyksICdtYWduaXR1ZGUnIChOb25lKS4KICAgICIiIgogICAgaW1wb3J0IGNzdgogICAgbGF0cywgbG9ucyA9IFtdLCBbXQogICAgdHJ5OgogICAgICAgIHdpdGggb3BlbihwYXRoLCBuZXdsaW5lPScnLCBlbmNvZGluZz0ndXRmLTgtc2lnJykgYXMgZjoKICAgICAgICAgICAgcmVhZGVyID0gY3N2LnJlYWRlcihmKQogICAgICAgICAgICBmb3Igcm93IGluIHJlYWRlcjoKICAgICAgICAgICAgICAgIHRyeToKICAgICAgICAgICAgICAgICAgICBsYXQgPSBmbG9hdChyb3dbNl0pCiAgICAgICAgICAgICAgICAgICAgbG9uID0gZmxvYXQocm93WzddKQogICAgICAgICAgICAgICAgICAgIGlmIC05MCA8PSBsYXQgPD0gOTAgYW5kIC0xODAgPD0gbG9uIDw9IDE4MDoKICAgICAgICAgICAgICAgICAgICAgICAgbGF0cy5hcHBlbmQobGF0KQogICAgICAgICAgICAgICAgICAgICAgICBsb25zLmFwcGVuZChsb24pCiAgICAgICAgICAgICAgICBleGNlcHQgKEluZGV4RXJyb3IsIFZhbHVlRXJyb3IpOgogICAgICAgICAgICAgICAgICAgIGNvbnRpbnVlCiAgICAgICAgaWYgbGVuKGxhdHMpIDwgMTA6CiAgICAgICAgICAgIHJhaXNlIFZhbHVlRXJyb3IoIlRvbyBmZXcgcm93cyIpCiAgICAgICAgcmV0dXJuIHsKICAgICAgICAgICAgJ2xhdHMnOiBucC5kZWcycmFkKG5wLmFycmF5KGxhdHMpKSwKICAgICAgICAgICAgJ2xvbnMnOiBucC5kZWcycmFkKG5wLmFycmF5KGxvbnMpKSwKICAgICAgICAgICAgJ21hZ25pdHVkZSc6IE5vbmUsCiAgICAgICAgfQogICAgZXhjZXB0IEV4Y2VwdGlvbjoKICAgICAgICBsYXRzLCBsb25zLCBfID0gZ2VuZXJhdGVfc3BoZXJlX2NsdXN0ZXJzKG5fcG9pbnRzPTQwMCwgaz01LCBzZWVkPTIpCiAgICAgICAgcmV0dXJuIHsnbGF0cyc6IGxhdHMsICdsb25zJzogbG9ucywgJ21hZ25pdHVkZSc6IE5vbmV9CgoKZGVmIGxvYWRfcGVuZ3VpbnMocGF0aD1Ob25lKToKICAgICIiIgogICAgTG9hZCBQYWxtZXIgUGVuZ3VpbnMgZGF0YSAoYmlsbF9sZW5ndGhfbW0sIGJpbGxfZGVwdGhfbW0sIGZsaXBwZXJfbGVuZ3RoX21tLCBib2R5X21hc3NfZykuCiAgICBGYWxscyBiYWNrIHRvIHN5bnRoZXRpYyBFdWNsaWRlYW4gY2x1c3RlciBkYXRhIGlmIGZpbGUgaXMgbWlzc2luZyBvciB1bnJlYWRhYmxlLgoKICAgIFJldHVybnMKICAgIC0tLS0tLS0KICAgIGRpY3Qgd2l0aCBrZXlzOgogICAgICAncG9pbnRzJyAgICAgICA6IChOLCAyKSBub3JtYWxpemVkIChmaXJzdCAyIGZlYXR1cmVzLCBmb3IgMkQgcGxvdHRpbmcpCiAgICAgICdwb2ludHNfZnVsbCcgIDogKE4sIDQpIGFsbCBub3JtYWxpemVkIGZlYXR1cmVzCiAgICAgICdzcGVjaWVzJyAgICAgIDogYXJyYXkgb2Ygc3BlY2llcyBzdHJpbmdzLCBvciBOb25lCiAgICAgICdmZWF0dXJlX25hbWVzJzogbGlzdCBvZiBmZWF0dXJlIG5hbWUgc3RyaW5ncwogICAgIiIiCiAgICBpZiBwYXRoIGlzIE5vbmU6CiAgICAgICAgcGF0aCA9IG9zLnBhdGguam9pbihvcy5wYXRoLmRpcm5hbWUoX19maWxlX18pLCAnZGF0YScsICdwZW5ndWlucy5jc3YnKQogICAgdHJ5OgogICAgICAgIGltcG9ydCBjc3YKICAgICAgICBmZWF0dXJlcywgc3BlY2llcyA9IFtdLCBbXQogICAgICAgIHdpdGggb3BlbihwYXRoLCBuZXdsaW5lPScnKSBhcyBmOgogICAgICAgICAgICByZWFkZXIgPSBjc3YuRGljdFJlYWRlcihmKQogICAgICAgICAgICBmb3Igcm93IGluIHJlYWRlcjoKICAgICAgICAgICAgICAgIHRyeToKICAgICAgICAgICAgICAgICAgICBibCA9IGZsb2F0KHJvd1snYmlsbF9sZW5ndGhfbW0nXSkKICAgICAgICAgICAgICAgICAgICBiZCA9IGZsb2F0KHJvd1snYmlsbF9kZXB0aF9tbSddKQogICAgICAgICAgICAgICAgICAgIGZsID0gZmxvYXQocm93WydmbGlwcGVyX2xlbmd0aF9tbSddKQogICAgICAgICAgICAgICAgICAgIGJtID0gZmxvYXQocm93Wydib2R5X21hc3NfZyddKQogICAgICAgICAgICAgICAgICAgIGZlYXR1cmVzLmFwcGVuZChbYmwsIGJkLCBmbCwgYm1dKQogICAgICAgICAgICAgICAgICAgIHNwZWNpZXMuYXBwZW5kKHJvdy5nZXQoJ3NwZWNpZXMnLCAnJykpCiAgICAgICAgICAgICAgICBleGNlcHQgKEtleUVycm9yLCBWYWx1ZUVycm9yKToKICAgICAgICAgICAgICAgICAgICBjb250aW51ZQogICAgICAgIGlmIGxlbihmZWF0dXJlcykgPCAxMDoKICAgICAgICAgICAgcmFpc2UgVmFsdWVFcnJvcigiVG9vIGZldyByb3dzIikKICAgICAgICBwdHMgPSBucC5hcnJheShmZWF0dXJlcywgZHR5cGU9ZmxvYXQpCiAgICAgICAgcHRzID0gKHB0cyAtIHB0cy5tZWFuKGF4aXM9MCkpIC8gKHB0cy5zdGQoYXhpcz0wKSArIDFlLTgpCiAgICAgICAgcmV0dXJuIHsKICAgICAgICAgICAgJ3BvaW50cyc6IHB0c1s6LCA6Ml0sCiAgICAgICAgICAgICdwb2ludHNfZnVsbCc6IHB0cywKICAgICAgICAgICAgJ3NwZWNpZXMnOiBucC5hcnJheShzcGVjaWVzKSwKICAgICAgICAgICAgJ2ZlYXR1cmVfbmFtZXMnOiBbJ2JpbGxfbGVuZ3RoX21tJywgJ2JpbGxfZGVwdGhfbW0nLCAnZmxpcHBlcl9sZW5ndGhfbW0nLCAnYm9keV9tYXNzX2cnXSwKICAgICAgICB9CiAgICBleGNlcHQgRXhjZXB0aW9uOgogICAgICAgIHB0cywgXyA9IGdlbmVyYXRlX2V1Y2xpZGVhbl9jbHVzdGVycyhuX3BvaW50cz0zMzMsIGs9Mywgc2VlZD05OSkKICAgICAgICByZXR1cm4gewogICAgICAgICAgICAncG9pbnRzJzogcHRzLAogICAgICAgICAgICAncG9pbnRzX2Z1bGwnOiBwdHMsCiAgICAgICAgICAgICdzcGVjaWVzJzogTm9uZSwKICAgICAgICAgICAgJ2ZlYXR1cmVfbmFtZXMnOiBbJ2ZlYXR1cmVfMScsICdmZWF0dXJlXzInXSwKICAgICAgICB9CgoKZGVmIGxvYWRfaXJpcyhwYXRoKToKICAgICIiIgogICAgTG9hZCB0aGUgSXJpcyBkYXRhc2V0IChzZXBhbF9sZW5ndGgsIHNlcGFsX3dpZHRoLCBwZXRhbF9sZW5ndGgsIHBldGFsX3dpZHRoLCBzcGVjaWVzKS4KICAgIFJldHVybnMgc2FtZSBkaWN0IHNoYXBlIGFzIGxvYWRfcGVuZ3VpbnM6IHBvaW50cywgcG9pbnRzX2Z1bGwsIHNwZWNpZXMsIGZlYXR1cmVfbmFtZXMuCiAgICAiIiIKICAgIGltcG9ydCBjc3YKICAgIGZlYXR1cmVzLCBzcGVjaWVzID0gW10sIFtdCiAgICB0cnk6CiAgICAgICAgd2l0aCBvcGVuKHBhdGgsIG5ld2xpbmU9JycsIGVuY29kaW5nPSd1dGYtOC1zaWcnKSBhcyBmOgogICAgICAgICAgICByZWFkZXIgPSBjc3YuRGljdFJlYWRlcihmKQogICAgICAgICAgICBmb3Igcm93IGluIHJlYWRlcjoKICAgICAgICAgICAgICAgIHRyeToKICAgICAgICAgICAgICAgICAgICBzbCA9IGZsb2F0KHJvd1snc2VwYWxfbGVuZ3RoJ10pCiAgICAgICAgICAgICAgICAgICAgc3cgPSBmbG9hdChyb3dbJ3NlcGFsX3dpZHRoJ10pCiAgICAgICAgICAgICAgICAgICAgcGwgPSBmbG9hdChyb3dbJ3BldGFsX2xlbmd0aCddKQogICAgICAgICAgICAgICAgICAgIHB3ID0gZmxvYXQocm93WydwZXRhbF93aWR0aCddKQogICAgICAgICAgICAgICAgICAgIGZlYXR1cmVzLmFwcGVuZChbc2wsIHN3LCBwbCwgcHddKQogICAgICAgICAgICAgICAgICAgIHNwZWNpZXMuYXBwZW5kKHJvdy5nZXQoJ3NwZWNpZXMnLCAnJykpCiAgICAgICAgICAgICAgICBleGNlcHQgKEtleUVycm9yLCBWYWx1ZUVycm9yKToKICAgICAgICAgICAgICAgICAgICBjb250aW51ZQogICAgICAgIGlmIGxlbihmZWF0dXJlcykgPCAxMDoKICAgICAgICAgICAgcmFpc2UgVmFsdWVFcnJvcigiVG9vIGZldyByb3dzIikKICAgICAgICBwdHMgPSBucC5hcnJheShmZWF0dXJlcywgZHR5cGU9ZmxvYXQpCiAgICAgICAgcHRzID0gKHB0cyAtIHB0cy5tZWFuKGF4aXM9MCkpIC8gKHB0cy5zdGQoYXhpcz0wKSArIDFlLTgpCiAgICAgICAgcmV0dXJuIHsKICAgICAgICAgICAgJ3BvaW50cyc6ICAgICAgIHB0c1s6LCA6Ml0sCiAgICAgICAgICAgICdwb2ludHNfZnVsbCc6ICBwdHMsCiAgICAgICAgICAgICdzcGVjaWVzJzogICAgICBucC5hcnJheShzcGVjaWVzKSwKICAgICAgICAgICAgJ2ZlYXR1cmVfbmFtZXMnOiBbJ3NlcGFsX2xlbmd0aCcsICdzZXBhbF93aWR0aCcsICdwZXRhbF9sZW5ndGgnLCAncGV0YWxfd2lkdGgnXSwKICAgICAgICB9CiAgICBleGNlcHQgRXhjZXB0aW9uOgogICAgICAgIGZyb20gc2tsZWFybi5kYXRhc2V0cyBpbXBvcnQgbG9hZF9pcmlzIGFzIF9saSAgIyB0eXBlOiBpZ25vcmUKICAgICAgICBfZCA9IF9saSgpCiAgICAgICAgcHRzID0gKF9kLmRhdGEgLSBfZC5kYXRhLm1lYW4oMCkpIC8gKF9kLmRhdGEuc3RkKDApICsgMWUtOCkKICAgICAgICByZXR1cm4gewogICAgICAgICAgICAncG9pbnRzJzogICAgICAgcHRzWzosIDoyXSwKICAgICAgICAgICAgJ3BvaW50c19mdWxsJzogIHB0cywKICAgICAgICAgICAgJ3NwZWNpZXMnOiAgICAgIG5wLmFycmF5KFtfZC50YXJnZXRfbmFtZXNbdF0gZm9yIHQgaW4gX2QudGFyZ2V0XSksCiAgICAgICAgICAgICdmZWF0dXJlX25hbWVzJzogbGlzdChfZC5mZWF0dXJlX25hbWVzKSwKICAgICAgICB9CgoKZGVmIGxvYWRfcmFtYWNoYW5kcmFuKHBhdGg9Tm9uZSk6CiAgICAiIiIKICAgIExvYWQgUmFtYWNoYW5kcmFuIHRvcnNpb24gYW5nbGUgZGF0YSAocGhpLCBwc2kgaW4gcmFkaWFucykuCiAgICBGYWxscyBiYWNrIHRvIHN5bnRoZXRpYyB0b3J1cyBjbHVzdGVyIGRhdGEgaWYgZmlsZSBpcyBtaXNzaW5nIG9yIHVucmVhZGFibGUuCgogICAgUmV0dXJucwogICAgLS0tLS0tLQogICAgZGljdCB3aXRoIGtleXM6ICdwaGknLCAncHNpJyAocmFkaWFucyksICdzZWNvbmRhcnlfc3RydWN0dXJlJyAoYXJyYXkgb3IgTm9uZSkuCiAgICAiIiIKICAgIGlmIHBhdGggaXMgTm9uZToKICAgICAgICBwYXRoID0gb3MucGF0aC5qb2luKG9zLnBhdGguZGlybmFtZShfX2ZpbGVfXyksICdkYXRhJywgJ3JhbWFjaGFuZHJhbi5jc3YnKQogICAgdHJ5OgogICAgICAgIGltcG9ydCBjc3YKICAgICAgICBwaGlfdmFscywgcHNpX3ZhbHMsIHNzX3ZhbHMgPSBbXSwgW10sIFtdCiAgICAgICAgd2l0aCBvcGVuKHBhdGgsIG5ld2xpbmU9JycpIGFzIGY6CiAgICAgICAgICAgIHJlYWRlciA9IGNzdi5EaWN0UmVhZGVyKGYpCiAgICAgICAgICAgIGZvciByb3cgaW4gcmVhZGVyOgogICAgICAgICAgICAgICAgdHJ5OgogICAgICAgICAgICAgICAgICAgIHBoaV92YWxzLmFwcGVuZChmbG9hdChyb3dbJ3BoaSddKSkKICAgICAgICAgICAgICAgICAgICBwc2lfdmFscy5hcHBlbmQoZmxvYXQocm93Wydwc2knXSkpCiAgICAgICAgICAgICAgICAgICAgc3NfdmFscy5hcHBlbmQocm93LmdldCgnc2Vjb25kYXJ5X3N0cnVjdHVyZScsICcnKSkKICAgICAgICAgICAgICAgIGV4Y2VwdCAoS2V5RXJyb3IsIFZhbHVlRXJyb3IpOgogICAgICAgICAgICAgICAgICAgIGNvbnRpbnVlCiAgICAgICAgaWYgbGVuKHBoaV92YWxzKSA8IDEwOgogICAgICAgICAgICByYWlzZSBWYWx1ZUVycm9yKCJUb28gZmV3IHJvd3MiKQogICAgICAgIHJldHVybiB7CiAgICAgICAgICAgICdwaGknOiBucC5hcnJheShwaGlfdmFscyksCiAgICAgICAgICAgICdwc2knOiBucC5hcnJheShwc2lfdmFscyksCiAgICAgICAgICAgICdzZWNvbmRhcnlfc3RydWN0dXJlJzogbnAuYXJyYXkoc3NfdmFscyksCiAgICAgICAgfQogICAgZXhjZXB0IEV4Y2VwdGlvbjoKICAgICAgICBkYXRhID0gZ2VuZXJhdGVfcmFtYWNoYW5kcmFuX2RhdGEobj01MDApCiAgICAgICAgcmV0dXJuIHsKICAgICAgICAgICAgJ3BoaSc6IGRhdGFbJ3BoaSddLAogICAgICAgICAgICAncHNpJzogZGF0YVsncHNpJ10sCiAgICAgICAgICAgICdzZWNvbmRhcnlfc3RydWN0dXJlJzogZGF0YVsnc2Vjb25kYXJ5X3N0cnVjdHVyZSddLAogICAgICAgIH0KCgpkZWYgc2F2ZV9yYW1hY2hhbmRyYW5fY3N2KHBhdGg9Tm9uZSk6CiAgICAiIiIKICAgIEdlbmVyYXRlIGFuZCBzYXZlIHJhbWFjaGFuZHJhbi5jc3YgdG8gZGlzay4gUmV0dXJucyB0aGUgcGF0aCB3cml0dGVuLgogICAgIiIiCiAgICBpZiBwYXRoIGlzIE5vbmU6CiAgICAgICAgcGF0aCA9IG9zLnBhdGguam9pbihvcy5wYXRoLmRpcm5hbWUoX19maWxlX18pLCAnZGF0YScsICdyYW1hY2hhbmRyYW4uY3N2JykKICAgIGltcG9ydCBjc3YKICAgIG9zLm1ha2VkaXJzKG9zLnBhdGguZGlybmFtZShwYXRoKSwgZXhpc3Rfb2s9VHJ1ZSkKICAgIGRhdGEgPSBnZW5lcmF0ZV9yYW1hY2hhbmRyYW5fZGF0YShuPTUwMCkKICAgIHdpdGggb3BlbihwYXRoLCAndycsIG5ld2xpbmU9JycpIGFzIGY6CiAgICAgICAgd3JpdGVyID0gY3N2LkRpY3RXcml0ZXIoZiwgZmllbGRuYW1lcz1bJ3BoaScsICdwc2knLCAnc2Vjb25kYXJ5X3N0cnVjdHVyZSddKQogICAgICAgIHdyaXRlci53cml0ZWhlYWRlcigpCiAgICAgICAgZm9yIHBoaSwgcHNpLCBzcyBpbiB6aXAoZGF0YVsncGhpJ10sIGRhdGFbJ3BzaSddLCBkYXRhWydzZWNvbmRhcnlfc3RydWN0dXJlJ10pOgogICAgICAgICAgICB3cml0ZXIud3JpdGVyb3coeydwaGknOiBwaGksICdwc2knOiBwc2ksICdzZWNvbmRhcnlfc3RydWN0dXJlJzogc3N9KQogICAgcmV0dXJuIHBhdGgKCgojIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAojIFBIQVNFLTIgSEVMUEVSUyAgKGRlbW9fbWFyaW1vLnB5IEFQSSkKIyDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKCmRlZiBhcHBseV9kYXJrX3RoZW1lKCk6CiAgICAiIiJBcHBseSBBcmN0aWMgbGlnaHQgdGhlbWUgKGFsaWFzIGZvciBzZXR1cF9kYXJrX3RoZW1lKS4iIiIKICAgIHNldHVwX2RhcmtfdGhlbWUoKQoKCmRlZiBsb2FkX3NwaGVyZV9kYXRhKGRhdGFfZGlyLCBkYXRhc2V0PSdlYXJ0aHF1YWtlcycpOgogICAgIiIiCiAgICBMb2FkIHNwaGVyZSBkYXRhIGZvciB0aGUgZ2l2ZW4gKmRhdGFzZXQqIGtleSwgYXV0by1kb3dubG9hZGluZyBpZiBuZWVkZWQuCgogICAgZGF0YXNldCA6ICdlYXJ0aHF1YWtlcycgfCAnbWV0ZW9yaXRlcycgfCAnYWlycG9ydHMnIHwgJ3N5bnRoZXRpYycKICAgIFJldHVybnMgKGRhdGFfZGljdCwgbGFiZWxfc3RyLCBpc19zeW50aGV0aWNfYm9vbCkuCiAgICBkYXRhX2RpY3Qga2V5czogJ2xhdHMnLCAnbG9ucycgKHJhZGlhbnMpLCAnbWFnbml0dWRlJyAoYXJyYXkgb3IgTm9uZSkuCiAgICAiIiIKICAgIGlmIGRhdGFzZXQgPT0gJ21ldGVvcml0ZXMnOgogICAgICAgIHBhdGggPSBvcy5wYXRoLmpvaW4oZGF0YV9kaXIsICdtZXRlb3JpdGVzLmNzdicpCiAgICAgICAgZG93bmxvYWRfaWZfbWlzc2luZyhfU1BIRVJFX1VSTFNbJ21ldGVvcml0ZXMnXSwgcGF0aCkKICAgICAgICBkYXRhID0gbG9hZF9tZXRlb3JpdGVzKHBhdGgpCiAgICAgICAgaXNfc3ludGhldGljID0gZGF0YVsnbWFnbml0dWRlJ10gaXMgTm9uZQogICAgZWxpZiBkYXRhc2V0ID09ICdhaXJwb3J0cyc6CiAgICAgICAgcGF0aCA9IG9zLnBhdGguam9pbihkYXRhX2RpciwgJ2FpcnBvcnRzLmRhdCcpCiAgICAgICAgZG93bmxvYWRfaWZfbWlzc2luZyhfU1BIRVJFX1VSTFNbJ2FpcnBvcnRzJ10sIHBhdGgpCiAgICAgICAgZGF0YSA9IGxvYWRfYWlycG9ydHMocGF0aCkKICAgICAgICBpc19zeW50aGV0aWMgPSBGYWxzZQogICAgZWxpZiBkYXRhc2V0ID09ICdzeW50aGV0aWMnOgogICAgICAgIGxhdHMsIGxvbnMsIF8gPSBnZW5lcmF0ZV9zcGhlcmVfY2x1c3RlcnMobl9wb2ludHM9NDAwLCBrPTUsIHNlZWQ9MCkKICAgICAgICBkYXRhID0geydsYXRzJzogbGF0cywgJ2xvbnMnOiBsb25zLCAnbWFnbml0dWRlJzogTm9uZX0KICAgICAgICBpc19zeW50aGV0aWMgPSBUcnVlCiAgICBlbHNlOiAgIyAnZWFydGhxdWFrZXMnIChkZWZhdWx0KQogICAgICAgIHBhdGggPSBvcy5wYXRoLmpvaW4oZGF0YV9kaXIsICdlYXJ0aHF1YWtlcy5jc3YnKQogICAgICAgIGRvd25sb2FkX2lmX21pc3NpbmcoX1NQSEVSRV9VUkxTWydlYXJ0aHF1YWtlcyddLCBwYXRoKQogICAgICAgIGRhdGEgPSBsb2FkX2VhcnRocXVha2VzKHBhdGgpCiAgICAgICAgaXNfc3ludGhldGljID0gZGF0YVsnbWFnbml0dWRlJ10gaXMgTm9uZQoKICAgIGxhYmVsID0gU1BIRVJFX0RBVEFTRVRfTEFCRUxTLmdldChkYXRhc2V0LCBkYXRhc2V0KQogICAgaWYgaXNfc3ludGhldGljOgogICAgICAgIGxhYmVsID0gU1BIRVJFX0RBVEFTRVRfTEFCRUxTWydzeW50aGV0aWMnXQogICAgcmV0dXJuIGRhdGEsIGxhYmVsLCBpc19zeW50aGV0aWMKCgpkZWYgY29tcHV0ZV9oYXZlcnNpbmVfbWF0cml4KGxhdHMsIGxvbnMpOgogICAgIiIiQ29tcHV0ZSBOeE4gaGF2ZXJzaW5lIGRpc3RhbmNlIG1hdHJpeCBmcm9tIGxhdC9sb24gYXJyYXlzIChyYWRpYW5zKS4iIiIKICAgIG4gPSBsZW4obGF0cykKICAgIEQgPSBucC56ZXJvcygobiwgbikpCiAgICBmb3IgaSBpbiByYW5nZShuKToKICAgICAgICBEW2ksIDpdID0gaGF2ZXJzaW5lKGxhdHNbaV0sIGxvbnNbaV0sIGxhdHMsIGxvbnMpCiAgICByZXR1cm4gRAoKCmRlZiBzaWxob3VldHRlX3Njb3Jlc19wZXJfcG9pbnQoRCwgbGFiZWxzKToKICAgICIiIgogICAgUmV0dXJuIHBlci1wb2ludCBzaWxob3VldHRlIHNjb3JlcyAoTiwpIGZyb20gYSBwcmVjb21wdXRlZCBOeE4gZGlzdGFuY2UgbWF0cml4LgogICAgcyhpKSA9IChiKGkpIC0gYShpKSkgLyBtYXgoYShpKSwgYihpKSkKICAgICIiIgogICAgbiA9IGxlbihsYWJlbHMpCiAgICB1bmlxdWVfbGFiZWxzID0gbnAudW5pcXVlKGxhYmVscykKICAgIGlmIGxlbih1bmlxdWVfbGFiZWxzKSA8IDI6CiAgICAgICAgcmV0dXJuIG5wLnplcm9zKG4pCiAgICBzID0gbnAuemVyb3MobikKICAgIGZvciBpIGluIHJhbmdlKG4pOgogICAgICAgIHNhbWUgPSBsYWJlbHMgPT0gbGFiZWxzW2ldCiAgICAgICAgc2FtZVtpXSA9IEZhbHNlCiAgICAgICAgaWYgbm90IHNhbWUuYW55KCk6CiAgICAgICAgICAgIGNvbnRpbnVlCiAgICAgICAgYV9pID0gZmxvYXQobnAubWVhbihEW2ksIHNhbWVdKSkKICAgICAgICBiX2kgPSBucC5pbmYKICAgICAgICBmb3IgYyBpbiB1bmlxdWVfbGFiZWxzOgogICAgICAgICAgICBpZiBjID09IGxhYmVsc1tpXToKICAgICAgICAgICAgICAgIGNvbnRpbnVlCiAgICAgICAgICAgIG90aGVyID0gbGFiZWxzID09IGMKICAgICAgICAgICAgaWYgbm90IG90aGVyLmFueSgpOgogICAgICAgICAgICAgICAgY29udGludWUKICAgICAgICAgICAgYl9pID0gbWluKGJfaSwgZmxvYXQobnAubWVhbihEW2ksIG90aGVyXSkpKQogICAgICAgIGRlbm9tID0gbWF4KGFfaSwgYl9pKQogICAgICAgIHNbaV0gPSAoYl9pIC0gYV9pKSAvIGRlbm9tIGlmIGRlbm9tID4gMCBlbHNlIDAuMAogICAgcmV0dXJuIHMKCgpkZWYgc3dlZXBfayhydW5fZm4sIEQsIGtfcmFuZ2UpOgogICAgIiIiCiAgICBTd2VlcCBrIHZhbHVlcyBmb3IgdmFsaWRhdGlvbi4KCiAgICBQYXJhbWV0ZXJzCiAgICAtLS0tLS0tLS0tCiAgICBydW5fZm4gIDogY2FsbGFibGUoaywgRCkg4oaSIChsYWJlbHMsIGNlbnRlcnMsIGhpc3RvcnkpCiAgICAgICAgICAgICAgQ2FsbGVkIG9uY2UgcGVyIGsuICBNYXkgaWdub3JlIEQgKGUuZy4gSy1NZWFucyBvbiBleHBsaWNpdCBjb29yZHMpLgogICAgRCAgICAgICA6IChOLCBOKSBwcmVjb21wdXRlZCBkaXN0YW5jZSBtYXRyaXggdXNlZCBmb3IgUFZFICYgc2lsaG91ZXR0ZS4KICAgIGtfcmFuZ2UgOiBpdGVyYWJsZSBvZiBpbnRlZ2VyIGsgdmFsdWVzLgoKICAgIFJldHVybnMKICAgIC0tLS0tLS0KICAgIGRpY3Qgd2l0aCBrZXlzOgogICAgICBrX3ZhbHVlcyAgICAgICAgICA6IGxpc3Qgb2YgawogICAgICBwdmUgICAgICAgICAgICAgICA6IGxpc3Qgb2YgUFZFIHNjb3JlcwogICAgICBzaWxob3VldHRlX21lYW4gICA6IGxpc3Qgb2YgbWVhbiBzaWxob3VldHRlIHNjb3JlcwogICAgICBzaWxob3VldHRlX3Blcl9wb2ludCA6IGxpc3Qgb2YgKE4sKSBhcnJheXMKICAgICAgbGFiZWxzX3Blcl9rICAgICAgOiBsaXN0IG9mIChOLCkgbGFiZWwgYXJyYXlzCiAgICAgIGNlbnRlcnNfcGVyX2sgICAgIDogbGlzdCBvZiByYXcgY2VudGVyIGFycmF5cyAoZm9ybWF0IGRlcGVuZHMgb24gYWxnb3JpdGhtKQogICAgIiIiCiAgICBrX3ZhbHVlcyA9IGxpc3Qoa19yYW5nZSkKICAgIHB2ZV9saXN0LCBzaWxfbWVhbl9saXN0LCBzaWxfcHBfbGlzdCwgbGFiZWxzX2xpc3QsIGNlbnRlcnNfbGlzdCA9IFtdLCBbXSwgW10sIFtdLCBbXQogICAgZm9yIGsgaW4ga192YWx1ZXM6CiAgICAgICAgbGFiZWxzLCBjZW50ZXJzLCBfID0gcnVuX2ZuKGssIEQpCiAgICAgICAgcHZlX2xpc3QuYXBwZW5kKHB2ZV9zY29yZShELCBsYWJlbHMpKQogICAgICAgIHNjb3JlcyA9IHNpbGhvdWV0dGVfc2NvcmVzX3Blcl9wb2ludChELCBsYWJlbHMpCiAgICAgICAgc2lsX21lYW5fbGlzdC5hcHBlbmQoZmxvYXQobnAubWVhbihzY29yZXMpKSkKICAgICAgICBzaWxfcHBfbGlzdC5hcHBlbmQoc2NvcmVzKQogICAgICAgIGxhYmVsc19saXN0LmFwcGVuZChsYWJlbHMpCiAgICAgICAgY2VudGVyc19saXN0LmFwcGVuZChjZW50ZXJzKQogICAgcmV0dXJuIHsKICAgICAgICAna192YWx1ZXMnOiAgICAgICAgICAgICBrX3ZhbHVlcywKICAgICAgICAncHZlJzogICAgICAgICAgICAgICAgICBwdmVfbGlzdCwKICAgICAgICAnc2lsaG91ZXR0ZV9tZWFuJzogICAgICBzaWxfbWVhbl9saXN0LAogICAgICAgICdzaWxob3VldHRlX3Blcl9wb2ludCc6IHNpbF9wcF9saXN0LAogICAgICAgICdsYWJlbHNfcGVyX2snOiAgICAgICAgIGxhYmVsc19saXN0LAogICAgICAgICdjZW50ZXJzX3Blcl9rJzogICAgICAgIGNlbnRlcnNfbGlzdCwKICAgIH0KCgojIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAojIExMT1lEJ1MgQUxHT1JJVEhNIFNURVAtQlktU1RFUCAgKGZvciBhbmltYXRpb24pCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACgpkZWYgbGxveWRfc3RlcHMocG9pbnRzLCBrLCBnZW9tZXRyeT0nZXVjbGlkZWFuJywgc2VlZD00MiwgbWF4X2l0ZXI9MTUpOgogICAgIiIiCiAgICBSdW4gTGxveWQncyBLLW1lYW5zIHN0ZXAgYnkgc3RlcCwgcmV0dXJuaW5nIGV2ZXJ5IGludGVybWVkaWF0ZSBzdGF0ZS4KCiAgICBQYXJhbWV0ZXJzCiAgICAtLS0tLS0tLS0tCiAgICBwb2ludHMgICA6IG5kYXJyYXkgKG4sIDIpCiAgICAgICAgICAgICAgIEV1Y2xpZGVhbjogYXJiaXRyYXJ5IDItRCBmZWF0dXJlIHZlY3RvcnMuCiAgICAgICAgICAgICAgIFNwaGVyaWNhbDogKGxhdCwgbG9uKSBpbiByYWRpYW5zLgogICAgICAgICAgICAgICBUb3J1cyAgICA6IChwaGksIHBzaSkgaW4gcmFkaWFucy4KICAgICAgICAgICAgICAgSHlwZXJib2xpYzogMi1EIFBvaW5jYXLDqSBkaXNrIGNvb3Jkcy4KICAgIGsgICAgICAgIDogaW50ICAgbnVtYmVyIG9mIGNsdXN0ZXJzCiAgICBnZW9tZXRyeSA6ICdldWNsaWRlYW4nIHwgJ3NwaGVyaWNhbCcgfCAndG9ydXMnIHwgJ2h5cGVyYm9saWMnCiAgICBzZWVkICAgICA6IGludCAgIGNvbnRyb2xzIHJhbmRvbSBpbml0aWFsaXNhdGlvbgogICAgbWF4X2l0ZXIgOiBpbnQgICBtYXhpbXVtIExsb3lkIGl0ZXJhdGlvbnMKCiAgICBSZXR1cm5zCiAgICAtLS0tLS0tCiAgICBsaXN0IG9mIGRpY3RzLCBlYWNoIHdpdGg6CiAgICAgICAgaXRlcmF0aW9uIDogaW50ICAgKDAgPSBpbml0aWFsaXNhdGlvbikKICAgICAgICBwaGFzZSAgICAgOiAnaW5pdCcgfCAnYXNzaWduJyB8ICd1cGRhdGUnCiAgICAgICAgY2VudGVycyAgIDogbmRhcnJheSAoaywgMikKICAgICAgICBsYWJlbHMgICAgOiBuZGFycmF5IChuLCkgaW50ICAoLTEgYmVmb3JlIGZpcnN0IGFzc2lnbm1lbnQpCiAgICAgICAgd2NzcyAgICAgIDogZmxvYXQgIChpbmYgYmVmb3JlIGZpcnN0IGFzc2lnbm1lbnQpCiAgICAiIiIKICAgIHJuZyA9IG5wLnJhbmRvbS5kZWZhdWx0X3JuZyhzZWVkKQogICAgbiA9IGxlbihwb2ludHMpCgogICAgIyDilIDilIAgRGlzdGFuY2UgbWF0cml4IOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAogICAgaWYgZ2VvbWV0cnkgPT0gJ2V1Y2xpZGVhbic6CiAgICAgICAgZGVmIF9kbWF0KHB0cywgY3Rycyk6CiAgICAgICAgICAgIHJldHVybiBucC5zcXJ0KCgocHRzWzosIE5vbmVdIC0gY3Ryc1tOb25lXSkqKjIpLnN1bSgtMSkpCgogICAgZWxpZiBnZW9tZXRyeSA9PSAnc3BoZXJpY2FsJzoKICAgICAgICBkZWYgX2RtYXQocHRzLCBjdHJzKToKICAgICAgICAgICAgRCA9IG5wLnplcm9zKChsZW4ocHRzKSwgbGVuKGN0cnMpKSkKICAgICAgICAgICAgZm9yIGosIGMgaW4gZW51bWVyYXRlKGN0cnMpOgogICAgICAgICAgICAgICAgRFs6LCBqXSA9IGhhdmVyc2luZShwdHNbOiwgMF0sIHB0c1s6LCAxXSwgY1swXSwgY1sxXSkKICAgICAgICAgICAgcmV0dXJuIEQKCiAgICBlbGlmIGdlb21ldHJ5ID09ICd0b3J1cyc6CiAgICAgICAgX0wgPSAyICogbnAucGkKICAgICAgICBkZWYgX2RtYXQocHRzLCBjdHJzKToKICAgICAgICAgICAgRCA9IG5wLnplcm9zKChsZW4ocHRzKSwgbGVuKGN0cnMpKSkKICAgICAgICAgICAgZm9yIGosIGMgaW4gZW51bWVyYXRlKGN0cnMpOgogICAgICAgICAgICAgICAgZGlmZiA9IG5wLmFicyhwdHMgLSBjKQogICAgICAgICAgICAgICAgd3JhcHBlZCA9IG5wLm1pbmltdW0oZGlmZiwgX0wgLSBkaWZmKQogICAgICAgICAgICAgICAgRFs6LCBqXSA9IG5wLnNxcnQoKHdyYXBwZWQqKjIpLnN1bSgtMSkpCiAgICAgICAgICAgIHJldHVybiBECgogICAgZWxpZiBnZW9tZXRyeSA9PSAnaHlwZXJib2xpYyc6CiAgICAgICAgZGVmIF9kbWF0KHB0cywgY3Rycyk6CiAgICAgICAgICAgIEQgPSBucC56ZXJvcygobGVuKHB0cyksIGxlbihjdHJzKSkpCiAgICAgICAgICAgIGZvciBqLCBjIGluIGVudW1lcmF0ZShjdHJzKToKICAgICAgICAgICAgICAgIGRpZmZfc3EgPSBucC5zdW0oKHB0cyAtIGMpKioyLCBheGlzPTEpCiAgICAgICAgICAgICAgICBkZW5vbSA9IG5wLm1heGltdW0oCiAgICAgICAgICAgICAgICAgICAgKDEgLSBucC5zdW0ocHRzKioyLCBheGlzPTEpKSAqICgxIC0gbnAuc3VtKGMqKjIpKSwgMWUtMTIKICAgICAgICAgICAgICAgICkKICAgICAgICAgICAgICAgIERbOiwgal0gPSBucC5hcmNjb3NoKG5wLm1heGltdW0oMS4wICsgMiAqIGRpZmZfc3EgLyBkZW5vbSwgMS4wKSkKICAgICAgICAgICAgcmV0dXJuIEQKCiAgICAjIOKUgOKUgCBDZW50cm9pZCB1cGRhdGUg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACiAgICBpZiBnZW9tZXRyeSA9PSAnZXVjbGlkZWFuJzoKICAgICAgICBkZWYgX3VwZGF0ZShwdHMsIGxibHMpOgogICAgICAgICAgICByZXR1cm4gbnAuYXJyYXkoWwogICAgICAgICAgICAgICAgcHRzW2xibHMgPT0gY10ubWVhbigwKSBpZiAobGJscyA9PSBjKS5hbnkoKQogICAgICAgICAgICAgICAgZWxzZSBwdHNbcm5nLmludGVnZXJzKG4pXQogICAgICAgICAgICAgICAgZm9yIGMgaW4gcmFuZ2UoaykKICAgICAgICAgICAgXSkKCiAgICBlbGlmIGdlb21ldHJ5ID09ICdzcGhlcmljYWwnOgogICAgICAgIGRlZiBfdXBkYXRlKHB0cywgbGJscyk6CiAgICAgICAgICAgIHhzLCB5cywgenMgPSBsYXRsb25fdG9fY2FydGVzaWFuKHB0c1s6LCAwXSwgcHRzWzosIDFdKQogICAgICAgICAgICBjZW50ZXJzID0gW10KICAgICAgICAgICAgZm9yIGMgaW4gcmFuZ2Uoayk6CiAgICAgICAgICAgICAgICBtID0gbGJscyA9PSBjCiAgICAgICAgICAgICAgICBpZiBtLmFueSgpOgogICAgICAgICAgICAgICAgICAgIG14LCBteSwgbXogPSB4c1ttXS5tZWFuKCksIHlzW21dLm1lYW4oKSwgenNbbV0ubWVhbigpCiAgICAgICAgICAgICAgICAgICAgbnIgPSBucC5zcXJ0KG14KioyICsgbXkqKjIgKyBteioqMikKICAgICAgICAgICAgICAgICAgICBpZiBuciA%2BIDFlLTg6CiAgICAgICAgICAgICAgICAgICAgICAgIG14LCBteSwgbXogPSBteC9uciwgbXkvbnIsIG16L25yCiAgICAgICAgICAgICAgICAgICAgY2VudGVycy5hcHBlbmQobGlzdChjYXJ0ZXNpYW5fdG9fbGF0bG9uKG14LCBteSwgbXopKSkKICAgICAgICAgICAgICAgIGVsc2U6CiAgICAgICAgICAgICAgICAgICAgY2VudGVycy5hcHBlbmQocHRzW3JuZy5pbnRlZ2VycyhuKV0udG9saXN0KCkpCiAgICAgICAgICAgIHJldHVybiBucC5hcnJheShjZW50ZXJzKQoKICAgIGVsaWYgZ2VvbWV0cnkgPT0gJ3RvcnVzJzoKICAgICAgICBkZWYgX3VwZGF0ZShwdHMsIGxibHMpOgogICAgICAgICAgICBjZW50ZXJzID0gW10KICAgICAgICAgICAgZm9yIGMgaW4gcmFuZ2Uoayk6CiAgICAgICAgICAgICAgICBtID0gbGJscyA9PSBjCiAgICAgICAgICAgICAgICBpZiBtLmFueSgpOgogICAgICAgICAgICAgICAgICAgIGEgPSBwdHNbbV0KICAgICAgICAgICAgICAgICAgICBjZW50ZXJzLmFwcGVuZChucC5hcmN0YW4yKG5wLnNpbihhKS5tZWFuKDApLCBucC5jb3MoYSkubWVhbigwKSkpCiAgICAgICAgICAgICAgICBlbHNlOgogICAgICAgICAgICAgICAgICAgIGNlbnRlcnMuYXBwZW5kKHB0c1tybmcuaW50ZWdlcnMobildLmNvcHkoKSkKICAgICAgICAgICAgcmV0dXJuIG5wLmFycmF5KGNlbnRlcnMpCgogICAgZWxpZiBnZW9tZXRyeSA9PSAnaHlwZXJib2xpYyc6CiAgICAgICAgZGVmIF91cGRhdGUocHRzLCBsYmxzKToKICAgICAgICAgICAgY2VudGVycyA9IFtdCiAgICAgICAgICAgIGZvciBjIGluIHJhbmdlKGspOgogICAgICAgICAgICAgICAgbSA9IGxibHMgPT0gYwogICAgICAgICAgICAgICAgaWYgbm90IG0uYW55KCk6CiAgICAgICAgICAgICAgICAgICAgY2VudGVycy5hcHBlbmQocHRzW3JuZy5pbnRlZ2VycyhuKV0gKiAwLjgpCiAgICAgICAgICAgICAgICAgICAgY29udGludWUKICAgICAgICAgICAgICAgIHN1YiA9IHB0c1ttXQogICAgICAgICAgICAgICAgbm9ybXNfc3EgPSBucC5jbGlwKG5wLnN1bShzdWIqKjIsIGF4aXM9MSksIDAsIDEgLSAxZS04KQogICAgICAgICAgICAgICAgZ2FtbWEgPSAxLjAgLyBucC5zcXJ0KDEgLSBub3Jtc19zcSkKICAgICAgICAgICAgICAgIG1pZHBvaW50ID0gKHN1YiAqIGdhbW1hWzosIE5vbmVdKS5zdW0oMCkgLyBnYW1tYS5zdW0oKQogICAgICAgICAgICAgICAgciA9IG5wLmxpbmFsZy5ub3JtKG1pZHBvaW50KQogICAgICAgICAgICAgICAgaWYgciA%2BPSAxOgogICAgICAgICAgICAgICAgICAgIG1pZHBvaW50ID0gbWlkcG9pbnQgKiAwLjk5IC8gcgogICAgICAgICAgICAgICAgY2VudGVycy5hcHBlbmQobWlkcG9pbnQpCiAgICAgICAgICAgIHJldHVybiBucC5hcnJheShjZW50ZXJzKQoKICAgICMg4pSA4pSAIFJ1biDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKICAgIGNlbnRlcnMgPSBwb2ludHNbcm5nLmNob2ljZShuLCBrLCByZXBsYWNlPUZhbHNlKV0uY29weSgpLmFzdHlwZShmbG9hdCkKCiAgICBzdGVwcyA9IFt7J2l0ZXJhdGlvbic6IDAsICdwaGFzZSc6ICdpbml0JywKICAgICAgICAgICAgICAgJ2NlbnRlcnMnOiBjZW50ZXJzLmNvcHkoKSwKICAgICAgICAgICAgICAgJ2xhYmVscyc6IG5wLmZ1bGwobiwgLTEsIGR0eXBlPWludCksCiAgICAgICAgICAgICAgICd3Y3NzJzogbnAuaW5mfV0KCiAgICBmb3IgaXQgaW4gcmFuZ2UoMSwgbWF4X2l0ZXIgKyAxKToKICAgICAgICBEX21hdCAgPSBfZG1hdChwb2ludHMsIGNlbnRlcnMpCiAgICAgICAgbGFiZWxzID0gbnAuYXJnbWluKERfbWF0LCBheGlzPTEpCiAgICAgICAgd2NzcyAgID0gZmxvYXQobnAuc3VtKG5wLm1pbihEX21hdCwgYXhpcz0xKSoqMikpCgogICAgICAgIHN0ZXBzLmFwcGVuZCh7J2l0ZXJhdGlvbic6IGl0LCAncGhhc2UnOiAnYXNzaWduJywKICAgICAgICAgICAgICAgICAgICAgICdjZW50ZXJzJzogY2VudGVycy5jb3B5KCksICdsYWJlbHMnOiBsYWJlbHMuY29weSgpLCAnd2Nzcyc6IHdjc3N9KQoKICAgICAgICBuZXdfY2VudGVycyA9IF91cGRhdGUocG9pbnRzLCBsYWJlbHMpCgogICAgICAgIHN0ZXBzLmFwcGVuZCh7J2l0ZXJhdGlvbic6IGl0LCAncGhhc2UnOiAndXBkYXRlJywKICAgICAgICAgICAgICAgICAgICAgICdjZW50ZXJzJzogbmV3X2NlbnRlcnMuY29weSgpLCAnbGFiZWxzJzogbGFiZWxzLmNvcHkoKSwgJ3djc3MnOiB3Y3NzfSkKCiAgICAgICAgaWYgbnAuYWxsY2xvc2UoY2VudGVycywgbmV3X2NlbnRlcnMsIGF0b2w9MWUtNSk6CiAgICAgICAgICAgIGJyZWFrCiAgICAgICAgY2VudGVycyA9IG5ld19jZW50ZXJzCgogICAgcmV0dXJuIHN0ZXBzCgoKIyDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKIyBQTE9UVElORyBIRUxQRVJTICAodXNlZCBieSBkZW1vX21hcmltby5weSkKIyDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKCmRlZiBwbG90X3B2ZV9jdXJ2ZShheCwga192YWx1ZXMsIHB2ZV92YWx1ZXMsIGN1cnJlbnRfayk6CiAgICAiIiJQbG90IFBWRSBjdXJ2ZSB3aXRoIGEgdmVydGljYWwgbWFya2VyIGF0IGN1cnJlbnRfay4iIiIKICAgIGF4LnBsb3Qoa192YWx1ZXMsIHB2ZV92YWx1ZXMsICdvLScsIGNvbG9yPScjMzQ5OGRiJywgbHc9Mi41LAogICAgICAgICAgICBtYXJrZXJzaXplPTksIHpvcmRlcj0zLCBsYWJlbD0nUFZFJykKICAgIGF4LmF4dmxpbmUoY3VycmVudF9rLCBjb2xvcj0nI2U3NGMzYycsIGx3PTIsIGxzPSctLScsIGFscGhhPTAuODUsCiAgICAgICAgICAgICAgIGxhYmVsPWYnSyA9IHtjdXJyZW50X2t9JykKICAgICMgSGlnaGxpZ2h0IHRoZSBlbGJvdzogcG9pbnQgYWZ0ZXIgdGhlIGJpZ2dlc3QgZHJvcCBpbiBtYXJnaW5hbCBnYWluCiAgICAjIChhcmdtaW4gb2Ygc2Vjb25kIGRpZmZlcmVuY2VzIOKAlCB3aGVyZSBkaW1pbmlzaGluZyByZXR1cm5zIGtpY2sgaW4gaGFyZGVzdCkKICAgIGlmIGxlbihwdmVfdmFsdWVzKSA%2BPSAzOgogICAgICAgIF9kMSA9IG5wLmRpZmYocHZlX3ZhbHVlcykgICAgICAgICAgIyBtYXJnaW5hbCBnYWluIHBlciBzdGVwCiAgICAgICAgX2QyID0gbnAuZGlmZihfZDEpICAgICAgICAgICAgICAgICAjIGNoYW5nZSBpbiBtYXJnaW5hbCBnYWluCiAgICAgICAgZWxib3dfaWR4ID0gaW50KG5wLmFyZ21pbihfZDIpKSArIDEgICMgc3RlcCBBRlRFUiB0aGUgc2hhcnBlc3QgZHJvcAogICAgICAgIGF4LnNjYXR0ZXIoW2tfdmFsdWVzW2VsYm93X2lkeF1dLCBbcHZlX3ZhbHVlc1tlbGJvd19pZHhdXSwKICAgICAgICAgICAgICAgICAgIHM9MTgwLCBjb2xvcj0nI2YzOWMxMicsIHpvcmRlcj01LAogICAgICAgICAgICAgICAgICAgbGFiZWw9ZidFbGJvdyDiiYggSz17a192YWx1ZXNbZWxib3dfaWR4XX0nKQogICAgYXguc2V0X3hsYWJlbCgnTnVtYmVyIG9mIENsdXN0ZXJzICBLJywgZm9udHNpemU9MTQpCiAgICBheC5zZXRfeWxhYmVsKCdQVkUnLCBmb250c2l6ZT0xNCkKICAgIGF4LnNldF90aXRsZSgnUHJvcG9ydGlvbiBvZiBWYXJpYW5jZSBFeHBsYWluZWQnLCBmb250c2l6ZT0xNiwgZm9udHdlaWdodD0nYm9sZCcpCiAgICBheC5zZXRfeHRpY2tzKGtfdmFsdWVzKQogICAgYXgudGlja19wYXJhbXMobGFiZWxzaXplPTEyKQogICAgYXgubGVnZW5kKGZvbnRzaXplPTEyKQogICAgYXguZ3JpZChUcnVlLCBhbHBoYT0wLjM1KQogICAgYXguc2V0X3lsaW0oMCwgMS4wNSkKCgpkZWYgcGxvdF9zaWxob3VldHRlX2N1cnZlKGF4LCBrX3ZhbHVlcywgc2lsX21lYW5zLCBjdXJyZW50X2spOgogICAgIiIiUGxvdCBtZWFuIHNpbGhvdWV0dGUgY3VydmUgd2l0aCB2ZXJ0aWNhbCBtYXJrZXJzIGF0IGN1cnJlbnRfayBhbmQgYmVzdF9rLiIiIgogICAgYXgucGxvdChrX3ZhbHVlcywgc2lsX21lYW5zLCAncy0nLCBjb2xvcj0nIzJlY2M3MScsIGx3PTIuNSwKICAgICAgICAgICAgbWFya2Vyc2l6ZT05LCB6b3JkZXI9MywgbGFiZWw9J01lYW4gc2lsaG91ZXR0ZScpCiAgICBheC5heHZsaW5lKGN1cnJlbnRfaywgY29sb3I9JyNlNzRjM2MnLCBsdz0yLCBscz0nLS0nLCBhbHBoYT0wLjg1LAogICAgICAgICAgICAgICBsYWJlbD1mJ0sgPSB7Y3VycmVudF9rfScpCiAgICBiZXN0X2sgPSBrX3ZhbHVlc1tpbnQobnAuYXJnbWF4KHNpbF9tZWFucykpXQogICAgaWYgYmVzdF9rICE9IGN1cnJlbnRfazoKICAgICAgICBheC5heHZsaW5lKGJlc3RfaywgY29sb3I9JyNmMzljMTInLCBsdz0xLjUsIGxzPSc6JywgYWxwaGE9MC45LAogICAgICAgICAgICAgICAgICAgbGFiZWw9ZidCZXN0IEsgPSB7YmVzdF9rfScpCiAgICBheC5zZXRfeGxhYmVsKCdOdW1iZXIgb2YgQ2x1c3RlcnMgIEsnLCBmb250c2l6ZT0xNCkKICAgIGF4LnNldF95bGFiZWwoJ01lYW4gU2lsaG91ZXR0ZScsIGZvbnRzaXplPTE0KQogICAgYXguc2V0X3RpdGxlKCdNZWFuIFNpbGhvdWV0dGUgU2NvcmUnLCBmb250c2l6ZT0xNiwgZm9udHdlaWdodD0nYm9sZCcpCiAgICBheC5zZXRfeHRpY2tzKGtfdmFsdWVzKQogICAgYXgudGlja19wYXJhbXMobGFiZWxzaXplPTEyKQogICAgYXgubGVnZW5kKGZvbnRzaXplPTEyKQogICAgYXguZ3JpZChUcnVlLCBhbHBoYT0wLjM1KQogICAgYXguc2V0X3lsaW0oLTAuMiwgMS4wKQoKCmRlZiBwbG90X3NwaGVyZV9tYXAoYXgsIGxhdHNfcmFkLCBsb25zX3JhZCwgbGFiZWxzLCBjX2xhdHNfcmFkLCBjX2xvbnNfcmFkLAogICAgICAgICAgICAgICAgICAgIHRpdGxlLCBtZXRyaWM9J2hhdmVyc2luZScsIGNlbnRlcl9tYXJrZXI9JyonKToKICAgICIiIgogICAgRXF1aXJlY3Rhbmd1bGFyIHByb2plY3Rpb24gbWFwIHdpdGggVm9yb25vaSB0ZXJyaXRvcnkgc2hhZGluZy4KCiAgICBQYXJhbWV0ZXJzCiAgICAtLS0tLS0tLS0tCiAgICBheCAgICAgICAgICAgIDogbWF0cGxvdGxpYiBBeGVzCiAgICBsYXRzX3JhZCAgICAgIDogKE4sKSBsYXRpdHVkZXMgaW4gcmFkaWFucwogICAgbG9uc19yYWQgICAgICA6IChOLCkgbG9uZ2l0dWRlcyBpbiByYWRpYW5zCiAgICBsYWJlbHMgICAgICAgIDogKE4sKSBpbnRlZ2VyIGNsdXN0ZXIgYXNzaWdubWVudHMKICAgIGNfbGF0c19yYWQgICAgOiAoaywpIGNsdXN0ZXItY2VudHJlIGxhdGl0dWRlcyBpbiByYWRpYW5zCiAgICBjX2xvbnNfcmFkICAgIDogKGssKSBjbHVzdGVyLWNlbnRyZSBsb25naXR1ZGVzIGluIHJhZGlhbnMKICAgIHRpdGxlICAgICAgICAgOiBheGVzIHRpdGxlCiAgICBtZXRyaWMgICAgICAgIDogJ2hhdmVyc2luZScgb3IgJ2V1Y2xpZGVhbicKICAgIGNlbnRlcl9tYXJrZXIgOiBtYXRwbG90bGliIG1hcmtlciBzdHJpbmcgZm9yIGNlbnRyb2lkcwogICAgIiIiCiAgICBpbXBvcnQgbWF0cGxvdGxpYi5jb2xvcnMgYXMgX21jCgogICAgayA9IGxlbihjX2xhdHNfcmFkKQogICAgY29sb3JzID0gW0NMVVNURVJfQ09MT1JTW2kgJSBsZW4oQ0xVU1RFUl9DT0xPUlMpXSBmb3IgaSBpbiByYW5nZShrKV0KCiAgICAjIOKUgOKUgCAxLWRlZ3JlZSBWb3Jvbm9pIGJhY2tncm91bmQg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACiAgICBsb25fZGVnID0gbnAubGluc3BhY2UoLTE4MCwgMTgwLCAzNjApCiAgICBsYXRfZGVnID0gbnAubGluc3BhY2UoLTkwLCA5MCwgMTgwKQogICAgbGcsIGxhdGcgPSBucC5tZXNoZ3JpZChsb25fZGVnLCBsYXRfZGVnKQogICAgbHIgICA9IG5wLmRlZzJyYWQobGcucmF2ZWwoKSkKICAgIGxhdHIgPSBucC5kZWcycmFkKGxhdGcucmF2ZWwoKSkKCiAgICBEX2JnID0gbnAuemVyb3MoKGxlbihsciksIGspKQogICAgZm9yIGogaW4gcmFuZ2Uoayk6CiAgICAgICAgaWYgbWV0cmljID09ICdoYXZlcnNpbmUnOgogICAgICAgICAgICBEX2JnWzosIGpdID0gaGF2ZXJzaW5lKGxhdHIsIGxyLCBjX2xhdHNfcmFkW2pdLCBjX2xvbnNfcmFkW2pdKQogICAgICAgIGVsc2U6CiAgICAgICAgICAgIERfYmdbOiwgal0gPSBucC5zcXJ0KChsYXRyIC0gY19sYXRzX3JhZFtqXSkqKjIgKyAobHIgLSBjX2xvbnNfcmFkW2pdKSoqMikKCiAgICB2b3Jvbm9pID0gbnAuYXJnbWluKERfYmcsIGF4aXM9MSkucmVzaGFwZShsYXRnLnNoYXBlKQogICAgcmdiID0gbnAuYXJyYXkoW19tYy50b19yZ2IoYykgZm9yIGMgaW4gY29sb3JzXSkKICAgIGltZyA9IHJnYlt2b3Jvbm9pXQogICAgYXguaW1zaG93KGltZywgZXh0ZW50PVstMTgwLCAxODAsIC05MCwgOTBdLCBhc3BlY3Q9J2F1dG8nLAogICAgICAgICAgICAgIGFscGhhPTAuMTUsIG9yaWdpbj0nbG93ZXInKQoKICAgICMg4pSA4pSAIERhdGEgcG9pbnRzIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAogICAgbG9uc19kID0gbnAucmFkMmRlZyhsb25zX3JhZCkKICAgIGxhdHNfZCA9IG5wLnJhZDJkZWcobGF0c19yYWQpCiAgICBmb3IgYyBpbiByYW5nZShrKToKICAgICAgICBtYXNrID0gbGFiZWxzID09IGMKICAgICAgICBheC5zY2F0dGVyKGxvbnNfZFttYXNrXSwgbGF0c19kW21hc2tdLAogICAgICAgICAgICAgICAgICAgYz1jb2xvcnNbY10sIHM9MTgsIGFscGhhPTAuODUsIGxpbmV3aWR0aHM9MCwgem9yZGVyPTMpCgogICAgIyDilIDilIAgQ2VudHJvaWRzIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAogICAgYXguc2NhdHRlcihucC5yYWQyZGVnKGNfbG9uc19yYWQpLCBucC5yYWQyZGVnKGNfbGF0c19yYWQpLAogICAgICAgICAgICAgICBjPSd3aGl0ZScsIHM9MjYwLCBtYXJrZXI9Y2VudGVyX21hcmtlciwgem9yZGVyPTUsCiAgICAgICAgICAgICAgIGVkZ2Vjb2xvcnM9JyMxMTExMTEnLCBsaW5ld2lkdGhzPTAuOCkKCiAgICBheC5zZXRfeGxpbSgtMTgwLCAxODApCiAgICBheC5zZXRfeWxpbSgtOTAsIDkwKQogICAgYXguc2V0X3hsYWJlbCgnTG9uZ2l0dWRlJywgZm9udHNpemU9MTQpCiAgICBheC5zZXRfeWxhYmVsKCdMYXRpdHVkZScsIGZvbnRzaXplPTE0KQogICAgYXguc2V0X3RpdGxlKHRpdGxlLCBmb250c2l6ZT0xNiwgZm9udHdlaWdodD0nYm9sZCcsIHBhZD04KQogICAgYXgudGlja19wYXJhbXMobGFiZWxzaXplPTEwKQogICAgYXguZ3JpZChUcnVlLCBhbHBoYT0wLjMpCgoKIyDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKIyBQSEFTRS0zIEhFTFBFUlMgIChUb3J1cyArIEh5cGVyYm9saWMgdGFicykKIyDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIDilIAKCmRlZiBsb2FkX3RvcnVzX2RhdGEoZGF0YV9kaXIsIHNlZWQ9NDIpOgogICAgIiIiCiAgICBMb2FkIFJhbWFjaGFuZHJhbiB0b3JzaW9uIGFuZ2xlIGRhdGEgZm9yIHRvcnVzIGNsdXN0ZXJpbmcuCiAgICBDb252ZXJ0cyBwaGkvcHNpIGZyb20gWy1waSwgcGldIHRvIFswLCAyKnBpKS4KICAgICpzZWVkKiBpcyB1c2VkIG9ubHkgd2hlbiBmYWxsaW5nIGJhY2sgdG8gcHVyZWx5IHN5bnRoZXRpYyBkYXRhLgoKICAgIFJldHVybnMgKGRhdGFfZGljdCwgbGFiZWxfc3RyLCBpc19zaW11bGF0ZWQpLgogICAgaXNfc2ltdWxhdGVkPVRydWUgIOKGkiBpbmZvIGNhbGxvdXQgKHNpbXVsYXRlZCByZWdpb25zKQogICAgaXNfc2ltdWxhdGVkPU5vbmUgIOKGkiB3YXJuaW5nIGNhbGxvdXQgKHB1cmUgc3ludGhldGljIGZhbGxiYWNrKQogICAgZGF0YV9kaWN0IGtleXM6ICdwb2ludHMnIChOLDIpIGluIFswLDJwaSksICdwaGknLCAncHNpJywgJ3NlY29uZGFyeV9zdHJ1Y3R1cmUnLgogICAgIiIiCiAgICBwYXRoID0gb3MucGF0aC5qb2luKGRhdGFfZGlyLCAncmFtYWNoYW5kcmFuLmNzdicpCiAgICByYXcgPSBsb2FkX3JhbWFjaGFuZHJhbihwYXRoKQogICAgcGhpID0gcmF3WydwaGknXSAlICgyICogbnAucGkpCiAgICBwc2kgPSByYXdbJ3BzaSddICUgKDIgKiBucC5waSkKICAgIHBvaW50cyA9IG5wLnN0YWNrKFtwaGksIHBzaV0sIGF4aXM9MSkKICAgIHNzID0gcmF3LmdldCgnc2Vjb25kYXJ5X3N0cnVjdHVyZScpCiAgICBoYXNfc3MgPSBzcyBpcyBub3QgTm9uZSBhbmQgbGVuKHNzKSA%2BIDAgYW5kIHN0cihzc1swXSkgbm90IGluICgnJywgJ05vbmUnKQogICAgaWYgaGFzX3NzOgogICAgICAgIGxhYmVsID0gJ1JhbWFjaGFuZHJhbiB0b3JzaW9uIGFuZ2xlcyAoc2ltdWxhdGVkIHNlY29uZGFyeSBzdHJ1Y3R1cmUgcmVnaW9ucyknCiAgICAgICAgaXNfc2ltdWxhdGVkID0gVHJ1ZQogICAgZWxzZToKICAgICAgICAjIFB1cmUgc3ludGhldGljIGZhbGxiYWNrIOKAlCByZWdlbmVyYXRlIHdpdGggZ2l2ZW4gc2VlZAogICAgICAgIF9kID0gZ2VuZXJhdGVfcmFtYWNoYW5kcmFuX2RhdGEobj01MDAsIHNlZWQ9c2VlZCkKICAgICAgICBwaGkgPSBfZFsncGhpJ10gJSAoMiAqIG5wLnBpKQogICAgICAgIHBzaSA9IF9kWydwc2knXSAlICgyICogbnAucGkpCiAgICAgICAgcG9pbnRzID0gbnAuc3RhY2soW3BoaSwgcHNpXSwgYXhpcz0xKQogICAgICAgIHNzID0gX2RbJ3NlY29uZGFyeV9zdHJ1Y3R1cmUnXQogICAgICAgIGxhYmVsID0gZidTeW50aGV0aWMgUmFtYWNoYW5kcmFuIGFuZ2xlcyAoc2VlZD17c2VlZH0pJwogICAgICAgIGlzX3NpbXVsYXRlZCA9IE5vbmUKICAgIHJldHVybiAoCiAgICAgICAgeydwb2ludHMnOiBwb2ludHMsICdwaGknOiBwaGksICdwc2knOiBwc2ksICdzZWNvbmRhcnlfc3RydWN0dXJlJzogc3N9LAogICAgICAgIGxhYmVsLAogICAgICAgIGlzX3NpbXVsYXRlZCwKICAgICkKCgpkZWYgbG9hZF9oeXBlcmJvbGljX2RhdGEoZGF0YV9kaXIsIHNlZWQ9NDIpOgogICAgIiIiCiAgICBMb2FkIG9yIGdlbmVyYXRlIGFuaW1hbCB0YXhvbm9teSBQb2luY2Fyw6kgZGlzayBlbWJlZGRpbmcuCiAgICAqc2VlZCogY29udHJvbHMgdGhlIHN5bnRoZXRpYyBmYWxsYmFjayBnZW5lcmF0b3IuCiAgICBSZXR1cm5zIChkYXRhX2RpY3QsIGxhYmVsX3N0ciwgaXNfc3ludGhldGljX2Jvb2wpLgogICAgZGF0YV9kaWN0IGtleXM6ICdwb2ludHMnIChOLDIpIGluc2lkZSB1bml0IGRpc2ssICdsYWJlbHMnIChOLCkuCiAgICAiIiIKICAgIHBhdGggPSBvcy5wYXRoLmpvaW4oZGF0YV9kaXIsICd0YXhvbm9teV9wb2luY2FyZS5jc3YnKQogICAgdHJ5OgogICAgICAgIGltcG9ydCBjc3YgYXMgX2NzdgogICAgICAgIHB0cywgbGJscyA9IFtdLCBbXQogICAgICAgIHdpdGggb3BlbihwYXRoLCBuZXdsaW5lPScnKSBhcyBmOgogICAgICAgICAgICByZWFkZXIgPSBfY3N2LkRpY3RSZWFkZXIoZikKICAgICAgICAgICAgZm9yIHJvdyBpbiByZWFkZXI6CiAgICAgICAgICAgICAgICBwdHMuYXBwZW5kKFtmbG9hdChyb3dbJ3gnXSksIGZsb2F0KHJvd1sneSddKV0pCiAgICAgICAgICAgICAgICBsYmxzLmFwcGVuZChpbnQocm93LmdldCgnbGFiZWwnLCAwKSkpCiAgICAgICAgaWYgbGVuKHB0cykgPCAxMDoKICAgICAgICAgICAgcmFpc2UgVmFsdWVFcnJvcigiVG9vIGZldyByb3dzIikKICAgICAgICBwdHNfYXJyID0gbnAuYXJyYXkocHRzKQogICAgICAgIG5vcm1zID0gbnAubGluYWxnLm5vcm0ocHRzX2FyciwgYXhpcz0xLCBrZWVwZGltcz1UcnVlKQogICAgICAgIHB0c19hcnIgPSBucC53aGVyZShub3JtcyA%2BPSAwLjk5LCBwdHNfYXJyICogMC45NyAvIG5vcm1zLCBwdHNfYXJyKQogICAgICAgIHJldHVybiAoCiAgICAgICAgICAgIHsncG9pbnRzJzogcHRzX2FyciwgJ2xhYmVscyc6IG5wLmFycmF5KGxibHMpfSwKICAgICAgICAgICAgJ0FuaW1hbCB0YXhvbm9teSAoUG9pbmNhcsOpIGVtYmVkZGluZyknLAogICAgICAgICAgICBGYWxzZSwKICAgICAgICApCiAgICBleGNlcHQgRXhjZXB0aW9uOgogICAgICAgIHB0cywgbGJscywgXyA9IGdlbmVyYXRlX2h5cGVyYm9saWNfY2x1c3RlcnMobl9wb2ludHM9MzAwLCBrPTUsIHNlZWQ9c2VlZCkKICAgICAgICByZXR1cm4gKAogICAgICAgICAgICB7J3BvaW50cyc6IHB0cywgJ2xhYmVscyc6IGxibHN9LAogICAgICAgICAgICBmJ1NpbXVsYXRlZCBoaWVyYXJjaGljYWwgZW1iZWRkaW5nIChzZWVkPXtzZWVkfSknLAogICAgICAgICAgICBUcnVlLAogICAgICAgICkKCgpkZWYgY29tcHV0ZV90b3J1c19tYXRyaXgocG9pbnRzLCBwZXJpb2Q9MiAqIG5wLnBpKToKICAgICIiIkNvbXB1dGUgZnVsbCBOeE4gdG9ydXMgZGlzdGFuY2UgbWF0cml4LiIiIgogICAgbiA9IGxlbihwb2ludHMpCiAgICBEID0gbnAuemVyb3MoKG4sIG4pKQogICAgZm9yIGkgaW4gcmFuZ2Uobik6CiAgICAgICAgRFtpLCA6XSA9IHRvcnVzX2Rpc3RhbmNlKHBvaW50cywgcG9pbnRzW2ldLCBwZXJpb2QpCiAgICByZXR1cm4gRAoKCmRlZiBjb21wdXRlX3BvaW5jYXJlX21hdHJpeChwb2ludHMpOgogICAgIiIiQ29tcHV0ZSBmdWxsIE54TiBQb2luY2Fyw6kgZGlzdGFuY2UgbWF0cml4LiIiIgogICAgbiA9IGxlbihwb2ludHMpCiAgICBEID0gbnAuemVyb3MoKG4sIG4pKQogICAgZm9yIGkgaW4gcmFuZ2Uobik6CiAgICAgICAgRFtpLCA6XSA9IHBvaW5jYXJlX2Rpc3RhbmNlKHBvaW50cywgcG9pbnRzW2ldKQogICAgcmV0dXJuIEQKCgpkZWYgcGxvdF90b3J1c19tYXAoYXgsIHB0c19yYWQsIGxhYmVscywgY2VudGVyc19yYWQsIHRpdGxlLAogICAgICAgICAgICAgICAgICAgbWV0cmljPSd0b3JvaWRhbCcsIHBlcmlvZD0yICogbnAucGkpOgogICAgIiIiCiAgICBGbGF0IHRvcnVzIHNjYXR0ZXIgd2l0aCBWb3Jvbm9pIHNoYWRpbmcsIGRpc3BsYXllZCBpbiBkZWdyZWVzIFswLCAzNjApLgoKICAgIHB0c19yYWQgICAgIDogKE4sIDIpIGFuZ3VsYXIgY29vcmRpbmF0ZXMgaW4gWzAsIHBlcmlvZCkKICAgIGNlbnRlcnNfcmFkIDogKGssIDIpIGNsdXN0ZXIgY2VudHJlcyBpbiBbMCwgcGVyaW9kKQogICAgbWV0cmljICAgICAgOiAndG9yb2lkYWwnIG9yICdldWNsaWRlYW4nCiAgICAiIiIKICAgIGltcG9ydCBtYXRwbG90bGliLmNvbG9ycyBhcyBfbWMKCiAgICBrID0gbGVuKGNlbnRlcnNfcmFkKQogICAgY29sb3JzID0gW0NMVVNURVJfQ09MT1JTW2kgJSBsZW4oQ0xVU1RFUl9DT0xPUlMpXSBmb3IgaSBpbiByYW5nZShrKV0KICAgIHRvX2RlZyA9IDM2MC4wIC8gcGVyaW9kCgogICAgIyBWb3Jvbm9pIGJhY2tncm91bmQKICAgIHJlcyA9IDIwMAogICAgZ3ggPSBucC5saW5zcGFjZSgwLCBwZXJpb2QsIHJlcykKICAgIGd5ID0gbnAubGluc3BhY2UoMCwgcGVyaW9kLCByZXMpCiAgICBneHgsIGd5eSA9IG5wLm1lc2hncmlkKGd4LCBneSkKICAgIGdyaWQgPSBucC5zdGFjayhbZ3h4LnJhdmVsKCksIGd5eS5yYXZlbCgpXSwgYXhpcz0xKQoKICAgIERfYmcgPSBucC56ZXJvcygobGVuKGdyaWQpLCBrKSkKICAgIGZvciBqIGluIHJhbmdlKGspOgogICAgICAgIGlmIG1ldHJpYyA9PSAndG9yb2lkYWwnOgogICAgICAgICAgICBEX2JnWzosIGpdID0gdG9ydXNfZGlzdGFuY2UoZ3JpZCwgY2VudGVyc19yYWRbal0sIHBlcmlvZCkKICAgICAgICBlbHNlOgogICAgICAgICAgICBEX2JnWzosIGpdID0gbnAubGluYWxnLm5vcm0oZ3JpZCAtIGNlbnRlcnNfcmFkW2pdLCBheGlzPTEpCiAgICB2b3Jvbm9pID0gbnAuYXJnbWluKERfYmcsIGF4aXM9MSkucmVzaGFwZShyZXMsIHJlcykKICAgIHJnYiA9IG5wLmFycmF5KFtfbWMudG9fcmdiKGMpIGZvciBjIGluIGNvbG9yc10pCiAgICBpbWcgPSByZ2Jbdm9yb25vaV0KICAgIGF4Lmltc2hvdyhpbWcsIGV4dGVudD1bMCwgMzYwLCAwLCAzNjBdLCBhc3BlY3Q9J2F1dG8nLCBhbHBoYT0wLjE1LCBvcmlnaW49J2xvd2VyJykKCiAgICAjIERhdGEgcG9pbnRzCiAgICBwdHNfZGVnID0gcHRzX3JhZCAqIHRvX2RlZwogICAgZm9yIGMgaW4gcmFuZ2Uoayk6CiAgICAgICAgbWFzayA9IGxhYmVscyA9PSBjCiAgICAgICAgYXguc2NhdHRlcihwdHNfZGVnW21hc2ssIDBdLCBwdHNfZGVnW21hc2ssIDFdLAogICAgICAgICAgICAgICAgICAgYz1jb2xvcnNbY10sIHM9MTIsIGFscGhhPTAuODAsIGxpbmV3aWR0aHM9MCwgem9yZGVyPTMpCgogICAgIyBDZW50cm9pZHMKICAgIGNfZGVnID0gY2VudGVyc19yYWQgKiB0b19kZWcKICAgIGF4LnNjYXR0ZXIoY19kZWdbOiwgMF0sIGNfZGVnWzosIDFdLAogICAgICAgICAgICAgICBjPSd3aGl0ZScsIHM9MjIwLCBtYXJrZXI9JyonLCB6b3JkZXI9NSwKICAgICAgICAgICAgICAgZWRnZWNvbG9ycz0nIzExMTExMScsIGxpbmV3aWR0aHM9MC44KQoKICAgICMgV3JhcGFyb3VuZCBib3VuZGFyaWVzIChvcmFuZ2UgZGFzaGVkIGF0IDDCsCBhbmQgMzYwwrAgb24gYm90aCBheGVzKQogICAgZm9yIHYgaW4gWzAsIDM2MF06CiAgICAgICAgYXguYXh2bGluZSh2LCBjb2xvcj0nI2ZmOGMwMCcsIGx3PTEuNSwgbHM9Jy0tJywgYWxwaGE9MC43LCB6b3JkZXI9NCkKICAgICAgICBheC5heGhsaW5lKHYsIGNvbG9yPScjZmY4YzAwJywgbHc9MS41LCBscz0nLS0nLCBhbHBoYT0wLjcsIHpvcmRlcj00KQoKICAgIGF4LnNldF94bGltKDAsIDM2MCkKICAgIGF4LnNldF95bGltKDAsIDM2MCkKICAgIGF4LnNldF94bGFiZWwoJ8%2BGIChkZWdyZWVzKScsIGZvbnRzaXplPTE0KQogICAgYXguc2V0X3lsYWJlbCgnz4ggKGRlZ3JlZXMpJywgZm9udHNpemU9MTQpCiAgICBheC5zZXRfdGl0bGUodGl0bGUsIGZvbnRzaXplPTE2LCBmb250d2VpZ2h0PSdib2xkJywgcGFkPTgpCiAgICBheC50aWNrX3BhcmFtcyhsYWJlbHNpemU9MTApCiAgICBheC5ncmlkKFRydWUsIGFscGhhPTAuMykKCgpkZWYgcGxvdF9wb2luY2FyZV9kaXNrKGF4LCBwdHMsIGxhYmVscywgY2VudGVycywgdGl0bGUsIG1ldHJpYz0naHlwZXJib2xpYycpOgogICAgIiIiCiAgICBQb2luY2Fyw6kgZGlzayB3aXRoIFZvcm9ub2kgc2hhZGluZywgZGVwdGggcmluZ3MsIGFuZCB1bml0LWNpcmNsZSBib3VuZGFyeS4KCiAgICBwdHMgICAgIDogKE4sIDIpIHBvaW50cyBpbnNpZGUgdGhlIHVuaXQgZGlzawogICAgY2VudGVycyA6IChrLCAyKSBjbHVzdGVyIGNlbnRyZXMgaW5zaWRlIHRoZSB1bml0IGRpc2sKICAgIG1ldHJpYyAgOiAnaHlwZXJib2xpYycgb3IgJ2V1Y2xpZGVhbicKICAgICIiIgogICAgaW1wb3J0IG1hdHBsb3RsaWIuY29sb3JzIGFzIF9tYwogICAgaW1wb3J0IG1hdHBsb3RsaWIucGF0Y2hlcyBhcyBfbXAKCiAgICBrID0gbGVuKGNlbnRlcnMpCiAgICBjb2xvcnMgPSBbQ0xVU1RFUl9DT0xPUlNbaSAlIGxlbihDTFVTVEVSX0NPTE9SUyldIGZvciBpIGluIHJhbmdlKGspXQoKICAgICMgVm9yb25vaSBiYWNrZ3JvdW5kIChtYXNrZWQgb3V0c2lkZSB1bml0IGRpc2spCiAgICByZXMgPSAyNTAKICAgIGxpbiA9IG5wLmxpbnNwYWNlKC0xLCAxLCByZXMpCiAgICBneHgsIGd5eSA9IG5wLm1lc2hncmlkKGxpbiwgbGluKQogICAgZ3JpZCA9IG5wLnN0YWNrKFtneHgucmF2ZWwoKSwgZ3l5LnJhdmVsKCldLCBheGlzPTEpCiAgICBpbnNpZGUgPSBucC5zdW0oZ3JpZCoqMiwgYXhpcz0xKSA8IDAuOTk5OQoKICAgIGJnX3JnYiA9IG5wLmFycmF5KF9tYy50b19yZ2IoJyMxYTFhMmUnKSkKICAgIHZvcm9ub2lfaW1nID0gbnAudGlsZShiZ19yZ2IsIChyZXMgKiByZXMsIDEpKQogICAgaWYgbnAuYW55KGluc2lkZSkgYW5kIGsgPiAwOgogICAgICAgIGdyaWRfaW4gPSBncmlkW2luc2lkZV0KICAgICAgICBEX2JnID0gbnAuemVyb3MoKGxlbihncmlkX2luKSwgaykpCiAgICAgICAgZm9yIGogaW4gcmFuZ2Uoayk6CiAgICAgICAgICAgIGlmIG1ldHJpYyA9PSAnaHlwZXJib2xpYyc6CiAgICAgICAgICAgICAgICBEX2JnWzosIGpdID0gcG9pbmNhcmVfZGlzdGFuY2UoZ3JpZF9pbiwgY2VudGVyc1tqXSkKICAgICAgICAgICAgZWxzZToKICAgICAgICAgICAgICAgIERfYmdbOiwgal0gPSBucC5saW5hbGcubm9ybShncmlkX2luIC0gY2VudGVyc1tqXSwgYXhpcz0xKQogICAgICAgIHJnYiA9IG5wLmFycmF5KFtfbWMudG9fcmdiKGMpIGZvciBjIGluIGNvbG9yc10pCiAgICAgICAgdm9yb25vaV9pbWdbaW5zaWRlXSA9IHJnYltucC5hcmdtaW4oRF9iZywgYXhpcz0xKV0KCiAgICB2b3Jvbm9pX2ltZyA9IHZvcm9ub2lfaW1nLnJlc2hhcGUocmVzLCByZXMsIDMpCiAgICBheC5pbXNob3codm9yb25vaV9pbWcsIGV4dGVudD1bLTEsIDEsIC0xLCAxXSwgYXNwZWN0PSdlcXVhbCcsCiAgICAgICAgICAgICAgYWxwaGE9MC4xNSwgb3JpZ2luPSdsb3dlcicsIGludGVycG9sYXRpb249J2JpbGluZWFyJykKCiAgICAjIERlcHRoIGNpcmNsZXMgd2l0aCBoeXBlcmJvbGljIGRpc3RhbmNlIGFubm90YXRpb25zCiAgICBmb3IgciBpbiBbMC4zLCAwLjYsIDAuOCwgMC45LCAwLjk1XToKICAgICAgICBjaXJjID0gX21wLkNpcmNsZSgoMCwgMCksIHIsIGZpbGw9RmFsc2UsIGVkZ2Vjb2xvcj0nIzU1NTU3NycsCiAgICAgICAgICAgICAgICAgICAgICAgICAgbHc9MC45LCBscz0nOicsIHpvcmRlcj0yKQogICAgICAgIGF4LmFkZF9wYXRjaChjaXJjKQogICAgICAgIGRfaCA9IDIgKiBucC5hcmN0YW5oKHIpCiAgICAgICAgYXgudGV4dChyICogMC43MSwgciAqIDAuNzEsIGYnZOKJiHtkX2g6LjFmfScsCiAgICAgICAgICAgICAgICBmb250c2l6ZT03LCBjb2xvcj0nIzc3NzdhYScsIGhhPSdsZWZ0JywgdmE9J2JvdHRvbScsIHpvcmRlcj0zKQoKICAgICMgVW5pdCBjaXJjbGUgYm91bmRhcnkgKHRoaWNrKQogICAgYm91bmRhcnkgPSBfbXAuQ2lyY2xlKCgwLCAwKSwgMS4wLCBmaWxsPUZhbHNlLAogICAgICAgICAgICAgICAgICAgICAgICAgICBlZGdlY29sb3I9JyNiYmJiY2MnLCBsdz0yLjUsIHpvcmRlcj00KQogICAgYXguYWRkX3BhdGNoKGJvdW5kYXJ5KQoKICAgICMgRGF0YSBwb2ludHMKICAgIGZvciBjIGluIHJhbmdlKGspOgogICAgICAgIG1hc2sgPSBsYWJlbHMgPT0gYwogICAgICAgIGF4LnNjYXR0ZXIocHRzW21hc2ssIDBdLCBwdHNbbWFzaywgMV0sCiAgICAgICAgICAgICAgICAgICBjPWNvbG9yc1tjXSwgcz0xOCwgYWxwaGE9MC44NSwgbGluZXdpZHRocz0wLCB6b3JkZXI9NSkKCiAgICAjIENlbnRyb2lkcwogICAgYXguc2NhdHRlcihjZW50ZXJzWzosIDBdLCBjZW50ZXJzWzosIDFdLAogICAgICAgICAgICAgICBjPSd3aGl0ZScsIHM9MjIwLCBtYXJrZXI9JyonLCB6b3JkZXI9NiwKICAgICAgICAgICAgICAgZWRnZWNvbG9ycz0nIzExMTExMScsIGxpbmV3aWR0aHM9MC44KQoKICAgIGF4LnNldF94bGltKC0xLjA4LCAxLjA4KQogICAgYXguc2V0X3lsaW0oLTEuMDgsIDEuMDgpCiAgICBheC5zZXRfYXNwZWN0KCdlcXVhbCcpCiAgICBheC5zZXRfeGxhYmVsKCd4JywgZm9udHNpemU9MTQpCiAgICBheC5zZXRfeWxhYmVsKCd5JywgZm9udHNpemU9MTQpCiAgICBheC5zZXRfdGl0bGUodGl0bGUsIGZvbnRzaXplPTE2LCBmb250d2VpZ2h0PSdib2xkJywgcGFkPTgpCiAgICBheC50aWNrX3BhcmFtcyhsYWJlbHNpemU9MTApCiAgICBheC5ncmlkKFRydWUsIGFscGhhPTAuMikKCgojIOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgOKUgAojIFBIQVNFLTQgSEVMUEVSUyAgKEZlYXR1cmUgU3BhY2UgKyBNaXhlZCBUeXBlIHRhYnMpCiMg4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSA4pSACgpkZWYgY29tcHV0ZV9taW5rb3dza2lfbWF0cml4X2Z1bGwocG9pbnRzLCBwKToKICAgICIiIkNvbXB1dGUgZnVsbCBOeE4gTWlua293c2tpIGRpc3RhbmNlIG1hdHJpeC4iIiIKICAgIG4gPSBsZW4ocG9pbnRzKQogICAgRCA9IG5wLnplcm9zKChuLCBuKSkKICAgIGZvciBpIGluIHJhbmdlKG4pOgogICAgICAgIERbaSwgOl0gPSBtaW5rb3dza2lfZGlzdGFuY2UocG9pbnRzLCBwb2ludHNbaV0sIHApCiAgICByZXR1cm4gRAoKCmRlZiBsb2FkX2ZlYXR1cmVfZGF0YShkYXRhX2RpciwgZGF0YXNldD0ncGVuZ3VpbnMnKToKICAgICIiIgogICAgTG9hZCBmZWF0dXJlLXNwYWNlIGRhdGEsIHN0YW5kYXJkaXplLCBydW4gUENBIHRvIGdldCAyRCBwcm9qZWN0aW9uLgoKICAgIGRhdGFzZXQgOiAncGVuZ3VpbnMnIHwgJ2lyaXMnIHwgJ3N5bnRoZXRpYycKICAgIFJldHVybnMgKGRhdGFfZGljdCwgbGFiZWxfc3RyLCBpc19zeW50aGV0aWNfYm9vbCkuCiAgICBkYXRhX2RpY3Qga2V5czogJ3BvaW50cycsICdwb2ludHNfMmQnLCAnc3BlY2llcycsICdmZWF0dXJlX25hbWVzJy4KICAgICIiIgogICAgaWYgZGF0YXNldCA9PSAnaXJpcyc6CiAgICAgICAgcGF0aCA9IG9zLnBhdGguam9pbihkYXRhX2RpciwgJ2lyaXMuY3N2JykKICAgICAgICBkb3dubG9hZF9pZl9taXNzaW5nKF9GRUFUX1VSTFNbJ2lyaXMnXSwgcGF0aCkKICAgICAgICByYXcgPSBsb2FkX2lyaXMocGF0aCkKICAgIGVsaWYgZGF0YXNldCA9PSAnc3ludGhldGljJzoKICAgICAgICByYXcgPSBsb2FkX3Blbmd1aW5zKE5vbmUpICAgIyB0cmlnZ2VycyBzeW50aGV0aWMgZmFsbGJhY2sKICAgICAgICByYXdbJ3NwZWNpZXMnXSA9IE5vbmUKICAgIGVsc2U6ICAjICdwZW5ndWlucycgKGRlZmF1bHQpCiAgICAgICAgcGF0aCA9IG9zLnBhdGguam9pbihkYXRhX2RpciwgJ3Blbmd1aW5zLmNzdicpCiAgICAgICAgZG93bmxvYWRfaWZfbWlzc2luZyhfRkVBVF9VUkxTWydwZW5ndWlucyddLCBwYXRoKQogICAgICAgIHJhdyA9IGxvYWRfcGVuZ3VpbnMocGF0aCkKCiAgICBwdHNfZnVsbCA9IHJhd1sncG9pbnRzX2Z1bGwnXQogICAgaXNfc3ludGhldGljID0gcmF3WydzcGVjaWVzJ10gaXMgTm9uZQoKICAgIGNlbnRlcmVkID0gcHRzX2Z1bGwgLSBwdHNfZnVsbC5tZWFuKGF4aXM9MCkKICAgIF8sIF8sIFZ0ID0gbnAubGluYWxnLnN2ZChjZW50ZXJlZCwgZnVsbF9tYXRyaWNlcz1GYWxzZSkKICAgIHB0c18yZCA9IGNlbnRlcmVkIEAgVnRbOjJdLlQKCiAgICBsYWJlbCA9IEZFQVRfREFUQVNFVF9MQUJFTFMuZ2V0KGRhdGFzZXQsIGRhdGFzZXQpCiAgICBpZiBpc19zeW50aGV0aWM6CiAgICAgICAgbGFiZWwgPSBGRUFUX0RBVEFTRVRfTEFCRUxTWydzeW50aGV0aWMnXQogICAgcmV0dXJuICgKICAgICAgICB7CiAgICAgICAgICAgICdwb2ludHMnOiAgICAgICAgcHRzX2Z1bGwsCiAgICAgICAgICAgICdwb2ludHNfMmQnOiAgICAgcHRzXzJkLAogICAgICAgICAgICAnc3BlY2llcyc6ICAgICAgIHJhd1snc3BlY2llcyddLAogICAgICAgICAgICAnZmVhdHVyZV9uYW1lcyc6IHJhd1snZmVhdHVyZV9uYW1lcyddLAogICAgICAgIH0sCiAgICAgICAgbGFiZWwsCiAgICAgICAgaXNfc3ludGhldGljLAogICAgKQoKCmRlZiBsb2FkX21peGVkX2RhdGEoZGF0YV9kaXIpOgogICAgIiIiCiAgICBMb2FkIFVTR1MgZWFydGhxdWFrZSBkYXRhIGFuZCBkZXJpdmUgbWFnbml0dWRlX2NsYXNzICsgZGVwdGhfY2xhc3MgY2F0ZWdvcmllcy4KICAgIEZhbGxzIGJhY2sgdG8gc3ludGhldGljIHdlYXRoZXItc3RhdGlvbiBkYXRhIHdpdGggY2xpbWF0ZS90ZXJyYWluLgoKICAgIFJldHVybnMgKGRhdGFfZGljdCwgbGFiZWxfc3RyLCBpc19zeW50aGV0aWNfYm9vbCkuCiAgICBkYXRhX2RpY3Qga2V5czoKICAgICAgJ2xhdHMnLCAnbG9ucycgICAgICAgICAgIDogcmFkaWFucwogICAgICAnbWFnbml0dWRlX2NsYXNzJyAgICAgICAgOiBzdHJpbmcgYXJyYXkgICgnbG93Jy8nbW9kZXJhdGUnLydoaWdoJykKICAgICAgJ2RlcHRoX2NsYXNzJyAgICAgICAgICAgIDogc3RyaW5nIGFycmF5ICAoJ3NoYWxsb3cnLydpbnRlcm1lZGlhdGUnLydkZWVwJykKICAgICAgJ21hZ25pdHVkZScgICAgICAgICAgICAgIDogZmxvYXQgYXJyYXkgb3IgTm9uZQogICAgICAndHJ1ZV9sYWJlbHMnICAgICAgICAgICAgOiBOb25lIChubyBncm91bmQgdHJ1dGggZm9yIHJlYWwgZGF0YSkKICAgICIiIgogICAgcGF0aCA9IG9zLnBhdGguam9pbihkYXRhX2RpciwgJ2VhcnRocXVha2VzLmNzdicpCiAgICByYXcgPSBsb2FkX2VhcnRocXVha2VzKHBhdGgpCiAgICBpc19zeW50aGV0aWMgPSByYXdbJ21hZ25pdHVkZSddIGlzIE5vbmUKCiAgICBpZiBub3QgaXNfc3ludGhldGljOgogICAgICAgIG1hZ3MgPSByYXdbJ21hZ25pdHVkZSddCiAgICAgICAgbWFnX2NsYXNzID0gbnAud2hlcmUobWFncyA8IDQuNSwgJ2xvdycsCiAgICAgICAgICAgICAgICAgICAgbnAud2hlcmUobWFncyA8IDYuMCwgJ21vZGVyYXRlJywgJ2hpZ2gnKSkKICAgICAgICAjIFdlIGRvbid0IGhhdmUgZGVwdGggaW4gdGhlIGVhcnRocXVha2UgbG9hZGVyIOKAlCBkZXJpdmUgcHJveHkgZnJvbSBsYXRpdHVkZSBiZWx0CiAgICAgICAgbGF0c19kZWcgPSBucC5yYWQyZGVnKHJhd1snbGF0cyddKQogICAgICAgIGRlcHRoX2NsYXNzID0gbnAud2hlcmUobnAuYWJzKGxhdHNfZGVnKSA8IDIwLCAnc2hhbGxvdycsCiAgICAgICAgICAgICAgICAgICAgICBucC53aGVyZShucC5hYnMobGF0c19kZWcpIDwgNTAsICdpbnRlcm1lZGlhdGUnLCAnZGVlcCcpKQogICAgICAgIGxhYmVsID0gJ1VTR1MgRWFydGhxdWFrZXMgKyBkZXJpdmVkIG1hZ25pdHVkZS9kZXB0aCBjbGFzc2VzJwogICAgZWxzZToKICAgICAgICBuID0gbGVuKHJhd1snbGF0cyddKQogICAgICAgIHJuZyA9IG5wLnJhbmRvbS5kZWZhdWx0X3JuZyg3NykKICAgICAgICBtYWdfY2xhc3MgPSBybmcuY2hvaWNlKFsnbG93JywgJ21vZGVyYXRlJywgJ2hpZ2gnXSwgc2l6ZT1uKQogICAgICAgIGRlcHRoX2NsYXNzID0gcm5nLmNob2ljZShbJ3NoYWxsb3cnLCAnaW50ZXJtZWRpYXRlJywgJ2RlZXAnXSwgc2l6ZT1uKQogICAgICAgIGxhYmVsID0gJ1N5bnRoZXRpYyBzcGhlcmUgY2x1c3RlcnMgKGVhcnRocXVha2VzLmNzdiBub3QgZm91bmQpJwoKICAgIHJldHVybiAoCiAgICAgICAgewogICAgICAgICAgICAnbGF0cyc6ICAgICAgICAgICAgcmF3WydsYXRzJ10sCiAgICAgICAgICAgICdsb25zJzogICAgICAgICAgICByYXdbJ2xvbnMnXSwKICAgICAgICAgICAgJ21hZ25pdHVkZSc6ICAgICAgIHJhd1snbWFnbml0dWRlJ10sCiAgICAgICAgICAgICdtYWduaXR1ZGVfY2xhc3MnOiBtYWdfY2xhc3MsCiAgICAgICAgICAgICdkZXB0aF9jbGFzcyc6ICAgICBkZXB0aF9jbGFzcywKICAgICAgICAgICAgJ3RydWVfbGFiZWxzJzogICAgIE5vbmUsCiAgICAgICAgfSwKICAgICAgICBsYWJlbCwKICAgICAgICBpc19zeW50aGV0aWMsCiAgICApCgoKZGVmIGdvd2VyX2Rpc3RhbmNlX21hdHJpeF92MihkYXRhLCB3X2dlbz0xLjAsIHdfY2F0PTEuMCk6CiAgICAiIiIKICAgIEdvd2VyIGRpc3RhbmNlIGZvciBtaXhlZCBlYXJ0aHF1YWtlIGRhdGEgKGxhdC9sb24gKyBtYWduaXR1ZGVfY2xhc3MgKyBkZXB0aF9jbGFzcykuCgogICAgd19nZW8gOiB3ZWlnaHQgZm9yIEhhdmVyc2luZSBjb21wb25lbnQgKG5vcm1hbGl6ZWQgdG8gWzAsMV0pCiAgICB3X2NhdCA6IHdlaWdodCBhcHBsaWVkIHRvIGVhY2ggY2F0ZWdvcmljYWwgY29sdW1uIGluZGVwZW5kZW50bHkKCiAgICBFYWNoIGNhdGVnb3JpY2FsIGNvbHVtbiBjb250cmlidXRlcyB3X2NhdCB0byB0aGUgd2VpZ2h0ZWQgc3VtLgogICAgVG90YWwgd2VpZ2h0ID0gd19nZW8gKyBuX2NhdCAqIHdfY2F0ICAobl9jYXQgPSAyIGhlcmUpLgogICAgRGlzdGFuY2UgaXMgbm9ybWFsaXplZCB0byBbMCwgMV0uCiAgICAiIiIKICAgIG4gPSBsZW4oZGF0YVsnbGF0cyddKQogICAgbGF0cywgbG9ucyA9IGRhdGFbJ2xhdHMnXSwgZGF0YVsnbG9ucyddCiAgICBtYWdfY2wgID0gZGF0YVsnbWFnbml0dWRlX2NsYXNzJ10KICAgIGRlcF9jbCAgPSBkYXRhWydkZXB0aF9jbGFzcyddCgogICAgbl9jYXQgICA9IDIKICAgIHRvdGFsX3cgPSB3X2dlbyArIG5fY2F0ICogd19jYXQKICAgIGlmIHRvdGFsX3cgPCAxZS0xNToKICAgICAgICB0b3RhbF93ID0gMS4wCgogICAgRCA9IG5wLnplcm9zKChuLCBuKSkKICAgIGZvciBpIGluIHJhbmdlKG4pOgogICAgICAgIGRfZ2VvID0gaGF2ZXJzaW5lKGxhdHNbaV0sIGxvbnNbaV0sIGxhdHMsIGxvbnMpIC8gbnAucGkgICAjIFswLCAxXQogICAgICAgIGRfbWFnID0gKG1hZ19jbFtpXSAhPSBtYWdfY2wpLmFzdHlwZShmbG9hdCkKICAgICAgICBkX2RlcCA9IChkZXBfY2xbaV0gIT0gZGVwX2NsKS5hc3R5cGUoZmxvYXQpCiAgICAgICAgRFtpLCA6XSA9ICh3X2dlbyAqIGRfZ2VvICsgd19jYXQgKiBkX21hZyArIHdfY2F0ICogZF9kZXApIC8gdG90YWxfdwoKICAgIHJldHVybiBECgoKZGVmIHBsb3RfdW5pdF9iYWxsKGF4LCBwLCBjb2xvciwgbGFiZWw9Tm9uZSk6CiAgICAiIiIKICAgIERyYXcgdGhlIHVuaXQgYmFsbCB7eCA6IHx8eHx8X3AgPD0gMX0gaW4gMkQuCiAgICBwID49IDEwMCBkcmF3cyB0aGUgQ2hlYnlzaGV2IChMLWluZmluaXR5KSBzcXVhcmUuCiAgICAiIiIKICAgIHRoZXRhID0gbnAubGluc3BhY2UoMCwgMiAqIG5wLnBpLCA0MDApCiAgICBjb3NfdCA9IG5wLmNvcyh0aGV0YSkKICAgIHNpbl90ID0gbnAuc2luKHRoZXRhKQoKICAgIGlmIHAgPj0gMTAwOgogICAgICAgICMgTC1pbmZpbml0eTogc3F1YXJlIHdpdGggY29ybmVycyBhdCDCsTEKICAgICAgICB0ID0gbnAubGluc3BhY2UoLTEsIDEsIDEwMCkKICAgICAgICB4cyA9IG5wLmNvbmNhdGVuYXRlKFt0LCBucC5vbmVzKDEwMCksIHRbOjotMV0sIC1ucC5vbmVzKDEwMCldKQogICAgICAgIHlzID0gbnAuY29uY2F0ZW5hdGUoWy1ucC5vbmVzKDEwMCksIHQsIG5wLm9uZXMoMTAwKSwgdFs6Oi0xXV0pCiAgICBlbHNlOgogICAgICAgICMgfHh8XnAgKyB8eXxecCA9IDEgIOKGkiAgeCA9IHNpZ24oY29zKSp8Y29zfF4oMi9wKQogICAgICAgIHhzID0gbnAuc2lnbihjb3NfdCkgKiBucC5hYnMoY29zX3QpICoqICgyLjAgLyBwKQogICAgICAgIHlzID0gbnAuc2lnbihzaW5fdCkgKiBucC5hYnMoc2luX3QpICoqICgyLjAgLyBwKQoKICAgIGF4LmZpbGwoeHMsIHlzLCBjb2xvcj1jb2xvciwgYWxwaGE9MC4zNSkKICAgIGF4LnBsb3QoeHMsIHlzLCBjb2xvcj1jb2xvciwgbHc9Mi4wKQogICAgYXguc2V0X3hsaW0oLTEuNSwgMS41KQogICAgYXguc2V0X3lsaW0oLTEuNSwgMS41KQogICAgYXguc2V0X2FzcGVjdCgnZXF1YWwnKQogICAgYXguYXhobGluZSgwLCBjb2xvcj0nIzU1NTU2NicsIGx3PTAuNykKICAgIGF4LmF4dmxpbmUoMCwgY29sb3I9JyM1NTU1NjYnLCBsdz0wLjcpCiAgICBheC50aWNrX3BhcmFtcyhsYWJlbHNpemU9OSkKICAgIGF4LmdyaWQoVHJ1ZSwgYWxwaGE9MC4yNSkKICAgIGlmIGxhYmVsOgogICAgICAgIGF4LnNldF90aXRsZShsYWJlbCwgZm9udHNpemU9MTIsIGZvbnR3ZWlnaHQ9J2JvbGQnLCBwYWQ9NikKCgpkZWYgcGxvdF9mZWF0dXJlX3NjYXR0ZXJfMmQoYXgsIHB0c18yZCwgbGFiZWxzLCBjZW50ZXJzXzJkLCB0aXRsZSwgcD0yLjApOgogICAgIiIiCiAgICAyRCBzY2F0dGVyIHBsb3Qgb24gUENBIGF4ZXMgd2l0aCBzb2Z0IFZvcm9ub2kgc2hhZGluZyB1c2luZyBNaW5rb3dza2kgZGlzdGFuY2UuCgogICAgcHRzXzJkICAgICA6IChOLCAyKSAgUENBLXByb2plY3RlZCBkYXRhCiAgICBsYWJlbHMgICAgIDogKE4sKSAgICBjbHVzdGVyIGFzc2lnbm1lbnRzCiAgICBjZW50ZXJzXzJkIDogKGssIDIpICBjbHVzdGVyIGNlbnRyZXMgaW4gUENBIHNwYWNlCiAgICBwICAgICAgICAgIDogTWlua293c2tpIHAgZm9yIFZvcm9ub2kKICAgICIiIgogICAgaW1wb3J0IG1hdHBsb3RsaWIuY29sb3JzIGFzIF9tYwoKICAgIGsgPSBsZW4oY2VudGVyc18yZCkKICAgIGNvbG9ycyA9IFtDTFVTVEVSX0NPTE9SU1tpICUgbGVuKENMVVNURVJfQ09MT1JTKV0gZm9yIGkgaW4gcmFuZ2UoayldCgogICAgIyBWb3Jvbm9pIGJhY2tncm91bmQgaW4gUENBIGNvb3JkaW5hdGUgYm94CiAgICB4X2xvLCB4X2hpID0gcHRzXzJkWzosIDBdLm1pbigpIC0gMC41LCBwdHNfMmRbOiwgMF0ubWF4KCkgKyAwLjUKICAgIHlfbG8sIHlfaGkgPSBwdHNfMmRbOiwgMV0ubWluKCkgLSAwLjUsIHB0c18yZFs6LCAxXS5tYXgoKSArIDAuNQogICAgcmVzID0gMTYwCiAgICBneCA9IG5wLmxpbnNwYWNlKHhfbG8sIHhfaGksIHJlcykKICAgIGd5ID0gbnAubGluc3BhY2UoeV9sbywgeV9oaSwgcmVzKQogICAgZ3h4LCBneXkgPSBucC5tZXNoZ3JpZChneCwgZ3kpCiAgICBncmlkID0gbnAuc3RhY2soW2d4eC5yYXZlbCgpLCBneXkucmF2ZWwoKV0sIGF4aXM9MSkKCiAgICBEX2JnID0gbnAuemVyb3MoKGxlbihncmlkKSwgaykpCiAgICBmb3IgaiBpbiByYW5nZShrKToKICAgICAgICBEX2JnWzosIGpdID0gbWlua293c2tpX2Rpc3RhbmNlKGdyaWQsIGNlbnRlcnNfMmRbal0sIHApCiAgICB2b3Jvbm9pID0gbnAuYXJnbWluKERfYmcsIGF4aXM9MSkucmVzaGFwZShyZXMsIHJlcykKICAgIHJnYiA9IG5wLmFycmF5KFtfbWMudG9fcmdiKGMpIGZvciBjIGluIGNvbG9yc10pCiAgICBpbWcgPSByZ2Jbdm9yb25vaV0KICAgIGF4Lmltc2hvdyhpbWcsIGV4dGVudD1beF9sbywgeF9oaSwgeV9sbywgeV9oaV0sCiAgICAgICAgICAgICAgYXNwZWN0PSdhdXRvJywgYWxwaGE9MC4xNSwgb3JpZ2luPSdsb3dlcicpCgogICAgZm9yIGMgaW4gcmFuZ2Uoayk6CiAgICAgICAgbWFzayA9IGxhYmVscyA9PSBjCiAgICAgICAgYXguc2NhdHRlcihwdHNfMmRbbWFzaywgMF0sIHB0c18yZFttYXNrLCAxXSwKICAgICAgICAgICAgICAgICAgIGM9Y29sb3JzW2NdLCBzPTE4LCBhbHBoYT0wLjg1LCBsaW5ld2lkdGhzPTAsIHpvcmRlcj0zKQoKICAgIGF4LnNjYXR0ZXIoY2VudGVyc18yZFs6LCAwXSwgY2VudGVyc18yZFs6LCAxXSwKICAgICAgICAgICAgICAgYz0nd2hpdGUnLCBzPTIyMCwgbWFya2VyPScqJywgem9yZGVyPTUsCiAgICAgICAgICAgICAgIGVkZ2Vjb2xvcnM9JyMxMTExMTEnLCBsaW5ld2lkdGhzPTAuOCkKCiAgICBheC5zZXRfeGxpbSh4X2xvLCB4X2hpKQogICAgYXguc2V0X3lsaW0oeV9sbywgeV9oaSkKICAgIGF4LnNldF94bGFiZWwoJ1BDIDEnLCBmb250c2l6ZT0xNCkKICAgIGF4LnNldF95bGFiZWwoJ1BDIDInLCBmb250c2l6ZT0xNCkKICAgIGF4LnNldF90aXRsZSh0aXRsZSwgZm9udHNpemU9MTYsIGZvbnR3ZWlnaHQ9J2JvbGQnLCBwYWQ9OCkKICAgIGF4LnRpY2tfcGFyYW1zKGxhYmVsc2l6ZT0xMCkKICAgIGF4LmdyaWQoVHJ1ZSwgYWxwaGE9MC4zKQoKCmRlZiBwbG90X2dlb19tYXAoYXgsIGxhdHNfcmFkLCBsb25zX3JhZCwgbGFiZWxzLCBtZWRvaWRfaWR4LCB0aXRsZSwKICAgICAgICAgICAgICAgICBjYXRfdmFsdWVzPU5vbmUsIGNhdF9tYXJrZXJzPU5vbmUsIG91dGxpZXJfbWFzaz1Ob25lKToKICAgICIiIgogICAgRXF1aXJlY3Rhbmd1bGFyIG1hcCBjb2xvdXJlZCBieSBjbHVzdGVyIGxhYmVsLgogICAgbWVkb2lkX2lkeCA6IChrLCkgaW5kaWNlcyBvZiBtZWRvaWRzIChvciBOb25lIHRvIHNraXAgY2VudHJvaWQgbWFya2VycykKICAgIGNhdF92YWx1ZXMgOiBvcHRpb25hbCAoTiwpIGNhdGVnb3JpY2FsIGFycmF5IGZvciBtYXJrZXIgc2hhcGVzCiAgICBjYXRfbWFya2VyczogZGljdCBtYXBwaW5nIGNhdGVnb3J5IHN0cmluZyDihpIgbWF0cGxvdGxpYiBtYXJrZXIKICAgIG91dGxpZXJfbWFzazogb3B0aW9uYWwgYm9vbGVhbiAoTiwpIGZvciBvdXRsaWVyIG92ZXJsYXkKICAgICIiIgogICAgaW1wb3J0IG1hdHBsb3RsaWIuY29sb3JzIGFzIF9tYwoKICAgIGsgPSBpbnQobGFiZWxzLm1heCgpKSArIDEgaWYgbGVuKGxhYmVscykgPiAwIGVsc2UgMQogICAgY29sb3JzID0gW0NMVVNURVJfQ09MT1JTW2kgJSBsZW4oQ0xVU1RFUl9DT0xPUlMpXSBmb3IgaSBpbiByYW5nZShrKV0KCiAgICBsb25zX2QgPSBucC5yYWQyZGVnKGxvbnNfcmFkKQogICAgbGF0c19kID0gbnAucmFkMmRlZyhsYXRzX3JhZCkKCiAgICBpZiBjYXRfdmFsdWVzIGlzIG5vdCBOb25lIGFuZCBjYXRfbWFya2VycyBpcyBub3QgTm9uZToKICAgICAgICBjYXRfdmFsc19hcnIgPSBucC5hc2FycmF5KGNhdF92YWx1ZXMpCiAgICAgICAgZm9yIGNhdCwgbWtyIGluIGNhdF9tYXJrZXJzLml0ZW1zKCk6CiAgICAgICAgICAgIG1hc2tfY2F0ID0gY2F0X3ZhbHNfYXJyID09IGNhdAogICAgICAgICAgICBmb3IgYyBpbiByYW5nZShrKToKICAgICAgICAgICAgICAgIG1hc2sgPSAobGFiZWxzID09IGMpICYgbWFza19jYXQKICAgICAgICAgICAgICAgIGlmIG5vdCBvdXRsaWVyX21hc2sgaXMgTm9uZToKICAgICAgICAgICAgICAgICAgICBtYXNrID0gbWFzayAmIH5vdXRsaWVyX21hc2sKICAgICAgICAgICAgICAgIGlmIG1hc2suYW55KCk6CiAgICAgICAgICAgICAgICAgICAgYXguc2NhdHRlcihsb25zX2RbbWFza10sIGxhdHNfZFttYXNrXSwKICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIGM9Y29sb3JzW2NdLCBtYXJrZXI9bWtyLCBzPTIwLAogICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgYWxwaGE9MC44MCwgbGluZXdpZHRocz0wLCB6b3JkZXI9MykKICAgIGVsc2U6CiAgICAgICAgZm9yIGMgaW4gcmFuZ2Uoayk6CiAgICAgICAgICAgIG1hc2sgPSBsYWJlbHMgPT0gYwogICAgICAgICAgICBpZiBvdXRsaWVyX21hc2sgaXMgbm90IE5vbmU6CiAgICAgICAgICAgICAgICBtYXNrID0gbWFzayAmIH5vdXRsaWVyX21hc2sKICAgICAgICAgICAgYXguc2NhdHRlcihsb25zX2RbbWFza10sIGxhdHNfZFttYXNrXSwKICAgICAgICAgICAgICAgICAgICAgICBjPWNvbG9yc1tjXSwgcz0xOCwgYWxwaGE9MC44MCwgbGluZXdpZHRocz0wLCB6b3JkZXI9MykKCiAgICBpZiBtZWRvaWRfaWR4IGlzIG5vdCBOb25lOgogICAgICAgIGF4LnNjYXR0ZXIobG9uc19kW21lZG9pZF9pZHhdLCBsYXRzX2RbbWVkb2lkX2lkeF0sCiAgICAgICAgICAgICAgICAgICBjPSd3aGl0ZScsIHM9MjYwLCBtYXJrZXI9JyonLCB6b3JkZXI9NSwKICAgICAgICAgICAgICAgICAgIGVkZ2Vjb2xvcnM9JyMxMTExMTEnLCBsaW5ld2lkdGhzPTAuOCkKCiAgICBpZiBvdXRsaWVyX21hc2sgaXMgbm90IE5vbmUgYW5kIG91dGxpZXJfbWFzay5hbnkoKToKICAgICAgICBheC5zY2F0dGVyKGxvbnNfZFtvdXRsaWVyX21hc2tdLCBsYXRzX2Rbb3V0bGllcl9tYXNrXSwKICAgICAgICAgICAgICAgICAgIGM9JyNlNzRjM2MnLCBtYXJrZXI9J3gnLCBzPTYwLCBsaW5ld2lkdGhzPTEuNSwKICAgICAgICAgICAgICAgICAgIHpvcmRlcj02LCBsYWJlbD0nT3V0bGllcnMnKQoKICAgIGF4LnNldF94bGltKC0xODAsIDE4MCkKICAgIGF4LnNldF95bGltKC05MCwgOTApCiAgICBheC5zZXRfeGxhYmVsKCdMb25naXR1ZGUnLCBmb250c2l6ZT0xNCkKICAgIGF4LnNldF95bGFiZWwoJ0xhdGl0dWRlJywgZm9udHNpemU9MTQpCiAgICBheC5zZXRfdGl0bGUodGl0bGUsIGZvbnRzaXplPTE2LCBmb250d2VpZ2h0PSdib2xkJywgcGFkPTcpCiAgICBheC50aWNrX3BhcmFtcyhsYWJlbHNpemU9OSkKICAgIGF4LmdyaWQoVHJ1ZSwgYWxwaGE9MC4zKQo%3D%22%0A%20%20%20%20)%0A%20%20%20%20return%20(DEMO_UTILS_B64%2C)%0A%0A%0A%40app.cell%0Adef%20_imports(DEMO_UTILS_B64)%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20os%0A%0A%20%20%20%20%23%20Force%20marimo%20WASM%20scanner%20to%20see%20scipy%20so%20it%20pre-loads%20it%20before%20any%20cell%20runs.%0A%20%20%20%20%23%20demo_utils%20imports%20scipy.special%20but%20it%20is%20embedded%20as%20a%20string%2C%20invisible%20to%20the%20scanner.%0A%20%20%20%20from%20scipy.special%20import%20ive%2C%20i0e%20%20%23%20noqa%3A%20F401%0A%0A%20%20%20%20_is_wasm%20%3D%20sys.platform%20%3D%3D%20'emscripten'%0A%0A%20%20%20%20if%20_is_wasm%3A%0A%20%20%20%20%20%20%20%20import%20base64%2C%20types%0A%20%20%20%20%20%20%20%20_src%20%3D%20base64.b64decode(DEMO_UTILS_B64).decode('utf-8')%0A%20%20%20%20%20%20%20%20%23%20Create%20the%20module%20in-memory%20(no%20filesystem%20required)%0A%20%20%20%20%20%20%20%20_mod%20%3D%20types.ModuleType('demo_utils')%0A%20%20%20%20%20%20%20%20_mod.__file__%20%3D%20'%3Cdemo_utils%20embedded%3E'%0A%20%20%20%20%20%20%20%20exec(compile(_src%2C%20'demo_utils.py'%2C%20'exec')%2C%20_mod.__dict__)%0A%20%20%20%20%20%20%20%20sys.modules%5B'demo_utils'%5D%20%3D%20_mod%0A%20%20%20%20%20%20%20%20THIS_DIR%20%3D%20'%2Fhome%2Fpyodide'%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20THIS_DIR%20%3D%20os.path.dirname(os.path.abspath(__file__))%0A%20%20%20%20%20%20%20%20sys.path.insert(0%2C%20THIS_DIR)%0A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib%0A%20%20%20%20matplotlib.use('Agg')%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20import%20demo_utils%20as%20du%0A%20%20%20%20du.apply_dark_theme()%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20THIS_DIR%2C%20du%2C%20mo%2C%20np%2C%20os%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_sphere_data(THIS_DIR%2C%20du%2C%20np%2C%20os%2C%20sphere_dataset)%3A%0A%20%20%20%20_DATA_DIR%20%3D%20os.path.join(THIS_DIR%2C%20'data')%0A%0A%20%20%20%20_raw%2C%20_label%2C%20_synth%20%3D%20du.load_sphere_data(_DATA_DIR%2C%20dataset%3Dsphere_dataset.value)%0A%0A%20%20%20%20%23%20Subsample%20for%20performance%20%20(K-Medoids%20PAM%20is%20O(N%C2%B2))%0A%20%20%20%20_MAX_N%20%3D%20200%0A%20%20%20%20_lats_f%20%3D%20_raw%5B'lats'%5D%0A%20%20%20%20_lons_f%20%3D%20_raw%5B'lons'%5D%0A%0A%20%20%20%20if%20len(_lats_f)%20%3E%20_MAX_N%3A%0A%20%20%20%20%20%20%20%20_rng%20%3D%20np.random.default_rng(42)%0A%20%20%20%20%20%20%20%20_idx%20%3D%20np.sort(_rng.choice(len(_lats_f)%2C%20_MAX_N%2C%20replace%3DFalse))%0A%20%20%20%20%20%20%20%20_mags_f%20%3D%20_raw%5B'magnitude'%5D%0A%20%20%20%20%20%20%20%20sphere_data%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'lats'%3A%20_lats_f%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'lons'%3A%20_lons_f%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'magnitude'%3A%20_mags_f%5B_idx%5D%20if%20_mags_f%20is%20not%20None%20else%20None%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20sphere_label%20%3D%20_label%20%2B%20f'%20%20(N%20%3D%20%7B_MAX_N%7D%20sub-sampled)'%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20sphere_data%20%3D%20_raw%0A%20%20%20%20%20%20%20%20sphere_label%20%3D%20_label%0A%0A%20%20%20%20sphere_is_synthetic%20%3D%20_synth%0A%0A%20%20%20%20%23%20Precompute%20distance%20matrices%20once%20%E2%80%94%20used%20for%20K-Medoids%20and%20validation%0A%20%20%20%20_lats%20%3D%20sphere_data%5B'lats'%5D%0A%20%20%20%20_lons%20%3D%20sphere_data%5B'lons'%5D%0A%20%20%20%20sphere_D%20%3D%20du.compute_haversine_matrix(_lats%2C%20_lons)%20%20%20%20%20%20%20%20%20%20%20%23%20Haversine%20NxN%0A%0A%20%20%20%20_pts_2d%20%3D%20np.stack(%5B_lats%2C%20_lons%5D%2C%20axis%3D1)%0A%20%20%20%20sphere_D_eucl%20%3D%20np.sqrt(%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Euclidean%20NxN%0A%20%20%20%20%20%20%20%20(((_pts_2d%5B%3A%2C%20None%5D%20-%20_pts_2d%5BNone%2C%20%3A%5D)%20**%202).sum(axis%3D2))%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20sphere_D%2C%0A%20%20%20%20%20%20%20%20sphere_D_eucl%2C%0A%20%20%20%20%20%20%20%20sphere_data%2C%0A%20%20%20%20%20%20%20%20sphere_is_synthetic%2C%0A%20%20%20%20%20%20%20%20sphere_label%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_sphere_controls(THIS_DIR%2C%20du%2C%20mo%2C%20os)%3A%0A%20%20%20%20_DATA_DIR%20%3D%20os.path.join(THIS_DIR%2C%20'data')%0A%20%20%20%20_candidates%20%3D%20%5B%0A%20%20%20%20%20%20%20%20('USGS%20Earthquakes%20(M2.5%2B%2C%20past%2030%20days)'%2C%20'earthquakes'%2C%20'earthquakes.csv')%2C%0A%20%20%20%20%20%20%20%20('NASA%20Meteorite%20Landings'%2C%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'meteorites'%2C%20%20'meteorites.csv')%2C%0A%20%20%20%20%20%20%20%20('Global%20Airports%20(OpenFlights)'%2C%20%20%20%20%20%20%20%20%20%20%20'airports'%2C%20%20%20%20'airports.dat')%2C%0A%20%20%20%20%5D%0A%20%20%20%20_opts%20%3D%20%7B%7D%0A%20%20%20%20for%20_lbl%2C%20_key%2C%20_fname%20in%20_candidates%3A%0A%20%20%20%20%20%20%20%20_path%20%3D%20os.path.join(_DATA_DIR%2C%20_fname)%0A%20%20%20%20%20%20%20%20if%20not%20os.path.exists(_path)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20du.download_if_missing(du._SPHERE_URLS%5B_key%5D%2C%20_path)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%20%20%20%20%20%20%20%20if%20os.path.exists(_path)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_opts%5B_lbl%5D%20%3D%20_key%0A%20%20%20%20_opts%5B'Synthetic%20sphere%20clusters'%5D%20%3D%20'synthetic'%0A%0A%20%20%20%20sphere_dataset%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D_opts%2C%0A%20%20%20%20%20%20%20%20value%3Dnext(iter(_opts))%2C%0A%20%20%20%20%20%20%20%20label%3D%22Dataset%22%2C%0A%20%20%20%20)%0A%20%20%20%20sphere_algorithm%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%5B%22K-Means%22%2C%20%22K-Medoids%22%2C%20%22GMM%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22K-Means%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Algorithm%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20sphere_k%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D2%2C%20stop%3D10%2C%20value%3D3%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20clusters%20%20K%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20sphere_algorithm%2C%20sphere_dataset%2C%20sphere_k%0A%0A%0A%40app.cell%0Adef%20_sphere_sweep(du%2C%20mo%2C%20np%2C%20sphere_D%2C%20sphere_algorithm%2C%20sphere_data)%3A%0A%20%20%20%20_algo%20%3D%20sphere_algorithm.value%0A%20%20%20%20_lats%20%20%3D%20sphere_data%5B'lats'%5D%0A%20%20%20%20_lons%20%20%3D%20sphere_data%5B'lons'%5D%0A%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.spherical_kmeans(_lats%2C%20_lons%2C%20k%3Dk)%0A%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.kmedoids_pam(D%2C%20k%3Dk)%0A%0A%20%20%20%20else%3A%20%20%23%20GMM%20(von%20Mises-Fisher%20on%20S%C2%B2)%0A%20%20%20%20%20%20%20%20_x%2C%20_y%2C%20_z%20%3D%20du.latlon_to_cartesian(_lats%2C%20_lons)%0A%20%20%20%20%20%20%20%20_pts3d%20%3D%20np.stack(%5B_x%2C%20_y%2C%20_z%5D%2C%20axis%3D1)%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.spherical_gmm(_pts3d%2C%20k%3Dk)%0A%0A%20%20%20%20with%20mo.status.spinner(f%22Computing%20%7B_algo%7D%20sweep%20%20K%20%3D%202%E2%80%9310%20%E2%80%A6%22)%3A%0A%20%20%20%20%20%20%20%20sphere_sweep%20%3D%20du.sweep_k(_run%2C%20sphere_D%2C%20range(2%2C%2011))%0A%20%20%20%20return%20(sphere_sweep%2C)%0A%0A%0A%40app.cell%0Adef%20_sphere_maps(%0A%20%20%20%20du%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20sphere_D%2C%0A%20%20%20%20sphere_D_eucl%2C%0A%20%20%20%20sphere_algorithm%2C%0A%20%20%20%20sphere_data%2C%0A%20%20%20%20sphere_k%2C%0A)%3A%0A%20%20%20%20_algo%20%3D%20sphere_algorithm.value%0A%20%20%20%20_k%20%20%20%20%3D%20sphere_k.value%0A%20%20%20%20_lats%20%3D%20sphere_data%5B'lats'%5D%0A%20%20%20%20_lons%20%3D%20sphere_data%5B'lons'%5D%0A%20%20%20%20_pts2%20%3D%20np.stack(%5B_lats%2C%20_lons%5D%2C%20axis%3D1)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Euclidean%20clustering%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20_el%2C%20_ec%2C%20_%20%3D%20du.minkowski_kmeans(_pts2%2C%20k%3D_k%2C%20p%3D2)%0A%20%20%20%20%20%20%20%20_e_clats%2C%20_e_clons%20%3D%20_ec%5B%3A%2C%200%5D%2C%20_ec%5B%3A%2C%201%5D%0A%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20_el%2C%20_em%2C%20_%20%3D%20du.kmedoids_pam(sphere_D_eucl%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_e_clats%2C%20_e_clons%20%3D%20_lats%5B_em%5D%2C%20_lons%5B_em%5D%0A%0A%20%20%20%20else%3A%20%20%23%20GMM%0A%20%20%20%20%20%20%20%20_el%2C%20_emeans%2C%20_%20%3D%20du.euclidean_gmm(_pts2%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_e_clats%2C%20_e_clons%20%3D%20_emeans%5B%3A%2C%200%5D%2C%20_emeans%5B%3A%2C%201%5D%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Haversine%20clustering%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20_hl%2C%20_hc%2C%20_%20%3D%20du.spherical_kmeans(_lats%2C%20_lons%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_h_clats%2C%20_h_clons%20%3D%20_hc%5B%3A%2C%200%5D%2C%20_hc%5B%3A%2C%201%5D%0A%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20_hl%2C%20_hm%2C%20_%20%3D%20du.kmedoids_pam(sphere_D%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_h_clats%2C%20_h_clons%20%3D%20_lats%5B_hm%5D%2C%20_lons%5B_hm%5D%0A%0A%20%20%20%20else%3A%20%20%23%20GMM%20%20(vMF%20on%20S%C2%B2)%0A%20%20%20%20%20%20%20%20_x%2C%20_y%2C%20_z%20%3D%20du.latlon_to_cartesian(_lats%2C%20_lons)%0A%20%20%20%20%20%20%20%20_pts3d%20%3D%20np.stack(%5B_x%2C%20_y%2C%20_z%5D%2C%20axis%3D1)%0A%20%20%20%20%20%20%20%20_hl%2C%20_hmeans%2C%20_%20%3D%20du.spherical_gmm(_pts3d%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_h_clats%20%3D%20np.array(%5Bdu.cartesian_to_latlon(m%5B0%5D%2C%20m%5B1%5D%2C%20m%5B2%5D)%5B0%5D%20for%20m%20in%20_hmeans%5D)%0A%20%20%20%20%20%20%20%20_h_clons%20%3D%20np.array(%5Bdu.cartesian_to_latlon(m%5B0%5D%2C%20m%5B1%5D%2C%20m%5B2%5D)%5B1%5D%20for%20m%20in%20_hmeans%5D)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Label%20alignment%20%26%20disagreement%20count%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20from%20scipy.optimize%20import%20linear_sum_assignment%20as%20_lsa%0A%20%20%20%20_conf%20%3D%20np.zeros((_k%2C%20_k))%0A%20%20%20%20for%20_ei%2C%20_hi%20in%20zip(_el%2C%20_hl)%3A%0A%20%20%20%20%20%20%20%20_conf%5B_ei%2C%20_hi%5D%20%2B%3D%201%0A%20%20%20%20_ri%2C%20_ci%20%3D%20_lsa(-_conf)%0A%20%20%20%20_h2e%20%3D%20dict(zip(_ci%2C%20_ri))%0A%20%20%20%20_hl_aligned%20%3D%20np.array(%5B_h2e.get(int(l)%2C%20int(l))%20for%20l%20in%20_hl%5D)%0A%20%20%20%20_n_diff%20%3D%20int(np.sum(_el%20!%3D%20_hl_aligned))%0A%20%20%20%20_pct%20%20%20%20%3D%20100.0%20*%20_n_diff%20%2F%20len(_el)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Plot%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11%2C%203.8))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%0A%20%20%20%20du.plot_sphere_map(_ax1%2C%20_lats%2C%20_lons%2C%20_el%2C%20_e_clats%2C%20_e_clons%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Euclidean%20%20(%7B_algo%7D)'%2C%20metric%3D'euclidean')%0A%20%20%20%20du.plot_sphere_map(_ax2%2C%20_lats%2C%20_lons%2C%20_hl%2C%20_h_clats%2C%20_h_clons%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Haversine%20%20(%7B_algo%7D)'%2C%20metric%3D'haversine')%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20sphere_maps_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%0A%20%20%20%20_kind%20%3D%20%22warn%22%20if%20_pct%20%3E%2015%20else%20(%22success%22%20if%20_pct%20%3C%205%20else%20%22info%22)%0A%20%20%20%20sphere_disagree_txt%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_n_diff%7D%20of%20%7Blen(_el)%7D%20points%20(%7B_pct%3A.1f%7D%25)**%20assigned%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22different%20clusters%20when%20comparing%20Euclidean%20vs%20Haversine%20%7B_algo%7D.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D_kind%2C%0A%20%20%20%20)%0A%0A%20%20%20%20sphere_pct%20%20%20%20%3D%20_pct%0A%20%20%20%20sphere_n_diff%20%3D%20_n_diff%0A%20%20%20%20return%20sphere_disagree_txt%2C%20sphere_maps_img%2C%20sphere_n_diff%2C%20sphere_pct%0A%0A%0A%40app.cell%0Adef%20_sphere_val_plots(du%2C%20mo%2C%20plt%2C%20sphere_k%2C%20sphere_sweep)%3A%0A%20%20%20%20_k%20%20%20%20%20%3D%20sphere_k.value%0A%20%20%20%20_k_vals%20%3D%20sphere_sweep%5B'k_values'%5D%0A%20%20%20%20_pve%20%20%20%20%3D%20sphere_sweep%5B'pve'%5D%0A%20%20%20%20_sil%20%20%20%20%3D%20sphere_sweep%5B'silhouette_mean'%5D%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11%2C%203.8))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%20%20%20%20du.plot_pve_curve(_ax1%2C%20_k_vals%2C%20_pve%2C%20_k)%0A%20%20%20%20du.plot_silhouette_curve(_ax2%2C%20_k_vals%2C%20_sil%2C%20_k)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20sphere_val_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(sphere_val_img%2C)%0A%0A%0A%40app.cell%0Adef%20_sphere_3d(du%2C%20mo%2C%20np%2C%20sphere_D%2C%20sphere_algorithm%2C%20sphere_data%2C%20sphere_k)%3A%0A%20%20%20%20import%20plotly.graph_objects%20as%20_go%0A%0A%20%20%20%20_lats%20%3D%20sphere_data%5B'lats'%5D%0A%20%20%20%20_lons%20%3D%20sphere_data%5B'lons'%5D%0A%20%20%20%20_k%20%20%20%20%3D%20sphere_k.value%0A%20%20%20%20_algo%20%3D%20sphere_algorithm.value%0A%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20_labels%2C%20_%2C%20_%20%3D%20du.spherical_kmeans(_lats%2C%20_lons%2C%20k%3D_k)%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20_labels%2C%20_%2C%20_%20%3D%20du.kmedoids_pam(sphere_D%2C%20k%3D_k)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_x0%2C%20_y0%2C%20_z0%20%3D%20du.latlon_to_cartesian(_lats%2C%20_lons)%0A%20%20%20%20%20%20%20%20_labels%2C%20_%2C%20_%20%3D%20du.spherical_gmm(np.stack(%5B_x0%2C%20_y0%2C%20_z0%5D%2C%20axis%3D1)%2C%20k%3D_k)%0A%0A%20%20%20%20_lats_deg%20%3D%20np.rad2deg(_lats)%0A%20%20%20%20_lons_deg%20%3D%20np.rad2deg(_lons)%0A%0A%20%20%20%20_fig%20%3D%20_go.Figure()%0A%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20_m%20%3D%20_labels%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20_fig.add_trace(_go.Scattergeo(%0A%20%20%20%20%20%20%20%20%20%20%20%20lat%3D_lats_deg%5B_m%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lon%3D_lons_deg%5B_m%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3D7%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Ddu.CLUSTER_COLORS%5B_c%20%25%20len(du.CLUSTER_COLORS)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.88%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D0.5%2C%20color%3D'white')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df'Cluster%20%7B_c%7D'%2C%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20_fig.update_geos(%0A%20%20%20%20%20%20%20%20projection_type%3D'orthographic'%2C%0A%20%20%20%20%20%20%20%20showland%3DTrue%2C%20%20%20%20%20%20%20landcolor%3D'%23D4E6C3'%2C%0A%20%20%20%20%20%20%20%20showocean%3DTrue%2C%20%20%20%20%20%20oceancolor%3D'%23B3D4F0'%2C%0A%20%20%20%20%20%20%20%20showlakes%3DTrue%2C%20%20%20%20%20%20lakecolor%3D'%23B3D4F0'%2C%0A%20%20%20%20%20%20%20%20showrivers%3DFalse%2C%0A%20%20%20%20%20%20%20%20showcountries%3DTrue%2C%20%20countrycolor%3D'%236B7280'%2C%20countrywidth%3D0.5%2C%0A%20%20%20%20%20%20%20%20showcoastlines%3DTrue%2C%20coastlinecolor%3D'%23374151'%2C%20coastlinewidth%3D0.8%2C%0A%20%20%20%20%20%20%20%20showframe%3DTrue%2C%20%20%20%20%20%20framecolor%3D'%2394A3B8'%2C%20%20%20framewidth%3D1%2C%0A%20%20%20%20%20%20%20%20bgcolor%3Ddu.BG_FIGURE%2C%0A%20%20%20%20%20%20%20%20lataxis%3Ddict(showgrid%3DTrue%2C%20gridcolor%3D'rgba(180%2C200%2C220%2C0.5)'%2C%20gridwidth%3D0.5)%2C%0A%20%20%20%20%20%20%20%20lonaxis%3Ddict(showgrid%3DTrue%2C%20gridcolor%3D'rgba(180%2C200%2C220%2C0.5)'%2C%20gridwidth%3D0.5)%2C%0A%20%20%20%20)%0A%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20title%3Ddict(text%3Df'Globe%20%E2%80%94%20%7B_algo%7D%20%20(K%20%3D%20%7B_k%7D)%20%20%C2%B7%20%20drag%20to%20rotate'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(size%3D14%2C%20color%3D'%231A2030'))%2C%0A%20%20%20%20%20%20%20%20paper_bgcolor%3Ddu.BG_FIGURE%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D0%2C%20r%3D0%2C%20t%3D40%2C%20b%3D0)%2C%0A%20%20%20%20%20%20%20%20legend%3Ddict(font%3Ddict(color%3D'%231A2030')%2C%20bgcolor%3Ddu.BG_FIGURE)%2C%0A%20%20%20%20%20%20%20%20height%3D650%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Embed%20in%20an%20iframe%20so%20scripts%20execute%20in%20their%20own%20document%20context%0A%20%20%20%20%23%20and%20marimo%20cannot%20intercept%20drag-to-rotate%20events%0A%20%20%20%20import%20plotly.io%20as%20_pio%0A%20%20%20%20import%20html%20as%20_html_mod%0A%20%20%20%20_full%20%3D%20_pio.to_html(_fig%2C%20include_plotlyjs%3D'cdn'%2C%20full_html%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B'displayModeBar'%3A%20False%7D)%0A%20%20%20%20_escaped%20%3D%20_html_mod.escape(_full%2C%20quote%3DTrue)%0A%20%20%20%20sphere_3d_plotly%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20f'%3Ciframe%20srcdoc%3D%22%7B_escaped%7D%22%20'%0A%20%20%20%20%20%20%20%20f'style%3D%22width%3A100%25%3Bheight%3A670px%3Bborder%3Anone%3B%22%20scrolling%3D%22no%22%3E%3C%2Fiframe%3E'%0A%20%20%20%20)%0A%20%20%20%20return%20(sphere_3d_plotly%2C)%0A%0A%0A%40app.cell%0Adef%20_sphere_tab(%0A%20%20%20%20mo%2C%0A%20%20%20%20sphere_3d_plotly%2C%0A%20%20%20%20sphere_algorithm%2C%0A%20%20%20%20sphere_dataset%2C%0A%20%20%20%20sphere_disagree_txt%2C%0A%20%20%20%20sphere_is_synthetic%2C%0A%20%20%20%20sphere_k%2C%0A%20%20%20%20sphere_label%2C%0A%20%20%20%20sphere_maps_img%2C%0A%20%20%20%20sphere_n_diff%2C%0A%20%20%20%20sphere_pct%2C%0A%20%20%20%20sphere_val_img%2C%0A)%3A%0A%20%20%20%20_header%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%23%23%20%F0%9F%8C%8D%20Sphere%20%E2%80%94%20Haversine%20Distance%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22*When%20data%20lives%20on%20a%20globe%2C%20straight-line%20distance%20cuts%20through%20the%20Earth.*%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22**Data%3A**%20%7Bsphere_label%7D%22%0A%20%20%20%20)%0A%0A%20%20%20%20_SPHERE_DESC%20%3D%20%7B%0A%20%20%20%20%20%20%20%20'earthquakes'%3A%20%22M2.5%2B%20seismic%20events%20recorded%20by%20USGS%20in%20the%20past%2030%20days.%20Points%20cluster%20naturally%20near%20**tectonic%20plate%20boundaries**%20%E2%80%94%20the%20Pacific%20Ring%20of%20Fire%2C%20the%20Mid-Atlantic%20Ridge%2C%20and%20the%20Himalayan%20collision%20zone.%20Haversine%20distance%20respects%20Earth's%20curvature%3B%20Euclidean%20treats%20lat%2Flon%20as%20a%20flat%20grid.%22%2C%0A%20%20%20%20%20%20%20%20'meteorites'%3A%20%20%2245%2C000%2B%20confirmed%20meteorite%20finds%20and%20falls%20from%20NASA's%20open%20catalog.%20Dense%20clusters%20appear%20near%20**Antarctica**%20(systematic%20grid%20searches%20since%20the%201970s)%20and%20in%20populated%20regions%20where%20observation%20rates%20are%20highest.%20A%20striking%20example%20of%20sampling%20bias%20shaping%20apparent%20clusters.%22%2C%0A%20%20%20%20%20%20%20%20'airports'%3A%20%20%20%20%227%2C000%2B%20commercial%20airports%20from%20the%20OpenFlights%20database.%20Clusters%20reflect%20**air-traffic%20hubs**%20and%20population%20density%3A%20North%20America's%20eastern%20seaboard%2C%20the%20European%20triangle%2C%20and%20South%2FSoutheast%20Asia's%20coastal%20corridor.%22%2C%0A%20%20%20%20%20%20%20%20'synthetic'%3A%20%20%20%22Gaussian%20clusters%20placed%20at%20random%20locations%20on%20the%20sphere%20surface.%20Use%20this%20to%20explore%20how%20the%20algorithm%20behaves%20without%20any%20real-world%20structure.%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_ds_key%20%3D%20sphere_dataset.value%20if%20sphere_dataset.value%20in%20_SPHERE_DESC%20else%20'synthetic'%0A%20%20%20%20_data_info%20%3D%20mo.callout(mo.md(_SPHERE_DESC%5B_ds_key%5D)%2C%20kind%3D%22info%22)%0A%0A%20%20%20%20_warning%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22%E2%9A%A0%EF%B8%8F%20**Synthetic%20data**%20%E2%80%94%20%7Bsphere_label%7D%20could%20not%20be%20loaded%3B%20showing%20random%20sphere%20clusters%20instead.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20sphere_is_synthetic%0A%20%20%20%20%20%20%20%20else%20mo.md(%22%22)%0A%20%20%20%20)%0A%0A%20%20%20%20_SPHERE_INSIGHT%20%3D%20%7B%0A%20%20%20%20%20%20%20%20'earthquakes'%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Haversine%20correctly%20clusters%20seismic%20events%20along%20**tectonic%20plate%20boundaries**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22(Ring%20of%20Fire%2C%20Mid-Atlantic%20Ridge)%2C%20while%20Euclidean%20distance%20misassigns%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bsphere_pct%3A.1f%7D%25**%20of%20points%20(%7Bsphere_n_diff%7D)%20by%20treating%20lat%2Flon%20as%20a%20flat%20grid.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20'meteorites'%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Haversine%20correctly%20groups%20meteorite%20finds%20by%20true%20surface%20proximity%2C%20while%20Euclidean%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22misassigns%20**%7Bsphere_pct%3A.1f%7D%25**%20of%20points%20(%7Bsphere_n_diff%7D)%20%E2%80%94%20particularly%20distorting%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22polar%20clusters%20where%20Antarctic%20systematic%20searches%20dominate.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20'airports'%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Haversine%20clusters%20airports%20by%20actual%20great-circle%20proximity%20(reflecting%20air-traffic%20hubs)%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22while%20Euclidean%20misassigns%20**%7Bsphere_pct%3A.1f%7D%25**%20of%20points%20(%7Bsphere_n_diff%7D)%20%E2%80%94%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22distortions%20are%20largest%20near%20the%20poles%20where%20lon%2Flat%20grid%20cells%20compress.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20'synthetic'%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Even%20on%20random%20sphere%20data%2C%20Euclidean%20distance%20misassigns%20**%7Bsphere_pct%3A.1f%7D%25**%20of%20points%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22(%7Bsphere_n_diff%7D)%20relative%20to%20Haversine%20%E2%80%94%20curvature%20error%20accumulates%20wherever%20clusters%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22span%20large%20angular%20separations.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%20%20%20%20_insight_txt%20%3D%20_SPHERE_INSIGHT.get(_ds_key%2C%20_SPHERE_INSIGHT%5B'synthetic'%5D)%0A%20%20%20%20_insight%20%3D%20mo.callout(mo.md(f%22**Key%20Insight%3A**%20%7B_insight_txt%7D%22)%2C%20kind%3D%22success%22)%0A%0A%20%20%20%20_formula%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%23%23%20%F0%9F%93%90%20Distance%20Formulas%0A%0A%20%20%20%20**Haversine%20(great-circle%20distance%20on%20a%20sphere%20of%20radius%20%24r%24)%3A**%0A%0A%20%20%20%20%24%24d%20%3D%202r%20%5Carcsin%5C!%5Csqrt%7B%5Csin%5E2%5C!%5Ctfrac%7B%5CDelta%5Cphi%7D%7B2%7D%20%2B%20%5Ccos%5Cphi_1%5Ccos%5Cphi_2%5Csin%5E2%5C!%5Ctfrac%7B%5CDelta%5Clambda%7D%7B2%7D%7D%24%24%0A%0A%20%20%20%20where%20%24%5Cphi%24%20%3D%20latitude%2C%20%24%5Clambda%24%20%3D%20longitude%20(both%20in%20radians).%0A%0A%20%20%20%20**Proportion%20of%20Variance%20Explained%20(PVE)%3A**%0A%0A%20%20%20%20%24%24%5Ctext%7BPVE%7D(K)%20%3D%201%20-%20%5Cfrac%7B%5Csum_%7Bi%7D%20d(x_i%2C%5C%2C%20c_%7B%5Cell_i%7D)%5E2%7D%7B%5Csum_%7Bi%7D%20d(x_i%2C%5C%2C%20%5Cbar%7Bx%7D)%5E2%7D%24%24%0A%0A%20%20%20%20**Silhouette%20score%20for%20point%20%24i%24%3A**%0A%0A%20%20%20%20%24%24s(i)%20%3D%20%5Cfrac%7Bb(i)%20-%20a(i)%7D%7B%5Cmax(a(i)%2C%5C%2C%20b(i))%7D%2C%20%5Cquad%20s(i)%20%5Cin%20%5B-1%2C%201%5D%24%24%0A%0A%20%20%20%20where%20%24a(i)%24%20%3D%20mean%20intra-cluster%20distance%2C%20%24b(i)%24%20%3D%20mean%20nearest-other-cluster%20distance.%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20_main_row%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22display%3Agrid%3Bgrid-template-columns%3A65%25%2034%25%3Bgap%3A1rem%3Balign-items%3Astart%22%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5Bsphere_3d_plotly%2C%20sphere_disagree_txt%5D%2C%20gap%3D%220.4rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5B_formula%2C%20_data_info%2C%20_insight%5D%2C%20gap%3D%220.5rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20'%3C%2Fdiv%3E'%0A%20%20%20%20)%0A%20%20%20%20sphere_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22%23%23%20%F0%9F%8C%8D%20Sphere%20%E2%80%94%20Haversine%20Distance%20%26nbsp%3B%C2%B7%26nbsp%3B%20*%7Bsphere_label%7D*%22)%2C%0A%20%20%20%20%20%20%20%20_warning%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bsphere_dataset%2C%20sphere_algorithm%2C%20sphere_k%5D%2C%20gap%3D%221.5rem%22)%2C%0A%20%20%20%20%20%20%20%20_main_row%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22display%3Agrid%3Bgrid-template-columns%3A62%25%2037%25%3Bgap%3A1rem%3Balign-items%3Astart%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5Bmo.md(%22**Euclidean%20vs%20Haversine**%22)%2C%20sphere_maps_img%5D%2C%20gap%3D%220.3rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5Bmo.md(%22**Validation%20Sweep%20K%20%3D%202%E2%80%9310**%22)%2C%20sphere_val_img%5D%2C%20gap%3D%220.3rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D%2C%20gap%3D%220.6rem%22)%0A%20%20%20%20return%20(sphere_content%2C)%0A%0A%0A%40app.cell%0Adef%20_overview(mo)%3A%0A%20%20%20%20overview_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%20The%20Shape%20of%20Closeness%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20*Distance%20Metrics%20for%20Clustering%20Across%20Geometric%20Surfaces*%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%23%23%20Project%20Map%0A%0A%20%20%20%20%7C%20Surface%20%7C%20Distance%20Metric%20%7C%20Algorithms%20%7C%20Real%20Data%20%7C%0A%20%20%20%20%7C%3A--------%7C%3A----------------%7C%3A-----------%7C%3A----------%7C%0A%20%20%20%20%7C%20%F0%9F%8C%8D%20Sphere%20%7C%20Haversine%20(great-circle)%20%7C%20K-Means%2C%20K-Medoids%2C%20GMM%20%7C%20USGS%20Earthquakes%20%7C%0A%20%20%20%20%7C%20%F0%9F%8D%A9%20Torus%20%7C%20Wraparound%20(flat%20torus)%20%7C%20K-Means%2C%20K-Medoids%2C%20GMM%20%7C%20Protein%20Backbone%20Angles%20%7C%0A%20%20%20%20%7C%20%F0%9F%94%B5%20Hyperbolic%20%7C%20Poincar%C3%A9%20disk%20metric%20%7C%20K-Means%2C%20K-Medoids%2C%20GMM%20%7C%20Animal%20Taxonomy%20%7C%0A%20%20%20%20%7C%20%F0%9F%93%8F%20Feature%20Space%20%7C%20Minkowski%20Lp%2C%20Mahalanobis%20%7C%20K-Means%2C%20K-Medoids%2C%20GMM%20%7C%20Palmer%20Penguins%20%7C%0A%20%20%20%20%7C%20%F0%9F%94%80%20Mixed%20Type%20%7C%20Gower%20(Haversine%20%2B%20categorical)%20%7C%20K-Medoids%20%7C%20Earthquakes%20%2B%20Categories%20%7C%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20choice%20of%20distance%20metric%20shapes%20what%20*closeness*%20means%20%E2%80%94%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20determines%20whether%20clustering%20succeeds%20or%20fails.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Each%20tab%20demonstrates%20this%20on%20a%20different%20geometric%20surface%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22with%20validation%20via%20**PVE**%20(Proportion%20of%20Variance%20Explained)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20**Silhouette**%20scores.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%23%23%20Convergence%20%26%20Metric%20Properties%0A%0A%20%20%20%20%7C%20Geometry%20%7C%20Distance%20%7C%20True%20metric%3F%20%7C%20WCSS%20%E2%86%93%20monotone%3F%20%7C%20Converges%3F%20%7C%20Global%20optimum%3F%20%7C%0A%20%20%20%20%7C%3A---------%7C%3A---------%7C%3A---%3A%7C%3A---%3A%7C%3A---%3A%7C%3A---%3A%7C%0A%20%20%20%20%7C%20Euclidean%20%E2%84%9D%E2%81%BF%20%7C%20%24L%5E2%24%20%7C%20%E2%9C%93%20%7C%20%E2%9C%93%20%7C%20%E2%9C%93%20%7C%20%E2%9C%97%20(local%20min)%20%7C%0A%20%20%20%20%7C%20Sphere%20%24S%5E2%24%20%7C%20Haversine%20%7C%20%E2%9C%93%20%7C%20%E2%9C%93%20%7C%20%E2%9C%93%20%7C%20%E2%9C%97%20%7C%0A%20%20%20%20%7C%20Flat%20torus%20%24T%5E2%24%20%7C%20Wraparound%20%24L%5E2%24%20%7C%20%E2%9C%93%20%7C%20%E2%9C%93%20%7C%20%E2%9C%93*%20%7C%20%E2%9C%97%20%7C%0A%20%20%20%20%7C%20Poincar%C3%A9%20disk%20%24%5C%5Cmathbb%7BD%7D%5E2%24%20%7C%20%24%5C%5Coperatorname%7Barccosh%7D%24%20%7C%20%E2%9C%93%20%7C%20%E2%9C%93%20%7C%20%E2%9C%93%20%7C%20%E2%9C%97%20%7C%0A%20%20%20%20%7C%20Feature%20space%20%7C%20Minkowski%20%24L%5Ep%24%20%7C%20%E2%9C%93%20(%24p%20%5C%5Cgeq%201%24)%20%7C%20%E2%9C%93%20%7C%20%E2%9C%93%20%7C%20%E2%9C%97%20%7C%0A%20%20%20%20%7C%20Mixed%20type%20%7C%20Gower%20%7C%20%E2%9C%97%20(triangle%20ineq.%20fails)%20%7C%20%E2%9C%93%20%7C%20%E2%9C%93%20%7C%20%E2%9C%97%20%7C%0A%0A%20%20%20%20*%5C%5C*Torus%20circular%20mean%20is%20the%20Fr%C3%A9chet%20mean%20only%20when%20clusters%20don't%20straddle%20the%20%240%2F2%5C%5Cpi%24%20cut%20%E2%80%94%20degenerate%20cases%20exist.*%0A%0A%20%20%20%20%3E%20**Lloyd's%20guarantee%3A**%20every%20assign-then-update%20cycle%20**cannot%20increase**%20WCSS%2C%20so%20the%20algorithm%20converges%20in%20finitely%20many%20steps.%20But%20the%20limit%20depends%20on%20initialisation%20and%20may%20be%20a%20local%2C%20not%20global%2C%20minimum%20%E2%80%94%20hence%20the%20need%20for%20multiple%20restarts%20or%20K-Means%2B%2B.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(overview_content%2C)%0A%0A%0A%40app.cell%0Adef%20_torus_data(THIS_DIR%2C%20du%2C%20np%2C%20os%2C%20torus_seed)%3A%0A%20%20%20%20_DATA_DIR%20%3D%20os.path.join(THIS_DIR%2C%20'data')%0A%20%20%20%20_raw%2C%20_label%2C%20_simulated%20%3D%20du.load_torus_data(_DATA_DIR%2C%20seed%3Dtorus_seed.value)%0A%0A%20%20%20%20_MAX_N%20%3D%20200%0A%20%20%20%20_pts_f%20%3D%20_raw%5B'points'%5D%0A%20%20%20%20if%20len(_pts_f)%20%3E%20_MAX_N%3A%0A%20%20%20%20%20%20%20%20_rng%20%3D%20np.random.default_rng(43)%0A%20%20%20%20%20%20%20%20_idx%20%3D%20np.sort(_rng.choice(len(_pts_f)%2C%20_MAX_N%2C%20replace%3DFalse))%0A%20%20%20%20%20%20%20%20_ss%20%3D%20_raw%5B'secondary_structure'%5D%0A%20%20%20%20%20%20%20%20torus_data%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'points'%3A%20_pts_f%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'phi'%3A%20%20%20%20_raw%5B'phi'%5D%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'psi'%3A%20%20%20%20_raw%5B'psi'%5D%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'secondary_structure'%3A%20_ss%5B_idx%5D%20if%20_ss%20is%20not%20None%20else%20None%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20torus_label%20%3D%20_label%20%2B%20f'%20%20(N%20%3D%20%7B_MAX_N%7D%20sub-sampled)'%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20torus_data%20%3D%20_raw%0A%20%20%20%20%20%20%20%20torus_label%20%3D%20_label%0A%0A%20%20%20%20torus_is_simulated%20%3D%20_simulated%0A%0A%20%20%20%20_pts%20%3D%20torus_data%5B'points'%5D%0A%20%20%20%20torus_D%20%20%20%20%20%20%3D%20du.compute_torus_matrix(_pts)%0A%20%20%20%20torus_D_eucl%20%3D%20np.sqrt(%0A%20%20%20%20%20%20%20%20np.sum((_pts%5B%3A%2C%20np.newaxis%5D%20-%20_pts%5Bnp.newaxis%2C%20%3A%5D)**2%2C%20axis%3D-1)%0A%20%20%20%20)%0A%20%20%20%20return%20torus_D%2C%20torus_D_eucl%2C%20torus_data%2C%20torus_is_simulated%2C%20torus_label%0A%0A%0A%40app.cell%0Adef%20_torus_controls(mo)%3A%0A%20%20%20%20torus_algorithm%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%5B%22K-Means%22%2C%20%22K-Medoids%22%2C%20%22GMM%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22K-Means%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Algorithm%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20torus_k%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D2%2C%20stop%3D10%2C%20value%3D3%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20clusters%20%20K%22%2C%0A%20%20%20%20)%0A%20%20%20%20torus_seed%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D99%2C%20value%3D42%2C%20label%3D%22Synthetic%20seed%22)%0A%20%20%20%20return%20torus_algorithm%2C%20torus_k%2C%20torus_seed%0A%0A%0A%40app.cell%0Adef%20_torus_sweep(du%2C%20mo%2C%20torus_D%2C%20torus_algorithm%2C%20torus_data)%3A%0A%20%20%20%20_algo%20%3D%20torus_algorithm.value%0A%20%20%20%20_pts%20%20%3D%20torus_data%5B'points'%5D%0A%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.torus_kmeans(_pts%2C%20k%3Dk)%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.kmedoids_pam(D%2C%20k%3Dk)%0A%20%20%20%20else%3A%20%20%23%20GMM%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.torus_gmm(_pts%2C%20k%3Dk)%0A%0A%20%20%20%20with%20mo.status.spinner(f%22Computing%20%7B_algo%7D%20sweep%20%20K%20%3D%202%E2%80%9310%20%E2%80%A6%22)%3A%0A%20%20%20%20%20%20%20%20torus_sweep%20%3D%20du.sweep_k(_run%2C%20torus_D%2C%20range(2%2C%2011))%0A%20%20%20%20return%20(torus_sweep%2C)%0A%0A%0A%40app.cell%0Adef%20_torus_maps(%0A%20%20%20%20du%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20torus_D%2C%0A%20%20%20%20torus_D_eucl%2C%0A%20%20%20%20torus_algorithm%2C%0A%20%20%20%20torus_data%2C%0A%20%20%20%20torus_k%2C%0A)%3A%0A%20%20%20%20_algo%20%3D%20torus_algorithm.value%0A%20%20%20%20_k%20%20%20%20%3D%20torus_k.value%0A%20%20%20%20_pts%20%20%3D%20torus_data%5B'points'%5D%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Euclidean%20clustering%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20_el%2C%20_ec%2C%20_%20%3D%20du.minkowski_kmeans(_pts%2C%20k%3D_k%2C%20p%3D2)%0A%20%20%20%20%20%20%20%20_e_centers%20%20%3D%20_ec%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20_el%2C%20_em%2C%20_%20%3D%20du.kmedoids_pam(torus_D_eucl%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_e_centers%20%20%3D%20_pts%5B_em%5D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_el%2C%20_em%2C%20_%20%3D%20du.euclidean_gmm(_pts%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_e_centers%20%20%3D%20_em%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Toroidal%20clustering%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20_tl%2C%20_tc%2C%20_%20%3D%20du.torus_kmeans(_pts%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_t_centers%20%20%3D%20_tc%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20_tl%2C%20_tm%2C%20_%20%3D%20du.kmedoids_pam(torus_D%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_t_centers%20%20%3D%20_pts%5B_tm%5D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_tl%2C%20_tm%2C%20_%20%3D%20du.torus_gmm(_pts%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_t_centers%20%20%3D%20_tm%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Label%20alignment%20%26%20disagreement%20count%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20from%20scipy.optimize%20import%20linear_sum_assignment%20as%20_lsa%0A%20%20%20%20_conf%20%3D%20np.zeros((_k%2C%20_k))%0A%20%20%20%20for%20_ei%2C%20_ti%20in%20zip(_el%2C%20_tl)%3A%0A%20%20%20%20%20%20%20%20_conf%5B_ei%2C%20_ti%5D%20%2B%3D%201%0A%20%20%20%20_ri%2C%20_ci%20%3D%20_lsa(-_conf)%0A%20%20%20%20_t2e%20%3D%20dict(zip(_ci%2C%20_ri))%0A%20%20%20%20_tl_aligned%20%3D%20np.array(%5B_t2e.get(int(l)%2C%20int(l))%20for%20l%20in%20_tl%5D)%0A%20%20%20%20_n_diff%20%3D%20int(np.sum(_el%20!%3D%20_tl_aligned))%0A%20%20%20%20_pct%20%20%20%20%3D%20100.0%20*%20_n_diff%20%2F%20len(_el)%0A%0A%20%20%20%20%23%20%25%20of%20disagreements%20near%20a%20wraparound%20boundary%20(within%200.8%20rad)%0A%20%20%20%20_diff_mask%20%3D%20_el%20!%3D%20_tl_aligned%0A%20%20%20%20_near%20%3D%20(%0A%20%20%20%20%20%20%20%20(_pts%5B%3A%2C%200%5D%20%3C%200.8)%20%7C%20(_pts%5B%3A%2C%200%5D%20%3E%202%20*%20np.pi%20-%200.8)%20%7C%0A%20%20%20%20%20%20%20%20(_pts%5B%3A%2C%201%5D%20%3C%200.8)%20%7C%20(_pts%5B%3A%2C%201%5D%20%3E%202%20*%20np.pi%20-%200.8)%0A%20%20%20%20)%0A%20%20%20%20_near_pct%20%3D%20100.0%20*%20int(np.sum(_diff_mask%20%26%20_near))%20%2F%20max(_n_diff%2C%201)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Plot%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11%2C%203.8))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%0A%20%20%20%20du.plot_torus_map(_ax1%2C%20_pts%2C%20_el%2C%20_e_centers%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Euclidean%20%20(%7B_algo%7D)'%2C%20metric%3D'euclidean')%0A%20%20%20%20du.plot_torus_map(_ax2%2C%20_pts%2C%20_tl%2C%20_t_centers%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Toroidal%20%20(%7B_algo%7D)'%2C%20metric%3D'toroidal')%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20torus_maps_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%0A%20%20%20%20_kind%20%3D%20%22warn%22%20if%20_pct%20%3E%2015%20else%20(%22success%22%20if%20_pct%20%3C%205%20else%20%22info%22)%0A%20%20%20%20torus_disagree_txt%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_n_diff%7D%20of%20%7Blen(_el)%7D%20points%20(%7B_pct%3A.1f%7D%25)**%20assigned%20differently%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22(Euclidean%20vs%20Toroidal%20%7B_algo%7D).%20%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_near_pct%3A.0f%7D%25**%20of%20disagreements%20are%20near%20a%20wraparound%20boundary.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D_kind%2C%0A%20%20%20%20)%0A%0A%20%20%20%20torus_pct%20%20%20%20%20%20%3D%20_pct%0A%20%20%20%20torus_near_pct%20%3D%20_near_pct%0A%20%20%20%20return%20torus_disagree_txt%2C%20torus_maps_img%2C%20torus_near_pct%2C%20torus_pct%0A%0A%0A%40app.cell%0Adef%20_torus_3d(du%2C%20mo%2C%20np%2C%20torus_data%2C%20torus_k)%3A%0A%20%20%20%20import%20plotly.graph_objects%20as%20_go%0A%0A%20%20%20%20_pts%20%3D%20torus_data%5B'points'%5D%0A%20%20%20%20_k%20%20%20%3D%20torus_k.value%0A%20%20%20%20_tl%2C%20_%2C%20_%20%3D%20du.torus_kmeans(_pts%2C%20k%3D_k)%0A%0A%20%20%20%20%23%20Torus%20surface%20mesh%0A%20%20%20%20_u%20%3D%20np.linspace(0%2C%202%20*%20np.pi%2C%2050)%0A%20%20%20%20_v%20%3D%20np.linspace(0%2C%202%20*%20np.pi%2C%2050)%0A%20%20%20%20_uu%2C%20_vv%20%3D%20np.meshgrid(_u%2C%20_v)%0A%20%20%20%20_sx%2C%20_sy%2C%20_sz%20%3D%20du.torus_to_3d(_uu%2C%20_vv)%0A%0A%20%20%20%20_fig%20%3D%20_go.Figure()%0A%20%20%20%20_fig.add_trace(_go.Surface(%0A%20%20%20%20%20%20%20%20x%3D_sx%2C%20y%3D_sy%2C%20z%3D_sz%2C%0A%20%20%20%20%20%20%20%20opacity%3D0.55%2C%0A%20%20%20%20%20%20%20%20colorscale%3D'Blues'%2C%0A%20%20%20%20%20%20%20%20cmin%3D_sz.min()%2C%20cmax%3D_sz.max()%2C%0A%20%20%20%20%20%20%20%20showscale%3DFalse%2C%20hoverinfo%3D'skip'%2C%20name%3D'torus'%2C%0A%20%20%20%20%20%20%20%20lighting%3Ddict(ambient%3D0.6%2C%20diffuse%3D0.8%2C%20specular%3D0.3%2C%20roughness%3D0.5)%2C%0A%20%20%20%20%20%20%20%20lightposition%3Ddict(x%3D2%2C%20y%3D2%2C%20z%3D2)%2C%0A%20%20%20%20))%0A%0A%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20_mask%20%3D%20_tl%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20_cx%2C%20_cy%2C%20_cz%20%3D%20du.torus_to_3d(_pts%5B_mask%2C%200%5D%2C%20_pts%5B_mask%2C%201%5D)%0A%20%20%20%20%20%20%20%20_fig.add_trace(_go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_cx%2C%20y%3D_cy%2C%20z%3D_cz%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D3.5%2C%20color%3Ddu.CLUSTER_COLORS%5B_c%20%25%20len(du.CLUSTER_COLORS)%5D%2C%20opacity%3D0.85)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df'Cluster%20%7B_c%7D'%2C%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20title%3Ddict(text%3Df'Torus%20%E2%80%94%20Toroidal%20K-Means%20%20(K%20%3D%20%7B_k%7D)'%2C%20font%3Ddict(size%3D14%2C%20color%3D'%231A2030'))%2C%0A%20%20%20%20%20%20%20%20scene%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20aspectmode%3D'data'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3Ddu.BG_FIGURE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(visible%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(visible%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zaxis%3Ddict(visible%3DFalse)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20paper_bgcolor%3Ddu.BG_FIGURE%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D0%2C%20r%3D0%2C%20t%3D40%2C%20b%3D0)%2C%0A%20%20%20%20%20%20%20%20legend%3Ddict(font%3Ddict(color%3D'%231A2030'))%2C%0A%20%20%20%20%20%20%20%20height%3D650%2C%0A%20%20%20%20)%0A%20%20%20%20torus_3d_plotly%20%3D%20mo.ui.plotly(_fig)%0A%20%20%20%20return%20(torus_3d_plotly%2C)%0A%0A%0A%40app.cell%0Adef%20_torus_val_plots(du%2C%20mo%2C%20plt%2C%20torus_k%2C%20torus_sweep)%3A%0A%20%20%20%20_k%20%20%20%20%20%20%3D%20torus_k.value%0A%20%20%20%20_k_vals%20%3D%20torus_sweep%5B'k_values'%5D%0A%20%20%20%20_pve%20%20%20%20%3D%20torus_sweep%5B'pve'%5D%0A%20%20%20%20_sil%20%20%20%20%3D%20torus_sweep%5B'silhouette_mean'%5D%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11%2C%203.8))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%20%20%20%20du.plot_pve_curve(_ax1%2C%20_k_vals%2C%20_pve%2C%20_k)%0A%20%20%20%20du.plot_silhouette_curve(_ax2%2C%20_k_vals%2C%20_sil%2C%20_k)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20torus_val_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(torus_val_img%2C)%0A%0A%0A%40app.cell%0Adef%20_torus_tab(%0A%20%20%20%20mo%2C%0A%20%20%20%20torus_3d_plotly%2C%0A%20%20%20%20torus_algorithm%2C%0A%20%20%20%20torus_disagree_txt%2C%0A%20%20%20%20torus_is_simulated%2C%0A%20%20%20%20torus_k%2C%0A%20%20%20%20torus_label%2C%0A%20%20%20%20torus_maps_img%2C%0A%20%20%20%20torus_near_pct%2C%0A%20%20%20%20torus_pct%2C%0A%20%20%20%20torus_seed%2C%0A%20%20%20%20torus_val_img%2C%0A)%3A%0A%20%20%20%20_header%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%23%23%20%F0%9F%8D%A9%20Torus%20%E2%80%94%20Wraparound%20Distance%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22*Periodic%20data%20wraps%20around%20%E2%80%94%20clustering%20must%20respect%20the%20edges.*%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22**Data%3A**%20%7Btorus_label%7D%22%0A%20%20%20%20)%0A%0A%20%20%20%20_data_info%20%3D%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%22**Protein%20backbone%20dihedral%20angles**%20(%CF%86%2C%20%CF%88)%20from%20~500%20amino%20acid%20residues%2C%20%22%0A%20%20%20%20%20%20%20%20%22generated%20to%20match%20known%20Ramachandran%20distributions.%20%22%0A%20%20%20%20%20%20%20%20%22%CE%B1-helices%20cluster%20near%20**(%E2%88%9260%C2%B0%2C%20%E2%88%9245%C2%B0)**%2C%20%CE%B2-sheets%20near%20**(%E2%88%92120%C2%B0%2C%20130%C2%B0)**.%20%22%0A%20%20%20%20%20%20%20%20%22Because%20angles%20wrap%20at%20%C2%B1180%C2%B0%2C%20a%20pair%20like%20(179%C2%B0%2C%20%E2%88%92179%C2%B0)%20is%20only%202%C2%B0%20apart%20%E2%80%94%20%22%0A%20%20%20%20%20%20%20%20%22the%20torus%20is%20the%20natural%20space%20for%20periodic%20data%20like%20this.%20%22%0A%20%20%20%20%20%20%20%20%22Drag%20the%20**seed%20slider**%20to%20generate%20a%20new%20random%20realisation.%22%0A%20%20%20%20)%2C%20kind%3D%22info%22)%0A%0A%20%20%20%20_notice%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22%E2%9A%A0%EF%B8%8F%20**Synthetic%20data**%20%E2%80%94%20Ramachandran%20CSV%20not%20found.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20torus_is_simulated%20is%20None%0A%20%20%20%20%20%20%20%20else%20mo.md(%22%22)%0A%20%20%20%20)%0A%0A%20%20%20%20_insight%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Key%20Insight%3A**%20Toroidal%20distance%20correctly%20handles%20wraparound%20in%20%CF%86%2F%CF%88%20angle%20space.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Euclidean%20distance%20misassigns%20**%7Btorus_pct%3A.1f%7D%25**%20of%20points%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Btorus_near_pct%3A.0f%7D%25**%20of%20those%20errors%20occur%20near%20the%200%C2%B0%2F360%C2%B0%20boundary%20where%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Euclidean%20distance%20sees%20two%20nearby%20angles%20as%20maximally%20far%20apart.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_formula%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%23%23%20%F0%9F%93%90%20Distance%20Formula%0A%0A%20%20%20%20**Flat%20torus%20distance%20(wraparound%20L2)%3A**%0A%0A%20%20%20%20%24%24d_%7B%5Ctext%7Btorus%7D%7D(u%2C%20v)%20%3D%20%5Csqrt%7B%5Csum_%7Bj%3D1%7D%5E%7B2%7D%20%5Cmin(%7Cu_j%20-%20v_j%7C%2C%5C%3B%20L%20-%20%7Cu_j%20-%20v_j%7C)%5E2%7D%24%24%0A%0A%20%20%20%20where%20%24L%20%3D%202%5Cpi%24%20is%20the%20period%20of%20each%20angular%20dimension.%0A%20%20%20%20PVE%20and%20Silhouette%20are%20computed%20using%20%24d_%7B%5Ctext%7Btorus%7D%7D%24%20as%20the%20base%20distance.%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20_main_row%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22display%3Agrid%3Bgrid-template-columns%3A65%25%2034%25%3Bgap%3A1rem%3Balign-items%3Astart%22%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5Btorus_3d_plotly%2C%20torus_disagree_txt%5D%2C%20gap%3D%220.4rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5B_formula%2C%20_data_info%2C%20_insight%5D%2C%20gap%3D%220.5rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20'%3C%2Fdiv%3E'%0A%20%20%20%20)%0A%20%20%20%20torus_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22%23%23%20%F0%9F%8D%A9%20Torus%20%E2%80%94%20Wraparound%20Distance%20%26nbsp%3B%C2%B7%26nbsp%3B%20*%7Btorus_label%7D*%22)%2C%0A%20%20%20%20%20%20%20%20_notice%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Btorus_algorithm%2C%20torus_k%2C%20torus_seed%5D%2C%20gap%3D%221.5rem%22)%2C%0A%20%20%20%20%20%20%20%20_main_row%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22display%3Agrid%3Bgrid-template-columns%3A62%25%2037%25%3Bgap%3A1rem%3Balign-items%3Astart%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5Bmo.md(%22**Euclidean%20vs%20Toroidal**%22)%2C%20torus_maps_img%5D%2C%20gap%3D%220.3rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5Bmo.md(%22**Validation%20Sweep%20K%20%3D%202%E2%80%9310**%22)%2C%20torus_val_img%5D%2C%20gap%3D%220.3rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D%2C%20gap%3D%220.6rem%22)%0A%20%20%20%20return%20(torus_content%2C)%0A%0A%0A%40app.cell%0Adef%20_hyp_data(THIS_DIR%2C%20du%2C%20hyp_seed%2C%20np%2C%20os)%3A%0A%20%20%20%20_DATA_DIR%20%3D%20os.path.join(THIS_DIR%2C%20'data')%0A%20%20%20%20_raw%2C%20_label%2C%20_is_synth%20%3D%20du.load_hyperbolic_data(_DATA_DIR%2C%20seed%3Dhyp_seed.value)%0A%0A%20%20%20%20_MAX_N%20%3D%20200%0A%20%20%20%20_pts_f%20%3D%20_raw%5B'points'%5D%0A%20%20%20%20if%20len(_pts_f)%20%3E%20_MAX_N%3A%0A%20%20%20%20%20%20%20%20_rng%20%3D%20np.random.default_rng(44)%0A%20%20%20%20%20%20%20%20_idx%20%3D%20np.sort(_rng.choice(len(_pts_f)%2C%20_MAX_N%2C%20replace%3DFalse))%0A%20%20%20%20%20%20%20%20hyp_data%20%20%3D%20%7B'points'%3A%20_pts_f%5B_idx%5D%2C%20'labels'%3A%20_raw%5B'labels'%5D%5B_idx%5D%7D%0A%20%20%20%20%20%20%20%20hyp_label%20%3D%20_label%20%2B%20f'%20%20(N%20%3D%20%7B_MAX_N%7D%20sub-sampled)'%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20hyp_data%20%20%3D%20_raw%0A%20%20%20%20%20%20%20%20hyp_label%20%3D%20_label%0A%0A%20%20%20%20hyp_is_synthetic%20%3D%20_is_synth%0A%0A%20%20%20%20_pts%20%20%20%20%20%20%3D%20hyp_data%5B'points'%5D%0A%20%20%20%20hyp_D%20%20%20%20%20%20%3D%20du.compute_poincare_matrix(_pts)%0A%20%20%20%20hyp_D_eucl%20%3D%20np.sqrt(%0A%20%20%20%20%20%20%20%20np.sum((_pts%5B%3A%2C%20np.newaxis%5D%20-%20_pts%5Bnp.newaxis%2C%20%3A%5D)**2%2C%20axis%3D-1)%0A%20%20%20%20)%0A%20%20%20%20return%20hyp_D%2C%20hyp_D_eucl%2C%20hyp_data%2C%20hyp_label%0A%0A%0A%40app.cell%0Adef%20_hyp_controls(mo)%3A%0A%20%20%20%20hyp_algorithm%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%5B%22K-Means%22%2C%20%22K-Medoids%22%2C%20%22GMM%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22K-Means%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Algorithm%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20hyp_k%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D2%2C%20stop%3D10%2C%20value%3D3%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20clusters%20%20K%22%2C%0A%20%20%20%20)%0A%20%20%20%20hyp_distortion_toggle%20%3D%20mo.ui.checkbox(label%3D%22Show%20distance%20distortion%20plot%22)%0A%20%20%20%20hyp_seed%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D99%2C%20value%3D42%2C%20label%3D%22Synthetic%20seed%22)%0A%20%20%20%20return%20hyp_algorithm%2C%20hyp_distortion_toggle%2C%20hyp_k%2C%20hyp_seed%0A%0A%0A%40app.cell%0Adef%20_hyp_sweep(du%2C%20hyp_D%2C%20hyp_algorithm%2C%20hyp_data%2C%20mo)%3A%0A%20%20%20%20_algo%20%3D%20hyp_algorithm.value%0A%20%20%20%20_pts%20%20%3D%20hyp_data%5B'points'%5D%0A%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.hyperbolic_kmeans(_pts%2C%20k%3Dk)%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.kmedoids_pam(D%2C%20k%3Dk)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.hyperbolic_gmm(_pts%2C%20k%3Dk)%0A%0A%20%20%20%20with%20mo.status.spinner(f%22Computing%20%7B_algo%7D%20sweep%20%20K%20%3D%202%E2%80%9310%20%E2%80%A6%22)%3A%0A%20%20%20%20%20%20%20%20hyp_sweep%20%3D%20du.sweep_k(_run%2C%20hyp_D%2C%20range(2%2C%2011))%0A%20%20%20%20return%20(hyp_sweep%2C)%0A%0A%0A%40app.cell%0Adef%20_hyp_maps(%0A%20%20%20%20du%2C%0A%20%20%20%20hyp_D%2C%0A%20%20%20%20hyp_D_eucl%2C%0A%20%20%20%20hyp_algorithm%2C%0A%20%20%20%20hyp_data%2C%0A%20%20%20%20hyp_k%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A)%3A%0A%20%20%20%20_algo%20%3D%20hyp_algorithm.value%0A%20%20%20%20_k%20%20%20%20%3D%20hyp_k.value%0A%20%20%20%20_pts%20%20%3D%20hyp_data%5B'points'%5D%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Euclidean%20clustering%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20_el%2C%20_ec%2C%20_%20%3D%20du.minkowski_kmeans(_pts%2C%20k%3D_k%2C%20p%3D2)%0A%20%20%20%20%20%20%20%20_e_centers%20%20%3D%20_ec%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20_el%2C%20_em%2C%20_%20%3D%20du.kmedoids_pam(hyp_D_eucl%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_e_centers%20%20%3D%20_pts%5B_em%5D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_el%2C%20_em%2C%20_%20%3D%20du.euclidean_gmm(_pts%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_e_centers%20%20%3D%20_em%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Hyperbolic%20clustering%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20_hl%2C%20_hc%2C%20_%20%3D%20du.hyperbolic_kmeans(_pts%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_h_centers%20%20%3D%20_hc%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20_hl%2C%20_hm%2C%20_%20%3D%20du.kmedoids_pam(hyp_D%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_h_centers%20%20%3D%20_pts%5B_hm%5D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_hl%2C%20_hm%2C%20_%20%3D%20du.hyperbolic_gmm(_pts%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_h_centers%20%20%3D%20_hm%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Label%20alignment%20%26%20disagreement%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20from%20scipy.optimize%20import%20linear_sum_assignment%20as%20_lsa%0A%20%20%20%20_conf%20%3D%20np.zeros((_k%2C%20_k))%0A%20%20%20%20for%20_ei%2C%20_hi%20in%20zip(_el%2C%20_hl)%3A%0A%20%20%20%20%20%20%20%20_conf%5B_ei%2C%20_hi%5D%20%2B%3D%201%0A%20%20%20%20_ri%2C%20_ci%20%3D%20_lsa(-_conf)%0A%20%20%20%20_h2e%20%3D%20dict(zip(_ci%2C%20_ri))%0A%20%20%20%20_hl_aligned%20%3D%20np.array(%5B_h2e.get(int(l)%2C%20int(l))%20for%20l%20in%20_hl%5D)%0A%20%20%20%20_n_diff%20%3D%20int(np.sum(_el%20!%3D%20_hl_aligned))%0A%20%20%20%20_pct%20%20%20%20%3D%20100.0%20*%20_n_diff%20%2F%20len(_el)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Plot%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11%2C%203.8))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%0A%20%20%20%20du.plot_poincare_disk(_ax1%2C%20_pts%2C%20_el%2C%20_e_centers%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Euclidean%20%20(%7B_algo%7D)'%2C%20metric%3D'euclidean')%0A%20%20%20%20du.plot_poincare_disk(_ax2%2C%20_pts%2C%20_hl%2C%20_h_centers%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Hyperbolic%20%20(%7B_algo%7D)'%2C%20metric%3D'hyperbolic')%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20hyp_maps_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%0A%20%20%20%20_kind%20%3D%20%22warn%22%20if%20_pct%20%3E%2015%20else%20(%22success%22%20if%20_pct%20%3C%205%20else%20%22info%22)%0A%20%20%20%20hyp_disagree_txt%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_n_diff%7D%20of%20%7Blen(_el)%7D%20points%20(%7B_pct%3A.1f%7D%25)**%20assigned%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22different%20clusters%20when%20comparing%20Euclidean%20vs%20Hyperbolic%20%7B_algo%7D.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D_kind%2C%0A%20%20%20%20)%0A%0A%20%20%20%20hyp_pct%20%3D%20_pct%0A%20%20%20%20return%20hyp_disagree_txt%2C%20hyp_maps_img%2C%20hyp_pct%0A%0A%0A%40app.cell%0Adef%20_hyp_distortion(%0A%20%20%20%20du%2C%0A%20%20%20%20hyp_D%2C%0A%20%20%20%20hyp_D_eucl%2C%0A%20%20%20%20hyp_data%2C%0A%20%20%20%20hyp_distortion_toggle%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A)%3A%0A%20%20%20%20if%20not%20hyp_distortion_toggle.value%3A%0A%20%20%20%20%20%20%20%20hyp_distortion_img%20%3D%20mo.md(%22%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_pts%20%3D%20hyp_data%5B'points'%5D%0A%20%20%20%20%20%20%20%20_n%20%20%20%3D%20len(_pts)%0A%0A%20%20%20%20%20%20%20%20%23%20Sample%20random%20pairs%20(avoid%20duplicate%20indices)%0A%20%20%20%20%20%20%20%20_rng%20%20%20%3D%20np.random.default_rng(99)%0A%20%20%20%20%20%20%20%20_i_idx%20%3D%20_rng.integers(0%2C%20_n%2C%20size%3D1200)%0A%20%20%20%20%20%20%20%20_j_idx%20%3D%20_rng.integers(0%2C%20_n%2C%20size%3D1200)%0A%20%20%20%20%20%20%20%20_valid%20%3D%20_i_idx%20!%3D%20_j_idx%0A%20%20%20%20%20%20%20%20_i_idx%2C%20_j_idx%20%3D%20_i_idx%5B_valid%5D%5B%3A600%5D%2C%20_j_idx%5B_valid%5D%5B%3A600%5D%0A%0A%20%20%20%20%20%20%20%20_d_eucl%20%3D%20hyp_D_eucl%5B_i_idx%2C%20_j_idx%5D%0A%20%20%20%20%20%20%20%20_d_hyp%20%20%3D%20hyp_D%5B_i_idx%2C%20_j_idx%5D%0A%20%20%20%20%20%20%20%20_r_avg%20%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.linalg.norm(_pts%5B_i_idx%5D%2C%20axis%3D1)%20%2B%0A%20%20%20%20%20%20%20%20%20%20%20%20np.linalg.norm(_pts%5B_j_idx%5D%2C%20axis%3D1)%0A%20%20%20%20%20%20%20%20)%20%2F%202%0A%0A%20%20%20%20%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(11%2C%203.8))%0A%20%20%20%20%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%20%20%20%20%20%20%20%20_sc%20%3D%20_ax.scatter(_d_eucl%2C%20_d_hyp%2C%20c%3D_r_avg%2C%20cmap%3D'plasma'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20s%3D15%2C%20alpha%3D0.65%2C%20linewidths%3D0)%0A%20%20%20%20%20%20%20%20_cb%20%3D%20_fig.colorbar(_sc%2C%20ax%3D_ax)%0A%20%20%20%20%20%20%20%20_cb.set_label('Avg%20radius%20of%20pair'%2C%20fontsize%3D11%2C%20color%3D'%23ccccdd')%0A%20%20%20%20%20%20%20%20plt.setp(_cb.ax.yaxis.get_ticklabels()%2C%20color%3D'%23888899')%0A%20%20%20%20%20%20%20%20_ax.set_xlabel('Euclidean%20distance'%2C%20fontsize%3D13)%0A%20%20%20%20%20%20%20%20_ax.set_ylabel('Hyperbolic%20distance'%2C%20fontsize%3D13)%0A%20%20%20%20%20%20%20%20_ax.set_title('Distance%20Distortion%3A%20Euclidean%20vs%20Hyperbolic'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D15%2C%20fontweight%3D'bold')%0A%20%20%20%20%20%20%20%20_ax.tick_params(labelsize%3D11)%0A%20%20%20%20%20%20%20%20_ax.grid(True%2C%20alpha%3D0.3)%0A%20%20%20%20%20%20%20%20plt.tight_layout()%0A%20%20%20%20%20%20%20%20hyp_distortion_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%2290%25%22)%0A%20%20%20%20%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(hyp_distortion_img%2C)%0A%0A%0A%40app.cell%0Adef%20_hyp_val_plots(du%2C%20hyp_k%2C%20hyp_sweep%2C%20mo%2C%20plt)%3A%0A%20%20%20%20_k%20%20%20%20%20%20%3D%20hyp_k.value%0A%20%20%20%20_k_vals%20%3D%20hyp_sweep%5B'k_values'%5D%0A%20%20%20%20_pve%20%20%20%20%3D%20hyp_sweep%5B'pve'%5D%0A%20%20%20%20_sil%20%20%20%20%3D%20hyp_sweep%5B'silhouette_mean'%5D%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11%2C%203.8))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%20%20%20%20du.plot_pve_curve(_ax1%2C%20_k_vals%2C%20_pve%2C%20_k)%0A%20%20%20%20du.plot_silhouette_curve(_ax2%2C%20_k_vals%2C%20_sil%2C%20_k)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20hyp_val_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(hyp_val_img%2C)%0A%0A%0A%40app.cell%0Adef%20_hyp_tab(%0A%20%20%20%20hyp_algorithm%2C%0A%20%20%20%20hyp_disagree_txt%2C%0A%20%20%20%20hyp_distortion_img%2C%0A%20%20%20%20hyp_distortion_toggle%2C%0A%20%20%20%20hyp_k%2C%0A%20%20%20%20hyp_label%2C%0A%20%20%20%20hyp_maps_img%2C%0A%20%20%20%20hyp_pct%2C%0A%20%20%20%20hyp_seed%2C%0A%20%20%20%20hyp_val_img%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20_header%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%23%23%20%F0%9F%94%B5%20Hyperbolic%20%E2%80%94%20Poincar%C3%A9%20Disk%20Metric%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22*Hierarchical%20data%20needs%20space%20that%20expands%20exponentially.*%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22**Data%3A**%20%7Bhyp_label%7D%22%0A%20%20%20%20)%0A%0A%20%20%20%20_info%20%3D%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%22**Simulated%20hierarchical%20taxonomy**%20%E2%80%94%20nodes%20in%20a%20synthetic%20tree%20embedded%20in%20the%20Poincar%C3%A9%20disk.%20%22%0A%20%20%20%20%20%20%20%20%22**Central%20points**%20(near%20origin)%20represent%20high-level%20categories%20(kingdom%2C%20phylum).%20%22%0A%20%20%20%20%20%20%20%20%22**Boundary%20points**%20(near%20the%20unit%20circle%20edge)%20are%20specific%20instances%20(species%2C%20subspecies).%20%22%0A%20%20%20%20%20%20%20%20%22Hyperbolic%20space%20expands%20exponentially%20away%20from%20the%20origin%2C%20naturally%20fitting%20the%20branching%20%22%0A%20%20%20%20%20%20%20%20%22structure%20of%20trees%20%E2%80%94%20the%20same%20number%20of%20nodes%20at%20each%20depth%20ring%2C%20but%20exponentially%20more%20space.%20%22%0A%20%20%20%20%20%20%20%20%22Drag%20the%20**seed%20slider**%20to%20generate%20a%20different%20tree%20topology.%22%0A%20%20%20%20)%2C%20kind%3D%22info%22)%0A%0A%20%20%20%20_dist_table%20%3D%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%20Distance%20Table%3A%20Euclidean%20Radius%20%E2%86%92%20Hyperbolic%20Distance%0A%0A%20%20%20%20%7C%20Euclidean%20radius%20%7C%20Hyperbolic%20distance%20from%20origin%20%7C%0A%20%20%20%20%7C%3A---%3A%7C%3A---%3A%7C%0A%20%20%20%20%7C%200.50%20%7C%201.10%20%7C%0A%20%20%20%20%7C%200.80%20%7C%202.20%20%7C%0A%20%20%20%20%7C%200.90%20%7C%202.94%20%7C%0A%20%20%20%20%7C%200.95%20%7C%203.66%20%7C%0A%20%20%20%20%7C%200.99%20%7C%205.29%20%7C%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20_insight%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Key%20Insight%3A**%20In%20hyperbolic%20space%2C%20points%20near%20the%20disk%20boundary%20are%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22*exponentially*%20farther%20from%20the%20center%20than%20Euclidean%20distance%20suggests.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Euclidean%20clustering%20misassigns%20**%7Bhyp_pct%3A.1f%7D%25**%20of%20points%2C%20collapsing%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22the%20rich%20hierarchical%20structure%20near%20the%20boundary%20into%20fewer%2C%20larger%20clusters.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_formula%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%23%23%20%F0%9F%93%90%20Distance%20Formula%0A%0A%20%20%20%20**Poincar%C3%A9%20disk%20distance%3A**%0A%0A%20%20%20%20%24%24d_%7B%5Cmathbb%7BH%7D%7D(u%2C%20v)%20%3D%20%5Cmathrm%7Barccosh%7D%5C!%5Cleft(1%20%2B%20%5Cfrac%7B2%5C%2C%5C%7Cu%20-%20v%5C%7C%5E2%7D%7B(1%20-%20%5C%7Cu%5C%7C%5E2)(1%20-%20%5C%7Cv%5C%7C%5E2)%7D%5Cright)%24%24%0A%0A%20%20%20%20Points%20%24u%2C%20v%24%20lie%20inside%20the%20open%20unit%20disk%20%24(%5C%7Cu%5C%7C%2C%20%5C%7Cv%5C%7C%20%3C%201)%24.%0A%20%20%20%20As%20%24%5C%7Cu%5C%7C%20%5Cto%201%24%20the%20boundary%20is%20approached%20and%20distances%20diverge%3A%20%24d_%7B%5Cmathbb%7BH%7D%7D(0%2C%20u)%20%3D%202%5C%2C%5Cmathrm%7Barctanh%7D(%5C%7Cu%5C%7C)%24.%0A%20%20%20%20PVE%20and%20Silhouette%20are%20computed%20using%20%24d_%7B%5Cmathbb%7BH%7D%7D%24%20as%20the%20base%20distance.%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20_main_row%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22display%3Agrid%3Bgrid-template-columns%3A65%25%2034%25%3Bgap%3A1rem%3Balign-items%3Astart%22%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5Bmo.md(%22**Euclidean%20vs%20Hyperbolic**%22)%2C%20hyp_maps_img%2C%20hyp_disagree_txt%5D%2C%20gap%3D%220.4rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5B_formula%2C%20_dist_table%2C%20_info%5D%2C%20gap%3D%220.5rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20'%3C%2Fdiv%3E'%0A%20%20%20%20)%0A%20%20%20%20hyp_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22%23%23%20%F0%9F%94%B5%20Hyperbolic%20%E2%80%94%20Poincar%C3%A9%20Disk%20Metric%20%26nbsp%3B%C2%B7%26nbsp%3B%20*%7Bhyp_label%7D*%22)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bhyp_algorithm%2C%20hyp_k%2C%20hyp_seed%5D%2C%20gap%3D%221.5rem%22)%2C%0A%20%20%20%20%20%20%20%20_main_row%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bhyp_distortion_toggle%2C%20hyp_distortion_img%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Validation%20Sweep%20K%20%3D%202%E2%80%9310**%22)%2C%20hyp_val_img%2C%20_insight%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D%221rem%22)%2C%0A%20%20%20%20%5D%2C%20gap%3D%220.6rem%22)%0A%20%20%20%20return%20(hyp_content%2C)%0A%0A%0A%40app.cell%0Adef%20_feat_data(THIS_DIR%2C%20du%2C%20feat_dataset%2C%20np%2C%20os)%3A%0A%20%20%20%20_DATA_DIR%20%3D%20os.path.join(THIS_DIR%2C%20'data')%0A%20%20%20%20_raw%2C%20_label%2C%20_is_synth%20%3D%20du.load_feature_data(_DATA_DIR%2C%20dataset%3Dfeat_dataset.value)%0A%0A%20%20%20%20_MAX_N%20%3D%20300%0A%20%20%20%20_pts_f%20%3D%20_raw%5B'points'%5D%0A%20%20%20%20if%20len(_pts_f)%20%3E%20_MAX_N%3A%0A%20%20%20%20%20%20%20%20_rng%20%3D%20np.random.default_rng(45)%0A%20%20%20%20%20%20%20%20_idx%20%3D%20np.sort(_rng.choice(len(_pts_f)%2C%20_MAX_N%2C%20replace%3DFalse))%0A%20%20%20%20%20%20%20%20_sp%20%20%3D%20_raw%5B'species'%5D%0A%20%20%20%20%20%20%20%20feat_data%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'points'%3A%20%20%20%20%20%20%20_pts_f%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'points_2d'%3A%20%20%20%20_raw%5B'points_2d'%5D%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'species'%3A%20%20%20%20%20%20_sp%5B_idx%5D%20if%20_sp%20is%20not%20None%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'feature_names'%3A%20_raw%5B'feature_names'%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20feat_label%20%3D%20_label%20%2B%20f'%20%20(N%20%3D%20%7B_MAX_N%7D%20sub-sampled)'%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20feat_data%20%3D%20_raw%0A%20%20%20%20%20%20%20%20feat_label%20%3D%20_label%0A%0A%20%20%20%20feat_is_synthetic%20%3D%20_is_synth%0A%20%20%20%20return%20feat_data%2C%20feat_is_synthetic%2C%20feat_label%0A%0A%0A%40app.cell%0Adef%20_feat_controls(THIS_DIR%2C%20du%2C%20mo%2C%20os)%3A%0A%20%20%20%20_DATA_DIR%20%3D%20os.path.join(THIS_DIR%2C%20'data')%0A%20%20%20%20_candidates%20%3D%20%5B%0A%20%20%20%20%20%20%20%20('Palmer%20Penguins%20(3%20species)'%2C%20'penguins'%2C%20'penguins.csv')%2C%0A%20%20%20%20%20%20%20%20('Iris%20(3%20species)'%2C%20%20%20%20%20%20%20%20%20%20%20%20'iris'%2C%20%20%20%20%20'iris.csv')%2C%0A%20%20%20%20%5D%0A%20%20%20%20_opts%20%3D%20%7B%7D%0A%20%20%20%20for%20_lbl%2C%20_key%2C%20_fname%20in%20_candidates%3A%0A%20%20%20%20%20%20%20%20_path%20%3D%20os.path.join(_DATA_DIR%2C%20_fname)%0A%20%20%20%20%20%20%20%20if%20not%20os.path.exists(_path)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20du.download_if_missing(du._FEAT_URLS%5B_key%5D%2C%20_path)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pass%0A%20%20%20%20%20%20%20%20if%20os.path.exists(_path)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_opts%5B_lbl%5D%20%3D%20_key%0A%20%20%20%20_opts%5B'Synthetic'%5D%20%3D%20'synthetic'%0A%0A%20%20%20%20feat_dataset%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D_opts%2C%0A%20%20%20%20%20%20%20%20value%3Dnext(iter(_opts))%2C%0A%20%20%20%20%20%20%20%20label%3D%22Dataset%22%2C%0A%20%20%20%20)%0A%20%20%20%20feat_algorithm%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%5B%22K-Means%22%2C%20%22K-Medoids%22%2C%20%22GMM%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22K-Means%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Algorithm%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20feat_k%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D10%2C%20value%3D3%2C%20label%3D%22Number%20of%20clusters%20%20K%22)%0A%20%20%20%20feat_p%20%3D%20mo.ui.slider(start%3D0.5%2C%20stop%3D20.0%2C%20value%3D2.0%2C%20step%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Minkowski%20p%20value%22)%0A%20%20%20%20return%20feat_algorithm%2C%20feat_dataset%2C%20feat_k%2C%20feat_p%0A%0A%0A%40app.cell%0Adef%20_feat_mink_matrix(du%2C%20feat_data%2C%20feat_p)%3A%0A%20%20%20%20feat_D_mink%20%3D%20du.compute_minkowski_matrix_full(feat_data%5B'points'%5D%2C%20feat_p.value)%0A%20%20%20%20return%20(feat_D_mink%2C)%0A%0A%0A%40app.cell%0Adef%20_feat_sweep(du%2C%20feat_D_mink%2C%20feat_algorithm%2C%20feat_data%2C%20feat_p%2C%20mo)%3A%0A%20%20%20%20_algo%20%3D%20feat_algorithm.value%0A%20%20%20%20_pts%20%20%3D%20feat_data%5B'points'%5D%0A%20%20%20%20_p%20%20%20%20%3D%20feat_p.value%0A%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.minkowski_kmeans(_pts%2C%20k%3Dk%2C%20p%3D_p)%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.kmedoids_pam(D%2C%20k%3Dk)%0A%20%20%20%20else%3A%20%20%23%20GMM%0A%20%20%20%20%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20du.euclidean_gmm(_pts%2C%20k%3Dk)%0A%0A%20%20%20%20with%20mo.status.spinner(f%22Computing%20%7B_algo%7D%20sweep%20%20K%20%3D%202%E2%80%9310%20%20(p%3D%7B_p%7D)%20%E2%80%A6%22)%3A%0A%20%20%20%20%20%20%20%20feat_sweep%20%3D%20du.sweep_k(_run%2C%20feat_D_mink%2C%20range(2%2C%2011))%0A%20%20%20%20return%20(feat_sweep%2C)%0A%0A%0A%40app.cell%0Adef%20_feat_unit_ball(du%2C%20feat_data%2C%20feat_p%2C%20mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20_p%20%3D%20feat_p.value%0A%20%20%20%20_p_disp%20%3D%20'%E2%88%9E'%20if%20_p%20%3E%3D%2020%20else%20f'%7B_p%3Ag%7D'%0A%0A%20%20%20%20_fig%2C%20_axs%20%3D%20plt.subplots(1%2C%204%2C%20figsize%3D(14%2C%203.2))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%0A%20%20%20%20%23%20Which%20preset%20matches%20the%20current%20p%3F%0A%20%20%20%20def%20_is_active(preset_p)%3A%0A%20%20%20%20%20%20%20%20if%20preset_p%20%3D%3D%201%3A%20%20%20return%20_p%20%3D%3D%201%0A%20%20%20%20%20%20%20%20if%20preset_p%20%3D%3D%202%3A%20%20%20return%20_p%20%3D%3D%202%0A%20%20%20%20%20%20%20%20if%20preset_p%20%3D%3D%20100%3A%20return%20_p%20%3E%3D%2020%0A%20%20%20%20%20%20%20%20return%20False%0A%0A%20%20%20%20_BALLS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(1%2C%20%20%20'%23f39c12'%2C%20'L1%20%E2%80%94%20Manhattan')%2C%0A%20%20%20%20%20%20%20%20(2%2C%20%20%20'%232ecc71'%2C%20'L2%20%E2%80%94%20Euclidean')%2C%0A%20%20%20%20%20%20%20%20(100%2C%20'%239b59b6'%2C%20'L%E2%88%9E%20%E2%80%94%20Chebyshev')%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20for%20_ax%2C%20(pp%2C%20_col%2C%20_lbl)%20in%20zip(_axs%5B%3A3%5D%2C%20_BALLS)%3A%0A%20%20%20%20%20%20%20%20du.plot_unit_ball(_ax%2C%20p%3Dpp%2C%20color%3D_col)%0A%20%20%20%20%20%20%20%20_active%20%3D%20_is_active(pp)%0A%20%20%20%20%20%20%20%20_ax.set_title(_lbl%2C%20fontsize%3D11%2C%20fontweight%3D'bold'%2C%20pad%3D5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D'%23C62828'%20if%20_active%20else%20'%231A2030')%0A%20%20%20%20%20%20%20%20if%20_active%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_s%20in%20_ax.spines.values()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_s.set_edgecolor('%23C62828')%3B%20_s.set_linewidth(3)%0A%0A%20%20%20%20%23%204th%20subplot%3A%20Mahalanobis%20unit%20ellipse%20%7Bx%20%3A%20x%E1%B5%80%20%CE%A3%E2%81%BB%C2%B9%20x%20%E2%89%A4%201%7D%0A%20%20%20%20_ax4%20%3D%20_axs%5B3%5D%0A%20%20%20%20_pts_raw%20%3D%20feat_data%5B'points'%5D%0A%20%20%20%20_cov%20%3D%20np.cov(_pts_raw%5B%3A%2C%20%3A2%5D.T)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20_cov_inv%20%3D%20np.linalg.inv(_cov%20%2B%201e-8%20*%20np.eye(2))%0A%20%20%20%20%20%20%20%20_th%20%3D%20np.linspace(0%2C%202%20*%20np.pi%2C%20400)%0A%20%20%20%20%20%20%20%20_circ%20%3D%20np.stack(%5Bnp.cos(_th)%2C%20np.sin(_th)%5D%2C%20axis%3D1)%0A%20%20%20%20%20%20%20%20_vals%20%3D%20np.einsum('ij%2Cjk%2Cik-%3Ei'%2C%20_circ%2C%20_cov_inv%2C%20_circ)%0A%20%20%20%20%20%20%20%20_scale%20%3D%201.0%20%2F%20np.sqrt(np.maximum(_vals%2C%201e-12))%0A%20%20%20%20%20%20%20%20_ell%20%3D%20_circ%20*%20_scale%5B%3A%2C%20None%5D%0A%20%20%20%20%20%20%20%20_ax4.fill(_ell%5B%3A%2C%200%5D%2C%20_ell%5B%3A%2C%201%5D%2C%20color%3D'%23e74c3c'%2C%20alpha%3D0.28)%0A%20%20%20%20%20%20%20%20_ax4.plot(_ell%5B%3A%2C%200%5D%2C%20_ell%5B%3A%2C%201%5D%2C%20color%3D'%23e74c3c'%2C%20lw%3D2.5)%0A%20%20%20%20except%20np.linalg.LinAlgError%3A%0A%20%20%20%20%20%20%20%20_ax4.text(0%2C%200%2C%20'singular'%2C%20ha%3D'center'%2C%20va%3D'center'%2C%20fontsize%3D10)%0A%20%20%20%20_ax4.set_xlim(-1.6%2C%201.6)%3B%20_ax4.set_ylim(-1.6%2C%201.6)%0A%20%20%20%20_ax4.set_aspect('equal')%0A%20%20%20%20_ax4.axhline(0%2C%20color%3D'%23aaaaaa'%2C%20lw%3D0.6)%0A%20%20%20%20_ax4.axvline(0%2C%20color%3D'%23aaaaaa'%2C%20lw%3D0.6)%0A%20%20%20%20_ax4.grid(True%2C%20alpha%3D0.25)%3B%20_ax4.tick_params(labelsize%3D8)%0A%20%20%20%20_ax4.set_title('Mahalanobis'%2C%20fontsize%3D11%2C%20fontweight%3D'bold'%2C%20pad%3D5)%0A%0A%20%20%20%20_fig.suptitle(%0A%20%20%20%20%20%20%20%20f'Unit%20Balls%20%20%C2%B7%20%20current%20slider%3A%20p%20%3D%20%7B_p_disp%7D%20%20'%0A%20%20%20%20%20%20%20%20f'%7B%22%E2%86%90%20highlighted%20above%22%20if%20any(_is_active(pp)%20for%20pp%2C%20*_%20in%20_BALLS)%20else%20%22(between%20presets)%22%7D'%2C%0A%20%20%20%20%20%20%20%20fontsize%3D11%2C%20y%3D1.01%2C%0A%20%20%20%20)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20feat_unit_ball_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(feat_unit_ball_img%2C)%0A%0A%0A%40app.cell%0Adef%20_feat_mink_plot(%0A%20%20%20%20du%2C%0A%20%20%20%20feat_D_mink%2C%0A%20%20%20%20feat_algorithm%2C%0A%20%20%20%20feat_data%2C%0A%20%20%20%20feat_k%2C%0A%20%20%20%20feat_p%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A)%3A%0A%20%20%20%20from%20matplotlib.colors%20import%20ListedColormap%20as%20_LCM%0A%0A%20%20%20%20_algo%20%20%3D%20feat_algorithm.value%0A%20%20%20%20_k%20%20%20%20%20%3D%20feat_k.value%0A%20%20%20%20_p%20%20%20%20%20%3D%20feat_p.value%0A%20%20%20%20_pts%20%20%20%3D%20feat_data%5B'points'%5D%0A%20%20%20%20_pts2%20%20%3D%20feat_data%5B'points_2d'%5D%0A%20%20%20%20_p_disp%20%3D%20'%E2%88%9E'%20if%20_p%20%3E%3D%2020%20else%20f'%7B_p%3Ag%7D'%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Consistent%20PCA%20basis%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_mean_v%20%20%20%3D%20_pts.mean(axis%3D0)%0A%20%20%20%20_centered%20%3D%20_pts%20-%20_mean_v%0A%20%20%20%20_%2C%20_%2C%20_Vt%20%3D%20np.linalg.svd(_centered%2C%20full_matrices%3DFalse)%0A%0A%20%20%20%20def%20_proj(centers)%3A%0A%20%20%20%20%20%20%20%20return%20(centers%20-%20_mean_v)%20%40%20_Vt%5B%3A2%5D.T%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Euclidean%20reference%3A%20always%20K-Means%20p%3D2%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_e_labels%2C%20_e_centers%2C%20_%20%3D%20du.minkowski_kmeans(_pts%2C%20k%3D_k%2C%20p%3D2%2C%20seed%3D42)%0A%20%20%20%20_e_c2%20%3D%20_proj(_e_centers)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Current%20algorithm%20%2B%20current%20p%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20if%20_algo%20%3D%3D%20%22K-Means%22%3A%0A%20%20%20%20%20%20%20%20_c_labels%2C%20_c_centers%2C%20_%20%3D%20du.minkowski_kmeans(_pts%2C%20k%3D_k%2C%20p%3D_p%2C%20seed%3D42)%0A%20%20%20%20%20%20%20%20_c_c2%20%3D%20_proj(_c_centers)%0A%20%20%20%20elif%20_algo%20%3D%3D%20%22K-Medoids%22%3A%0A%20%20%20%20%20%20%20%20_c_labels%2C%20_med_idx%2C%20_%20%3D%20du.kmedoids_pam(feat_D_mink%2C%20k%3D_k%2C%20seed%3D42)%0A%20%20%20%20%20%20%20%20_c_c2%20%3D%20_proj(_pts%5B_med_idx%5D)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_c_labels%2C%20_c_centers%2C%20_%20%3D%20du.euclidean_gmm(_pts%2C%20k%3D_k%2C%20seed%3D42)%0A%20%20%20%20%20%20%20%20_c_c2%20%3D%20_proj(_c_centers)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Voronoi%20shading%20helper%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_xl%20%3D%20_pts2%5B%3A%2C%200%5D.min()%20-%200.5%3B%20%20_xh%20%3D%20_pts2%5B%3A%2C%200%5D.max()%20%2B%200.5%0A%20%20%20%20_yl%20%3D%20_pts2%5B%3A%2C%201%5D.min()%20-%200.5%3B%20%20_yh%20%3D%20_pts2%5B%3A%2C%201%5D.max()%20%2B%200.5%0A%20%20%20%20_res%20%3D%20180%0A%0A%20%20%20%20def%20_shade(ax%2C%20centers_2d%2C%20p_val%2C%20labels%2C%20title)%3A%0A%20%20%20%20%20%20%20%20_xx%2C%20_yy%20%3D%20np.meshgrid(np.linspace(_xl%2C%20_xh%2C%20_res)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.linspace(_yl%2C%20_yh%2C%20_res))%0A%20%20%20%20%20%20%20%20_grid%20%3D%20np.column_stack(%5B_xx.ravel()%2C%20_yy.ravel()%5D)%0A%20%20%20%20%20%20%20%20_Dg%20%3D%20np.zeros((_grid.shape%5B0%5D%2C%20_k))%0A%20%20%20%20%20%20%20%20for%20_j%2C%20_c%20in%20enumerate(centers_2d)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_diff%20%3D%20np.abs(_grid%20-%20_c)%0A%20%20%20%20%20%20%20%20%20%20%20%20_Dg%5B%3A%2C%20_j%5D%20%3D%20(_diff.max(axis%3D1)%20if%20p_val%20%3E%3D%2020%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20np.sum(_diff%20**%20p_val%2C%20axis%3D1)%20**%20(1.0%20%2F%20p_val))%0A%20%20%20%20%20%20%20%20_rgn%20%3D%20np.argmin(_Dg%2C%20axis%3D1).reshape(_xx.shape)%0A%20%20%20%20%20%20%20%20_cm%20%3D%20_LCM(%5Bdu.CLUSTER_COLORS%5Bi%20%25%20len(du.CLUSTER_COLORS)%5D%20for%20i%20in%20range(_k)%5D)%0A%20%20%20%20%20%20%20%20ax.contourf(_xx%2C%20_yy%2C%20_rgn%2C%20levels%3Dnp.arange(-0.5%2C%20_k)%2C%20cmap%3D_cm%2C%20alpha%3D0.18)%0A%20%20%20%20%20%20%20%20ax.contour(_xx%2C%20_yy%2C%20_rgn%2C%20levels%3Dnp.arange(0.5%2C%20_k)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colors%3D'%234A5568'%2C%20linewidths%3D0.9)%0A%20%20%20%20%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_m%20%3D%20labels%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.scatter(_pts2%5B_m%2C%200%5D%2C%20_pts2%5B_m%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3Ddu.CLUSTER_COLORS%5B_c%20%25%20len(du.CLUSTER_COLORS)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20s%3D22%2C%20alpha%3D0.80%2C%20linewidths%3D0%2C%20zorder%3D3)%0A%20%20%20%20%20%20%20%20ax.scatter(centers_2d%5B%3A%2C%200%5D%2C%20centers_2d%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3D'white'%2C%20s%3D150%2C%20marker%3D'*'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolors%3D'%231A2030'%2C%20linewidths%3D0.8%2C%20zorder%3D5)%0A%20%20%20%20%20%20%20%20ax.set_xlim(_xl%2C%20_xh)%3B%20ax.set_ylim(_yl%2C%20_yh)%0A%20%20%20%20%20%20%20%20ax.set_xlabel('PC%201'%2C%20fontsize%3D11)%3B%20ax.set_ylabel('PC%202'%2C%20fontsize%3D11)%0A%20%20%20%20%20%20%20%20ax.set_title(title%2C%20fontsize%3D12%2C%20fontweight%3D'bold'%2C%20pad%3D6)%0A%20%20%20%20%20%20%20%20ax.grid(True%2C%20alpha%3D0.22)%3B%20ax.tick_params(labelsize%3D9)%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(13%2C%204.5))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%20%20%20%20_shade(_ax1%2C%20_e_c2%2C%20%202%2C%20%20_e_labels%2C%20'Euclidean%20%20(p%20%3D%202)%20%20%C2%B7%20%20K-Means')%0A%20%20%20%20_shade(_ax2%2C%20_c_c2%2C%20_p%2C%20_c_labels%2C%20f'Minkowski%20%20(p%20%3D%20%7B_p_disp%7D)%20%20%C2%B7%20%20%7B_algo%7D')%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20feat_mink_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(feat_mink_img%2C)%0A%0A%0A%40app.cell%0Adef%20_feat_mahal(du%2C%20feat_data%2C%20feat_k%2C%20mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20_k%20%20%20%3D%20feat_k.value%0A%20%20%20%20_pts%20%3D%20feat_data%5B'points'%5D%0A%0A%20%20%20%20%23%20Mahalanobis%20clustering%20on%20full%20feature%20space%0A%20%20%20%20_labels%2C%20_centers%2C%20_%20%3D%20du.mahalanobis_kmeans(_pts%2C%20k%3D_k)%0A%0A%20%20%20%20%23%20Project%20to%202D%20PCA%20for%20the%20%22original%22%20view%0A%20%20%20%20_mean_v%20%3D%20_pts.mean(axis%3D0)%0A%20%20%20%20_centered%20%3D%20_pts%20-%20_mean_v%0A%20%20%20%20_%2C%20_%2C%20_Vt%20%3D%20np.linalg.svd(_centered%2C%20full_matrices%3DFalse)%0A%20%20%20%20_pts2%20%3D%20_centered%20%40%20_Vt%5B%3A2%5D.T%0A%20%20%20%20_c2%20%20%20%3D%20(_centers%20-%20_mean_v)%20%40%20_Vt%5B%3A2%5D.T%0A%0A%20%20%20%20%23%20Whitening%20via%20eigendecomposition%20of%20full%20covariance%0A%20%20%20%20_cov%20%3D%20np.cov(_pts.T)%0A%20%20%20%20_W%20%3D%20np.eye(_pts.shape%5B1%5D)%20%20%20%20%20%20%20%20%20%20%20%23%20default%3A%20identity%20(no%20whitening)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20_eigvals%2C%20_eigvecs%20%3D%20np.linalg.eigh(_cov)%0A%20%20%20%20%20%20%20%20_eigvals%20%3D%20np.maximum(_eigvals%2C%201e-10)%0A%20%20%20%20%20%20%20%20_W%20%3D%20_eigvecs%20%40%20np.diag(1.0%20%2F%20np.sqrt(_eigvals))%20%40%20_eigvecs.T%0A%20%20%20%20except%20np.linalg.LinAlgError%3A%0A%20%20%20%20%20%20%20%20pass%0A%20%20%20%20_whitened%20%3D%20_centered%20%40%20_W.T%0A%0A%20%20%20%20%23%20Centers%20in%20whitened%20space%0A%20%20%20%20_c_white%20%3D%20(_centers%20-%20_mean_v)%20%40%20_W.T%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(10%2C%204.5))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%0A%20%20%20%20%23%20LEFT%3A%20original%20PCA%20space%20with%20covariance%20ellipses%0A%20%20%20%20du.plot_feature_scatter_2d(_ax1%2C%20_pts2%2C%20_labels%2C%20_c2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Original%20Feature%20Space%20(PCA%202D%2C%20K%20%3D%20%7B_k%7D)'%2C%20p%3D2)%0A%20%20%20%20%23%20Overlay%20per-cluster%20covariance%20ellipses%0A%20%20%20%20import%20matplotlib.patches%20as%20_mp3%0A%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20_mask%20%3D%20_labels%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20if%20_mask.sum()%20%3C%203%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20_sub%20%3D%20_pts2%5B_mask%5D%0A%20%20%20%20%20%20%20%20_cv%20%20%3D%20np.cov(_sub.T)%0A%20%20%20%20%20%20%20%20if%20_cv.ndim%20%3C%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20_ev%2C%20_evec%20%3D%20np.linalg.eigh(_cv)%0A%20%20%20%20%20%20%20%20_ev%20%20%3D%20np.maximum(_ev%2C%201e-10)%0A%20%20%20%20%20%20%20%20_ang%20%3D%20np.degrees(np.arctan2(_evec%5B1%2C%201%5D%2C%20_evec%5B0%2C%201%5D))%0A%20%20%20%20%20%20%20%20_ell%20%3D%20_mp3.Ellipse(%0A%20%20%20%20%20%20%20%20%20%20%20%20xy%3D_sub.mean(axis%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D2%20*%20np.sqrt(_ev%5B1%5D)%20*%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D2%20*%20np.sqrt(_ev%5B0%5D)%20*%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20angle%3D_ang%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fill%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3Ddu.CLUSTER_COLORS%5B_c%20%25%20len(du.CLUSTER_COLORS)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lw%3D2%2C%20alpha%3D0.85%2C%20zorder%3D4%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_ax1.add_patch(_ell)%0A%0A%20%20%20%20%23%20RIGHT%3A%20whitened%20space%20(only%20first%202%20dims)%0A%20%20%20%20_w2%20%3D%20_whitened%5B%3A%2C%20%3A2%5D%0A%20%20%20%20_cw2%20%3D%20_c_white%5B%3A%2C%20%3A2%5D%0A%20%20%20%20du.plot_feature_scatter_2d(_ax2%2C%20_w2%2C%20_labels%2C%20_cw2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Mahalanobis-Whitened%20Space%20(K%20%3D%20%7B_k%7D)'%2C%20p%3D2)%0A%20%20%20%20_ax2.set_xlabel('Whitened%20dim%201'%2C%20fontsize%3D12)%0A%20%20%20%20_ax2.set_ylabel('Whitened%20dim%202'%2C%20fontsize%3D12)%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20feat_mahal_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(feat_mahal_img%2C)%0A%0A%0A%40app.cell%0Adef%20_feat_val_plots(du%2C%20feat_k%2C%20feat_sweep%2C%20mo%2C%20plt)%3A%0A%20%20%20%20_k%20%20%20%20%20%20%3D%20feat_k.value%0A%20%20%20%20_k_vals%20%3D%20feat_sweep%5B'k_values'%5D%0A%20%20%20%20_pve%20%20%20%20%3D%20feat_sweep%5B'pve'%5D%0A%20%20%20%20_sil%20%20%20%20%3D%20feat_sweep%5B'silhouette_mean'%5D%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11%2C%203.8))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%20%20%20%20du.plot_pve_curve(_ax1%2C%20_k_vals%2C%20_pve%2C%20_k)%0A%20%20%20%20du.plot_silhouette_curve(_ax2%2C%20_k_vals%2C%20_sil%2C%20_k)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20feat_val_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(feat_val_img%2C)%0A%0A%0A%40app.cell%0Adef%20_feat_tab(%0A%20%20%20%20feat_algorithm%2C%0A%20%20%20%20feat_dataset%2C%0A%20%20%20%20feat_is_synthetic%2C%0A%20%20%20%20feat_k%2C%0A%20%20%20%20feat_label%2C%0A%20%20%20%20feat_mahal_img%2C%0A%20%20%20%20feat_mink_img%2C%0A%20%20%20%20feat_p%2C%0A%20%20%20%20feat_unit_ball_img%2C%0A%20%20%20%20feat_val_img%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20_header%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%23%23%20%F0%9F%93%8F%20Feature%20Space%20%E2%80%94%20Minkowski%20%26%20Mahalanobis%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22*Correlated%20features%20need%20distance%20that%20knows%20the%20data's%20shape.*%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22**Data%3A**%20%7Bfeat_label%7D%22%0A%20%20%20%20)%0A%20%20%20%20_FEAT_DESC%20%3D%20%7B%0A%20%20%20%20%20%20%20%20'penguins'%3A%20%22**Palmer%20Station%20penguins%20(2007%E2%80%932009)**%20%E2%80%94%20344%20penguins%20across%203%20species%20(Adelie%2C%20Chinstrap%2C%20Gentoo)%2C%20measured%20on%204%20features%3A%20bill%20length%2C%20bill%20depth%2C%20flipper%20length%2C%20body%20mass.%20Species%20overlap%20in%20Euclidean%20space%20but%20become%20cleanly%20separable%20once%20feature%20correlation%20is%20accounted%20for%20via%20Mahalanobis%20distance.%22%2C%0A%20%20%20%20%20%20%20%20'iris'%3A%20%20%20%20%20%22**Fisher's%20Iris%20dataset%20(1936)**%20%E2%80%94%20150%20iris%20flowers%20from%203%20species%20(setosa%2C%20versicolor%2C%20virginica)%2C%20each%20with%204%20measurements.%20A%20classic%20benchmark%3A%20setosa%20is%20linearly%20separable%20from%20the%20other%20two%3B%20versicolor%20and%20virginica%20overlap%2C%20making%20them%20sensitive%20to%20choice%20of%20distance%20metric.%22%2C%0A%20%20%20%20%20%20%20%20'synthetic'%3A%20%22**Synthetically%20generated**%20%E2%80%94%20Gaussian%20clusters%20in%20standardised%20feature%20space.%20Useful%20for%20exploring%20how%20p%20(the%20Minkowski%20exponent)%20changes%20cluster%20shape.%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_ds_key%20%3D%20feat_dataset.value%20if%20feat_dataset.value%20in%20_FEAT_DESC%20else%20'synthetic'%0A%20%20%20%20_data_info%20%3D%20mo.callout(mo.md(_FEAT_DESC%5B_ds_key%5D)%2C%20kind%3D%22info%22)%0A%0A%20%20%20%20_warning%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22%E2%9A%A0%EF%B8%8F%20**Synthetic%20data**%20%E2%80%94%20penguins.csv%20not%20found.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20feat_is_synthetic%20else%20mo.md(%22%22)%0A%20%20%20%20)%0A%0A%20%20%20%20_insight%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Key%20Insight%3A**%20Mahalanobis%20distance%20accounts%20for%20feature%20correlations%20by%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22whitening%20the%20space%20%E2%80%94%20clusters%20that%20appear%20elongated%20under%20Euclidean%20distance%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22become%20compact%20spheres.%20Minkowski%20p%20controls%20the%20'shape'%20of%20closeness%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22p%3D1%20is%20robust%20to%20outliers%2C%20p%3D2%20is%20the%20familiar%20Euclidean%2C%20p%3D%E2%88%9E%20focuses%20on%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22single%20largest%20feature%20difference.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_formula%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%23%23%20%F0%9F%93%90%20Distance%20Formulas%0A%0A%20%20%20%20**Minkowski%20%24L%5Ep%24%20distance%3A**%0A%0A%20%20%20%20%24%24d_p(u%2C%20v)%20%3D%20%5Cleft(%5Csum_%7Bj%3D1%7D%5E%7BD%7D%20%7Cu_j%20-%20v_j%7C%5Ep%5Cright)%5E%7B1%2Fp%7D%24%24%0A%0A%20%20%20%20Special%20cases%3A%20%24p%3D1%24%20Manhattan%20%C2%B7%20%24p%3D2%24%20Euclidean%20%C2%B7%20%24p%5Cto%5Cinfty%24%20Chebyshev%20%24%5Cbigl(%5Cmax_j%20%7Cu_j%20-%20v_j%7C%5Cbigr)%24.%0A%0A%20%20%20%20**Mahalanobis%20distance%3A**%0A%0A%20%20%20%20%24%24d_M(u%2C%20v)%20%3D%20%5Csqrt%7B(u%20-%20v)%5E%5Ctop%20%5CSigma%5E%7B-1%7D%20(u%20-%20v)%7D%24%24%0A%0A%20%20%20%20where%20%24%5CSigma%24%20is%20the%20sample%20covariance%20matrix%20%E2%80%94%20equivalent%20to%20Euclidean%20after%20whitening%20%24%5Ctilde%7Bx%7D%20%3D%20%5CSigma%5E%7B-1%2F2%7Dx%24.%0A%20%20%20%20PVE%20and%20Silhouette%20are%20computed%20using%20the%20selected%20Minkowski%20distance.%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20_top_row%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22display%3Agrid%3Bgrid-template-columns%3A65%25%2034%25%3Bgap%3A1rem%3Balign-items%3Astart%22%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5Bmo.md(%22**Unit%20Ball%20Gallery**%20%E2%80%94%20highlighted%20ball%20matches%20current%20p%22)%2C%20feat_unit_ball_img%5D%2C%20gap%3D%220.3rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5B_formula%2C%20_data_info%5D%2C%20gap%3D%220.5rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20'%3C%2Fdiv%3E'%0A%20%20%20%20)%0A%20%20%20%20feat_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22%23%23%20%F0%9F%93%8F%20Feature%20Space%20%E2%80%94%20Minkowski%20%26%20Mahalanobis%20%26nbsp%3B%C2%B7%26nbsp%3B%20*%7Bfeat_label%7D*%22)%2C%0A%20%20%20%20%20%20%20%20_warning%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bfeat_dataset%2C%20feat_algorithm%2C%20feat_k%2C%20feat_p%5D%2C%20gap%3D%221.5rem%22)%2C%0A%20%20%20%20%20%20%20%20_top_row%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Euclidean%20(p%3D2)%20vs%20Minkowski%20(current%20p)%20%E2%80%94%20same%20data%2C%20same%20K**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20feat_mink_img%5D%2C%20gap%3D%220.3rem%22)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Mahalanobis%20Unwarping%20%E2%80%94%20original%20space%20vs%20whitened%20space**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20feat_mahal_img%5D%2C%20gap%3D%220.3rem%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22display%3Agrid%3Bgrid-template-columns%3A62%25%2037%25%3Bgap%3A1rem%3Balign-items%3Astart%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5Bmo.md(%22**Validation%20Sweep%20K%20%3D%202%E2%80%9310**%22)%2C%20feat_val_img%5D%2C%20gap%3D%220.3rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7B_insight.text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D%2C%20gap%3D%220.6rem%22)%0A%20%20%20%20return%20(feat_content%2C)%0A%0A%0A%40app.cell%0Adef%20_mixed_data(THIS_DIR%2C%20du%2C%20np%2C%20os)%3A%0A%20%20%20%20_DATA_DIR%20%3D%20os.path.join(THIS_DIR%2C%20'data')%0A%20%20%20%20_raw%2C%20_label%2C%20_is_synth%20%3D%20du.load_mixed_data(_DATA_DIR)%0A%0A%20%20%20%20_MAX_N%20%3D%20200%0A%20%20%20%20_n%20%3D%20len(_raw%5B'lats'%5D)%0A%20%20%20%20if%20_n%20%3E%20_MAX_N%3A%0A%20%20%20%20%20%20%20%20_rng%20%3D%20np.random.default_rng(46)%0A%20%20%20%20%20%20%20%20_idx%20%3D%20np.sort(_rng.choice(_n%2C%20_MAX_N%2C%20replace%3DFalse))%0A%20%20%20%20%20%20%20%20mixed_data%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'lats'%3A%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'lats'%5D%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'lons'%3A%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'lons'%5D%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'magnitude'%3A%20%20%20%20%20%20%20_raw%5B'magnitude'%5D%5B_idx%5D%20if%20_raw%5B'magnitude'%5D%20is%20not%20None%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'magnitude_class'%3A%20_raw%5B'magnitude_class'%5D%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'depth_class'%3A%20%20%20%20%20_raw%5B'depth_class'%5D%5B_idx%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'true_labels'%3A%20%20%20%20%20None%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20mixed_label%20%3D%20_label%20%2B%20f'%20%20(N%20%3D%20%7B_MAX_N%7D%20sub-sampled)'%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20mixed_data%20%20%3D%20_raw%0A%20%20%20%20%20%20%20%20mixed_label%20%3D%20_label%0A%0A%20%20%20%20mixed_is_synthetic%20%3D%20_is_synth%0A%20%20%20%20return%20mixed_data%2C%20mixed_is_synthetic%2C%20mixed_label%0A%0A%0A%40app.cell%0Adef%20_mixed_state(mo)%3A%0A%20%20%20%20outlier_state%2C%20set_outlier_state%20%3D%20mo.state(False)%0A%20%20%20%20return%20outlier_state%2C%20set_outlier_state%0A%0A%0A%40app.cell%0Adef%20_mixed_controls(mo%2C%20set_outlier_state)%3A%0A%20%20%20%20mixed_k%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D10%2C%20value%3D3%2C%20label%3D%22Number%20of%20clusters%20%20K%22)%0A%20%20%20%20mixed_geo_weight%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%20stop%3D5.0%2C%20value%3D1.0%2C%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Geographic%20weight%20%20(w_geo)%22%2C%0A%20%20%20%20)%0A%20%20%20%20mixed_add_outliers%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22%F0%9F%92%A5%20Add%2015%20Outliers%22%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20_%3A%20set_outlier_state(True)%2C%0A%20%20%20%20)%0A%20%20%20%20mixed_reset_outliers%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22%F0%9F%94%84%20Reset%22%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20_%3A%20set_outlier_state(False)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20mixed_add_outliers%2C%20mixed_geo_weight%2C%20mixed_k%2C%20mixed_reset_outliers%0A%0A%0A%40app.cell%0Adef%20_mixed_gower_matrices(du%2C%20mixed_data%2C%20mixed_geo_weight)%3A%0A%20%20%20%20_w%20%3D%20mixed_geo_weight.value%0A%20%20%20%20mixed_D_geo%20%20%3D%20du.gower_distance_matrix_v2(mixed_data%2C%20w_geo%3D1.0%2C%20w_cat%3D0.0)%0A%20%20%20%20mixed_D_cat%20%20%3D%20du.gower_distance_matrix_v2(mixed_data%2C%20w_geo%3D0.0%2C%20w_cat%3D1.0)%0A%20%20%20%20mixed_D_blend%20%3D%20du.gower_distance_matrix_v2(mixed_data%2C%20w_geo%3D_w%2C%20%20w_cat%3D1.0)%0A%20%20%20%20return%20mixed_D_blend%2C%20mixed_D_cat%2C%20mixed_D_geo%0A%0A%0A%40app.cell%0Adef%20_mixed_sweep(du%2C%20mixed_D_blend%2C%20mo)%3A%0A%20%20%20%20def%20_run(k%2C%20D)%3A%0A%20%20%20%20%20%20%20%20return%20du.kmedoids_pam(D%2C%20k%3Dk)%0A%0A%20%20%20%20with%20mo.status.spinner(%22Computing%20K-Medoids%20sweep%20(Gower)%20%20K%20%3D%202%E2%80%9310%20%E2%80%A6%22)%3A%0A%20%20%20%20%20%20%20%20mixed_sweep%20%3D%20du.sweep_k(_run%2C%20mixed_D_blend%2C%20range(2%2C%2011))%0A%20%20%20%20return%20(mixed_sweep%2C)%0A%0A%0A%40app.cell%0Adef%20_mixed_ablation(%0A%20%20%20%20du%2C%0A%20%20%20%20mixed_D_blend%2C%0A%20%20%20%20mixed_D_cat%2C%0A%20%20%20%20mixed_D_geo%2C%0A%20%20%20%20mixed_data%2C%0A%20%20%20%20mixed_geo_weight%2C%0A%20%20%20%20mixed_k%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20plt%2C%0A)%3A%0A%20%20%20%20_k%20%20%20%3D%20mixed_k.value%0A%20%20%20%20_w%20%20%20%3D%20mixed_geo_weight.value%0A%20%20%20%20_lats%20%3D%20mixed_data%5B'lats'%5D%0A%20%20%20%20_lons%20%3D%20mixed_data%5B'lons'%5D%0A%20%20%20%20_dep_cl%20%3D%20mixed_data%5B'depth_class'%5D%0A%0A%20%20%20%20_cat_markers%20%3D%20%7B'shallow'%3A%20'o'%2C%20'intermediate'%3A%20'%5E'%2C%20'deep'%3A%20's'%7D%0A%0A%20%20%20%20_lg%2C%20_gmed%2C%20_%20%3D%20du.kmedoids_pam(mixed_D_geo%2C%20%20%20k%3D_k)%0A%20%20%20%20_lc%2C%20_cmed%2C%20_%20%3D%20du.kmedoids_pam(mixed_D_cat%2C%20%20%20k%3D_k)%0A%20%20%20%20_lb%2C%20_bmed%2C%20_%20%3D%20du.kmedoids_pam(mixed_D_blend%2C%20%20k%3D_k)%0A%0A%20%20%20%20_fig%2C%20(_a1%2C%20_a2%2C%20_a3)%20%3D%20plt.subplots(1%2C%203%2C%20figsize%3D(14%2C%204))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%0A%20%20%20%20du.plot_geo_map(_a1%2C%20_lats%2C%20_lons%2C%20_lg%2C%20_gmed%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Geography%20only%20%20(w_geo%3D1%2C%20w_cat%3D0)%20%20K%20%3D%20%7B_k%7D'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cat_values%3D_dep_cl%2C%20cat_markers%3D_cat_markers)%0A%20%20%20%20du.plot_geo_map(_a2%2C%20_lats%2C%20_lons%2C%20_lc%2C%20_cmed%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Categories%20only%20%20(w_geo%3D0%2C%20w_cat%3D1)%20%20K%20%3D%20%7B_k%7D'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cat_values%3D_dep_cl%2C%20cat_markers%3D_cat_markers)%0A%20%20%20%20du.plot_geo_map(_a3%2C%20_lats%2C%20_lons%2C%20_lb%2C%20_bmed%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Blended%20Gower%20%20(w_geo%3D%7B_w%3A.1f%7D%2C%20w_cat%3D1)%20%20K%20%3D%20%7B_k%7D'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cat_values%3D_dep_cl%2C%20cat_markers%3D_cat_markers)%0A%0A%20%20%20%20from%20matplotlib.lines%20import%20Line2D%20as%20_L2D%0A%20%20%20%20_leg%20%3D%20%5B_L2D(%5B0%5D%2C%5B0%5D%2C%20marker%3Dm%2C%20color%3D'k'%2C%20markerfacecolor%3D'%235C6BC0'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20markersize%3D9%2C%20linestyle%3D'None'%2C%20label%3Dc)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20c%2C%20m%20in%20_cat_markers.items()%5D%0A%20%20%20%20_a3.legend(handles%3D_leg%2C%20fontsize%3D10%2C%20title%3D'Depth%20class'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title_fontsize%3D10%2C%20loc%3D'lower%20right')%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mixed_ablation_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(mixed_ablation_img%2C)%0A%0A%0A%40app.cell%0Adef%20_mixed_outlier_robustness(%0A%20%20%20%20du%2C%0A%20%20%20%20mixed_data%2C%0A%20%20%20%20mixed_k%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20outlier_state%2C%0A%20%20%20%20plt%2C%0A)%3A%0A%20%20%20%20_k%20%20%20%20%3D%20mixed_k.value%0A%20%20%20%20_lats%20%3D%20mixed_data%5B'lats'%5D.copy()%0A%20%20%20%20_lons%20%3D%20mixed_data%5B'lons'%5D.copy()%0A%20%20%20%20_n%20%20%20%20%3D%20len(_lats)%0A%20%20%20%20_with_outliers%20%3D%20outlier_state()%0A%0A%20%20%20%20_outlier_mask%20%3D%20np.zeros(_n%20%2B%2015%20if%20_with_outliers%20else%20_n%2C%20dtype%3Dbool)%0A%0A%20%20%20%20if%20_with_outliers%3A%0A%20%20%20%20%20%20%20%20_rng%20%3D%20np.random.default_rng(2025)%0A%20%20%20%20%20%20%20%20_o_lats%20%3D%20_rng.uniform(-np.pi%20%2F%202%2C%20np.pi%20%2F%202%2C%2015)%0A%20%20%20%20%20%20%20%20_o_lons%20%3D%20_rng.uniform(-np.pi%2C%20np.pi%2C%2015)%0A%20%20%20%20%20%20%20%20_lats_aug%20%3D%20np.concatenate(%5B_lats%2C%20_o_lats%5D)%0A%20%20%20%20%20%20%20%20_lons_aug%20%3D%20np.concatenate(%5B_lons%2C%20_o_lons%5D)%0A%20%20%20%20%20%20%20%20_outlier_mask%5B-15%3A%5D%20%3D%20True%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_lats_aug%20%3D%20_lats%0A%20%20%20%20%20%20%20%20_lons_aug%20%3D%20_lons%0A%0A%20%20%20%20_n_aug%20%3D%20len(_lats_aug)%0A%0A%20%20%20%20%23%20K-Means%20on%20sphere%20(Haversine)%0A%20%20%20%20_km_labels%2C%20_km_centers%2C%20_%20%3D%20du.spherical_kmeans(_lats_aug%2C%20_lons_aug%2C%20k%3D_k)%0A%20%20%20%20_km_clats%2C%20_km_clons%20%3D%20_km_centers%5B%3A%2C%200%5D%2C%20_km_centers%5B%3A%2C%201%5D%0A%0A%20%20%20%20%23%20K-Medoids%20on%20sphere%20(Haversine)%0A%20%20%20%20_hD%20%3D%20du.compute_haversine_matrix(_lats_aug%2C%20_lons_aug)%0A%20%20%20%20_med_labels%2C%20_med_idx%2C%20_%20%3D%20du.kmedoids_pam(_hD%2C%20k%3D_k)%0A%20%20%20%20_med_clats%20%3D%20_lats_aug%5B_med_idx%5D%0A%20%20%20%20_med_clons%20%3D%20_lons_aug%5B_med_idx%5D%0A%0A%20%20%20%20%23%20Centroid%20shift%20(vs%20clean%20run)%0A%20%20%20%20_shift_txt%20%3D%20%22%22%0A%20%20%20%20if%20_with_outliers%3A%0A%20%20%20%20%20%20%20%20_km_clean%2C%20_km_cc%2C%20_%20%3D%20du.spherical_kmeans(_lats%2C%20_lons%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_hD_clean%20%3D%20du.compute_haversine_matrix(_lats%2C%20_lons)%0A%20%20%20%20%20%20%20%20_med_clean%2C%20_mc_idx%2C%20_%20%3D%20du.kmedoids_pam(_hD_clean%2C%20k%3D_k)%0A%20%20%20%20%20%20%20%20_mc_clats%20%3D%20_lats%5B_mc_idx%5D%3B%20_mc_clons%20%3D%20_lons%5B_mc_idx%5D%0A%0A%20%20%20%20%20%20%20%20def%20_mean_shift(c_clean%2C%20c_aug)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cl%2C%20_cr%20%3D%20c_clean%5B%3A%2C%200%5D%2C%20c_clean%5B%3A%2C%201%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_al%2C%20_ar%20%3D%20c_aug%5B%3A%2C%200%5D%2C%20c_aug%5B%3A%2C%201%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_shifts%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_j%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_d%20%3D%20du.haversine(_cl%5B_j%5D%2C%20_cr%5B_j%5D%2C%20_al%2C%20_ar)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_shifts.append(float(np.min(_d)))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20float(np.mean(_shifts))%0A%0A%20%20%20%20%20%20%20%20_km_sh%20%20%3D%20np.degrees(_mean_shift(_km_cc%2C%20_km_centers))%0A%20%20%20%20%20%20%20%20_med_sh%20%3D%20np.degrees(_mean_shift(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.stack(%5B_mc_clats%2C%20_mc_clons%5D%2C%20axis%3D1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20np.stack(%5B_med_clats%2C%20_med_clons%5D%2C%20axis%3D1)%2C%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_shift_txt%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22K-Means%20centroids%20shifted%20**%7B_km_sh%3A.1f%7D%C2%B0**%20on%20average%20%E2%80%94%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22K-Medoids%20shifted%20**%7B_med_sh%3A.1f%7D%C2%B0**%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11%2C%203.8))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%20%20%20%20_om%20%3D%20_outlier_mask%20if%20_with_outliers%20else%20None%0A%20%20%20%20du.plot_sphere_map(_ax1%2C%20_lats_aug%2C%20_lons_aug%2C%20_km_labels%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_km_clats%2C%20_km_clons%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'K-Means%20(Haversine%2C%20K%20%3D%20%7B_k%7D)'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metric%3D'haversine')%0A%20%20%20%20if%20_om%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20_ax1.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.rad2deg(_lons_aug%5B_om%5D)%2C%20np.rad2deg(_lats_aug%5B_om%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20c%3D'%23e74c3c'%2C%20marker%3D'x'%2C%20s%3D80%2C%20linewidths%3D2.0%2C%20zorder%3D7%2C%20label%3D'Outliers'%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_ax1.legend(fontsize%3D11)%0A%0A%20%20%20%20du.plot_sphere_map(_ax2%2C%20_lats_aug%2C%20_lons_aug%2C%20_med_labels%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_med_clats%2C%20_med_clons%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'K-Medoids%20(Haversine%2C%20K%20%3D%20%7B_k%7D)'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metric%3D'haversine')%0A%20%20%20%20if%20_om%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20_ax2.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.rad2deg(_lons_aug%5B_om%5D)%2C%20np.rad2deg(_lats_aug%5B_om%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20c%3D'%23e74c3c'%2C%20marker%3D'x'%2C%20s%3D80%2C%20linewidths%3D2.0%2C%20zorder%3D7%2C%20label%3D'Outliers'%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_ax2.legend(fontsize%3D11)%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mixed_outlier_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%0A%20%20%20%20mixed_shift_txt%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(_shift_txt)%2C%20kind%3D%22warn%22%0A%20%20%20%20)%20if%20_shift_txt%20else%20mo.md(%22%22)%0A%20%20%20%20return%20mixed_outlier_img%2C%20mixed_shift_txt%0A%0A%0A%40app.cell%0Adef%20_mixed_val_plots(du%2C%20mixed_k%2C%20mixed_sweep%2C%20mo%2C%20plt)%3A%0A%20%20%20%20_k%20%20%20%20%20%20%3D%20mixed_k.value%0A%20%20%20%20_k_vals%20%3D%20mixed_sweep%5B'k_values'%5D%0A%20%20%20%20_pve%20%20%20%20%3D%20mixed_sweep%5B'pve'%5D%0A%20%20%20%20_sil%20%20%20%20%3D%20mixed_sweep%5B'silhouette_mean'%5D%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11%2C%203.8))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%20%20%20%20du.plot_pve_curve(_ax1%2C%20_k_vals%2C%20_pve%2C%20_k)%0A%20%20%20%20du.plot_silhouette_curve(_ax2%2C%20_k_vals%2C%20_sil%2C%20_k)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mixed_val_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(mixed_val_img%2C)%0A%0A%0A%40app.cell%0Adef%20_mixed_tab(%0A%20%20%20%20mixed_ablation_img%2C%0A%20%20%20%20mixed_add_outliers%2C%0A%20%20%20%20mixed_geo_weight%2C%0A%20%20%20%20mixed_is_synthetic%2C%0A%20%20%20%20mixed_k%2C%0A%20%20%20%20mixed_label%2C%0A%20%20%20%20mixed_outlier_img%2C%0A%20%20%20%20mixed_reset_outliers%2C%0A%20%20%20%20mixed_shift_txt%2C%0A%20%20%20%20mixed_val_img%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20_header%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%23%23%20%F0%9F%94%80%20Mixed%20Type%20%E2%80%94%20Gower%20Distance%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22*Real%20data%20mixes%20coordinates%20with%20categories%20%E2%80%94%20Gower%20unifies%20them.*%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22**Data%3A**%20%7Bmixed_label%7D%22%0A%20%20%20%20)%0A%20%20%20%20_warning%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22%E2%9A%A0%EF%B8%8F%20**Synthetic%20data**%20%E2%80%94%20earthquakes.csv%20not%20found.%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20if%20mixed_is_synthetic%20else%20mo.md(%22%22)%0A%20%20%20%20)%0A%0A%20%20%20%20_insight%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Key%20Insight%3A**%20Gower%20distance%20blends%20geographic%20proximity%20(Haversine)%20with%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22categorical%20similarity%20(magnitude%20class%2C%20depth%20class)%20into%20a%20single%20normalized%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22distance%20matrix.%20Adjusting%20the%20geographic%20weight%20shifts%20cluster%20boundaries%20between%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22'nearby%20but%20different'%20and%20'similar%20but%20far'%20groupings.%20K-Medoids%20uses%20actual%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22data%20points%20as%20cluster%20representatives%2C%20making%20it%20more%20robust%20to%20outliers%20than%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22K-Means%20centroids%20(which%20can%20be%20pulled%20far%20from%20the%20data%20by%20extreme%20values).%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_formula%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%23%23%20%F0%9F%93%90%20Distance%20Formulas%0A%0A%20%20%20%20**Gower%20distance%20(weighted%20average%20over%20feature%20types)%3A**%0A%0A%20%20%20%20%24%24d_%7B%5Ctext%7BGower%7D%7D(i%2C%20j)%20%3D%20%5Cfrac%7Bw_%7B%5Ctext%7Bgeo%7D%7D%20%5Ccdot%20d_%7B%5Ctext%7BHaversine%7D%7D(i%2Cj)%2F%5Cpi%20%5C%3B%2B%5C%3B%20w_%7B%5Ctext%7Bcat%7D%7D%20%5Csum_k%20%5Cmathbf%7B1%7D%5Bc_k(i)%20%5Cneq%20c_k(j)%5D%7D%7Bw_%7B%5Ctext%7Bgeo%7D%7D%20%2B%20n_%7B%5Ctext%7Bcat%7D%7D%20%5Ccdot%20w_%7B%5Ctext%7Bcat%7D%7D%7D%24%24%0A%0A%20%20%20%20Each%20term%20is%20normalised%20to%20%24%5B0%2C1%5D%24%3A%20Haversine%20divided%20by%20%24%5Cpi%24%20(maximum%20great-circle)%2C%20categorical%20as%20a%200%2F1%20mismatch%20indicator.%0A%0A%20%20%20%20**K-Medoids%20(PAM)%3A**%20selects%20cluster%20representatives%20from%20actual%20data%20points%2C%0A%20%20%20%20minimising%20%24%5Csum_i%20d(x_i%2C%5C%2C%20m_%7B%5Cell_i%7D)%24%20over%20all%20medoid%20assignments%20%24m%20%5Cin%20%5Cmathcal%7BX%7D%24.%0A%20%20%20%20Unlike%20K-Means%2C%20no%20centroid%20computation%20is%20required%20%E2%80%94%20the%20algorithm%20only%20needs%20the%20distance%20matrix.%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20_top_row%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22display%3Agrid%3Bgrid-template-columns%3A65%25%2034%25%3Bgap%3A1rem%3Balign-items%3Astart%22%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5Bmo.hstack(%5Bmixed_k%2C%20mixed_geo_weight%5D%2C%20gap%3D%221rem%22)%2C%20mo.md(%22%3E%20**K-Medoids**%20only%20%E2%80%94%20Gower%20produces%20a%20distance%20matrix%2C%20so%20K-Means%20(which%20needs%20centroids)%20does%20not%20apply.%22)%2C%20mixed_ablation_img%5D%2C%20gap%3D%220.4rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%3E%7Bmo.vstack(%5B_formula%2C%20_insight%5D%2C%20gap%3D%220.5rem%22).text%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20'%3C%2Fdiv%3E'%0A%20%20%20%20)%0A%20%20%20%20mixed_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22%23%23%20%F0%9F%94%80%20Mixed%20Type%20%E2%80%94%20Gower%20Distance%20%26nbsp%3B%C2%B7%26nbsp%3B%20*%7Bmixed_label%7D*%22)%2C%0A%20%20%20%20%20%20%20%20_warning%2C%0A%20%20%20%20%20%20%20%20_top_row%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bmixed_add_outliers%2C%20mixed_reset_outliers%5D%2C%20gap%3D%220.5rem%22)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Outlier%20Robustness%3A%20K-Means%20vs%20K-Medoids**%22)%2C%20mixed_outlier_img%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Validation%20%E2%80%94%20Gower%2C%20K%20%3D%202%E2%80%9310**%22)%2C%20mixed_val_img%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D%221rem%22)%2C%0A%20%20%20%20%20%20%20%20mixed_shift_txt%2C%0A%20%20%20%20%5D%2C%20gap%3D%220.6rem%22)%0A%20%20%20%20return%20(mixed_content%2C)%0A%0A%0A%40app.cell%0Adef%20_lloyd_controls(mo)%3A%0A%20%20%20%20lloyd_surface%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'Euclidean%20(%E2%84%9D%C2%B2)'%3A%20%20%20%20%20%20%20%20%20%20'euclidean'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Spherical%20(Haversine)'%3A%20%20%20'spherical'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Torus%20(Wraparound%20L%C2%B2)'%3A%20%20%20'torus'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Hyperbolic%20(Poincar%C3%A9)'%3A%20%20%20'hyperbolic'%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D'Euclidean%20(%E2%84%9D%C2%B2)'%2C%0A%20%20%20%20%20%20%20%20label%3D%22Surface%22%2C%0A%20%20%20%20)%0A%20%20%20%20lloyd_k%20%20%20%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D6%2C%20value%3D3%2C%20label%3D%22K%20%20(clusters)%22%2C%20%20show_value%3DTrue)%0A%20%20%20%20lloyd_seed%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D9%2C%20value%3D0%2C%20label%3D%22Seed%22%2C%20%20%20%20%20%20%20%20%20%20%20%20show_value%3DTrue)%0A%20%20%20%20return%20lloyd_k%2C%20lloyd_seed%2C%20lloyd_surface%0A%0A%0A%40app.cell%0Adef%20_lloyd_animation(du%2C%20lloyd_k%2C%20lloyd_seed%2C%20lloyd_surface%2C%20mo%2C%20np)%3A%0A%20%20%20%20import%20plotly.graph_objects%20as%20_go%0A%20%20%20%20from%20plotly.subplots%20import%20make_subplots%20as%20_msp%0A%0A%20%20%20%20_geom%20%3D%20lloyd_surface.value%0A%20%20%20%20_k%20%20%20%20%3D%20lloyd_k.value%0A%20%20%20%20_seed%20%3D%20lloyd_seed.value%0A%20%20%20%20_N%20%20%20%20%3D%2084%20%20%20%20%20%20%20%20%20%20%20%23%20total%20points%20(divisible%20by%20k%20up%20to%206)%0A%20%20%20%20_rng%20%20%3D%20np.random.default_rng(_seed%20*%2037%20%2B%2017)%0A%20%20%20%20_per%20%20%3D%20_N%20%2F%2F%20_k%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Generate%20geometry-specific%20synthetic%20data%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_pts_list%20%3D%20%5B%5D%0A%0A%20%20%20%20if%20_geom%20%3D%3D%20'euclidean'%3A%0A%20%20%20%20%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cx%2C%20_cy%20%3D%20_rng.uniform(-2.0%2C%202.0%2C%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pts_list.append(np.column_stack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_cx%20%2B%20_rng.normal(0%2C%200.42%2C%20_per)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_cy%20%2B%20_rng.normal(0%2C%200.42%2C%20_per)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D))%0A%0A%20%20%20%20elif%20_geom%20%3D%3D%20'spherical'%3A%0A%20%20%20%20%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_clat%20%3D%20_rng.uniform(-1.0%2C%201.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20_clon%20%3D%20_rng.uniform(-2.6%2C%202.6)%0A%20%20%20%20%20%20%20%20%20%20%20%20_lats%20%3D%20np.clip(_clat%20%2B%20_rng.normal(0%2C%200.18%2C%20_per)%2C%20-1.52%2C%201.52)%0A%20%20%20%20%20%20%20%20%20%20%20%20_lons%20%3D%20np.clip(_clon%20%2B%20_rng.normal(0%2C%200.18%2C%20_per)%2C%20-3.08%2C%203.08)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pts_list.append(np.column_stack(%5B_lats%2C%20_lons%5D))%0A%0A%20%20%20%20elif%20_geom%20%3D%3D%20'torus'%3A%0A%20%20%20%20%20%20%20%20_TP%20%3D%202%20*%20np.pi%0A%20%20%20%20%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cphi%20%3D%20_rng.uniform(0%2C%20_TP)%0A%20%20%20%20%20%20%20%20%20%20%20%20_cpsi%20%3D%20_rng.uniform(0%2C%20_TP)%0A%20%20%20%20%20%20%20%20%20%20%20%20_phi%20%20%3D%20(_cphi%20%2B%20_rng.normal(0%2C%200.35%2C%20_per))%20%25%20_TP%0A%20%20%20%20%20%20%20%20%20%20%20%20_psi%20%20%3D%20(_cpsi%20%2B%20_rng.normal(0%2C%200.35%2C%20_per))%20%25%20_TP%0A%20%20%20%20%20%20%20%20%20%20%20%20_pts_list.append(np.column_stack(%5B_phi%2C%20_psi%5D))%0A%0A%20%20%20%20elif%20_geom%20%3D%3D%20'hyperbolic'%3A%0A%20%20%20%20%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_th%20%3D%20_rng.uniform(0%2C%202%20*%20np.pi)%0A%20%20%20%20%20%20%20%20%20%20%20%20_r%20%20%3D%20_rng.uniform(0.15%2C%200.55)%0A%20%20%20%20%20%20%20%20%20%20%20%20_cx2%2C%20_cy2%20%3D%20_r%20*%20np.cos(_th)%2C%20_r%20*%20np.sin(_th)%0A%20%20%20%20%20%20%20%20%20%20%20%20_px%20%3D%20_cx2%20%2B%20_rng.normal(0%2C%200.10%2C%20_per)%0A%20%20%20%20%20%20%20%20%20%20%20%20_py%20%3D%20_cy2%20%2B%20_rng.normal(0%2C%200.10%2C%20_per)%0A%20%20%20%20%20%20%20%20%20%20%20%20_nrm%20%3D%20np.sqrt(_px**2%20%2B%20_py**2)%0A%20%20%20%20%20%20%20%20%20%20%20%20_far%20%3D%20_nrm%20%3E%3D%200.92%0A%20%20%20%20%20%20%20%20%20%20%20%20_px%5B_far%5D%20*%3D%200.88%20%2F%20_nrm%5B_far%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_py%5B_far%5D%20*%3D%200.88%20%2F%20_nrm%5B_far%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_pts_list.append(np.column_stack(%5B_px%2C%20_py%5D))%0A%0A%20%20%20%20_pts%20%3D%20np.vstack(_pts_list)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Run%20Lloyd's%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_steps%20%3D%20du.lloyd_steps(_pts%2C%20_k%2C%20geometry%3D_geom%2C%20seed%3D_seed%2C%20max_iter%3D14)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Color%20helpers%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_COLS%20%3D%20du.CLUSTER_COLORS%0A%20%20%20%20_GRAY%20%3D%20'%23888888'%0A%0A%20%20%20%20def%20_pt_colors(labels)%3A%0A%20%20%20%20%20%20%20%20if%20labels%5B0%5D%20%3D%3D%20-1%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%5B_GRAY%5D%20*%20len(labels)%0A%20%20%20%20%20%20%20%20return%20%5B_COLS%5Bint(l)%20%25%20len(_COLS)%5D%20for%20l%20in%20labels%5D%0A%0A%20%20%20%20def%20_ctr_colors()%3A%0A%20%20%20%20%20%20%20%20return%20%5B_COLS%5Bc%20%25%20len(_COLS)%5D%20for%20c%20in%20range(_k)%5D%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Display-coordinate%20transforms%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20if%20_geom%20%3D%3D%20'spherical'%3A%0A%20%20%20%20%20%20%20%20_px_d%20%3D%20np.rad2deg(_pts%5B%3A%2C%201%5D)%20%20%20%23%20lon%20%E2%86%92%20x%0A%20%20%20%20%20%20%20%20_py_d%20%3D%20np.rad2deg(_pts%5B%3A%2C%200%5D)%20%20%20%23%20lat%20%E2%86%92%20y%0A%20%20%20%20%20%20%20%20def%20_cx_d(c)%3A%20return%20np.rad2deg(c%5B%3A%2C%201%5D)%0A%20%20%20%20%20%20%20%20def%20_cy_d(c)%3A%20return%20np.rad2deg(c%5B%3A%2C%200%5D)%0A%20%20%20%20%20%20%20%20_xlab%2C%20_ylab%20%3D%20'Longitude%20(%C2%B0)'%2C%20'Latitude%20(%C2%B0)'%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_px_d%20%3D%20_pts%5B%3A%2C%200%5D%0A%20%20%20%20%20%20%20%20_py_d%20%3D%20_pts%5B%3A%2C%201%5D%0A%20%20%20%20%20%20%20%20def%20_cx_d(c)%3A%20return%20c%5B%3A%2C%200%5D%0A%20%20%20%20%20%20%20%20def%20_cy_d(c)%3A%20return%20c%5B%3A%2C%201%5D%0A%20%20%20%20%20%20%20%20_xlab%20%3D%20%7B'euclidean'%3A%20'Feature%201'%2C%20'torus'%3A%20'%CF%86%20%20(rad)'%2C%20'hyperbolic'%3A%20'x'%7D%5B_geom%5D%0A%20%20%20%20%20%20%20%20_ylab%20%3D%20%7B'euclidean'%3A%20'Feature%202'%2C%20'torus'%3A%20'%CF%88%20%20(rad)'%2C%20'hyperbolic'%3A%20'y'%7D%5B_geom%5D%0A%0A%20%20%20%20_title_map%20%3D%20%7B%0A%20%20%20%20%20%20%20%20'euclidean'%3A%20%20%22Euclidean%20%20%E2%84%9D%C2%B2%22%2C%0A%20%20%20%20%20%20%20%20'spherical'%3A%20%20%22Sphere%20%20(Haversine)%22%2C%0A%20%20%20%20%20%20%20%20'torus'%3A%20%20%20%20%20%20%22Flat%20Torus%20%20(Wraparound)%22%2C%0A%20%20%20%20%20%20%20%20'hyperbolic'%3A%20%22Poincar%C3%A9%20Disk%20%20(Hyperbolic)%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Precompute%20WCSS%20range%20for%20stable%20axes%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_all_wcss%20%20%3D%20%5Bs%5B'wcss'%5D%20%20%20%20%20%20for%20s%20in%20_steps%20if%20s%5B'phase'%5D%20%3D%3D%20'assign'%5D%0A%20%20%20%20_all_iters%20%3D%20%5Bs%5B'iteration'%5D%20for%20s%20in%20_steps%20if%20s%5B'phase'%5D%20%3D%3D%20'assign'%5D%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Build%20Plotly%20figure%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_fig%20%3D%20_msp(%0A%20%20%20%20%20%20%20%20rows%3D1%2C%20cols%3D2%2C%0A%20%20%20%20%20%20%20%20column_widths%3D%5B0.60%2C%200.40%5D%2C%0A%20%20%20%20%20%20%20%20subplot_titles%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Lloyd's%20K-Means%20%20%C2%B7%20%20%7B_title_map%5B_geom%5D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22WCSS%20Convergence%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20horizontal_spacing%3D0.10%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_s0%20%3D%20_steps%5B0%5D%0A%0A%20%20%20%20%23%20Trace%200%20%E2%80%94%20data%20points%0A%20%20%20%20_fig.add_trace(_go.Scatter(%0A%20%20%20%20%20%20%20%20x%3D_px_d%2C%20y%3D_py_d%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D_pt_colors(_s0%5B'labels'%5D)%2C%20size%3D8%2C%20opacity%3D0.85%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D0))%2C%0A%20%20%20%20%20%20%20%20name%3D'Points'%2C%20showlegend%3DFalse%2C%0A%20%20%20%20)%2C%20row%3D1%2C%20col%3D1)%0A%0A%20%20%20%20%23%20Trace%201%20%E2%80%94%20centroids%0A%20%20%20%20_fig.add_trace(_go.Scatter(%0A%20%20%20%20%20%20%20%20x%3D_cx_d(_s0%5B'centers'%5D)%2C%20y%3D_cy_d(_s0%5B'centers'%5D)%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(symbol%3D'star'%2C%20size%3D22%2C%20color%3D_ctr_colors()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'white'%2C%20width%3D1.5))%2C%0A%20%20%20%20%20%20%20%20name%3D'Centroids'%2C%20showlegend%3DFalse%2C%0A%20%20%20%20)%2C%20row%3D1%2C%20col%3D1)%0A%0A%20%20%20%20%23%20Trace%202%20%E2%80%94%20WCSS%20progress%20line%20(starts%20empty)%0A%20%20%20%20_fig.add_trace(_go.Scatter(%0A%20%20%20%20%20%20%20%20x%3D%5B%5D%2C%20y%3D%5B%5D%2C%0A%20%20%20%20%20%20%20%20mode%3D'lines%2Bmarkers'%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D'%23e74c3c'%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(size%3D7%2C%20color%3D'%23e74c3c')%2C%0A%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20)%2C%20row%3D1%2C%20col%3D2)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Capture%20subplot%20title%20annotations%20(to%20re-use%20in%20each%20frame)%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_base_anns%20%3D%20list(_fig.layout.annotations)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Build%20animation%20frames%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_frames%20%20%20%20%20%3D%20%5B%5D%0A%20%20%20%20_sldr_steps%20%3D%20%5B%5D%0A%20%20%20%20_wcss_x%2C%20_wcss_y%20%3D%20%5B%5D%2C%20%5B%5D%0A%0A%20%20%20%20_PHASE_LABEL%20%3D%20%7B%0A%20%20%20%20%20%20%20%20'init'%3A%20%20%20'%F0%9F%8E%B2%20Initialisation%20%E2%80%94%20K%20centroids%20seeded%20at%20random%20points'%2C%0A%20%20%20%20%20%20%20%20'assign'%3A%20'%F0%9F%93%8D%20Assignment%20%E2%80%94%20each%20point%20%E2%86%92%20nearest%20centroid'%2C%0A%20%20%20%20%20%20%20%20'update'%3A%20'%F0%9F%94%84%20Update%20%E2%80%94%20each%20centroid%20%E2%86%92%20mean%20of%20its%20cluster'%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20for%20_i%2C%20_s%20in%20enumerate(_steps)%3A%0A%20%20%20%20%20%20%20%20_phase%20%3D%20_s%5B'phase'%5D%0A%20%20%20%20%20%20%20%20_it%20%20%20%20%3D%20_s%5B'iteration'%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Accumulate%20WCSS%20only%20on%20assign%20phases%0A%20%20%20%20%20%20%20%20_wx%2C%20_wy%20%3D%20list(_wcss_x)%2C%20list(_wcss_y)%0A%20%20%20%20%20%20%20%20if%20_phase%20%3D%3D%20'assign'%20and%20not%20np.isinf(_s%5B'wcss'%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_wx%20%3D%20_wcss_x%20%2B%20%5Bfloat(_it)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_wy%20%3D%20_wcss_y%20%2B%20%5Bfloat(_s%5B'wcss'%5D)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_wcss_x%2C%20_wcss_y%20%3D%20_wx%2C%20_wy%0A%0A%20%20%20%20%20%20%20%20%23%20Slider%20label%0A%20%20%20%20%20%20%20%20if%20_phase%20%3D%3D%20'init'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_lbl%20%3D%20'Init'%0A%20%20%20%20%20%20%20%20elif%20_phase%20%3D%3D%20'assign'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_lbl%20%3D%20f'A%7B_it%7D'%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_lbl%20%3D%20f'U%7B_it%7D'%0A%0A%20%20%20%20%20%20%20%20%23%20Phase%20description%20annotation%0A%20%20%20%20%20%20%20%20_desc_ann%20%3D%20dict(%0A%20%20%20%20%20%20%20%20%20%20%20%20text%3Df%22%3Ci%3E%7B_PHASE_LABEL%5B_phase%5D%7D%3C%2Fi%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xref%3D'paper'%2C%20yref%3D'paper'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D0.30%2C%20y%3D-0.11%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showarrow%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(size%3D12%2C%20color%3D'%23c8d0e0')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20align%3D'center'%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_frame_anns%20%3D%20_base_anns%20%2B%20%5B_desc_ann%5D%0A%0A%20%20%20%20%20%20%20%20_frame%20%3D%20_go.Frame(%0A%20%20%20%20%20%20%20%20%20%20%20%20data%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20trace%200%20%E2%80%94%20points%20(only%20color%20changes)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D_px_d%2C%20y%3D_py_d%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3D_pt_colors(_s%5B'labels'%5D)%2C%20size%3D8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.85%2C%20line%3Ddict(width%3D0))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20trace%201%20%E2%80%94%20centroids%20(position%20changes)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D_cx_d(_s%5B'centers'%5D)%2C%20y%3D_cy_d(_s%5B'centers'%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(symbol%3D'star'%2C%20size%3D22%2C%20color%3D_ctr_colors()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'white'%2C%20width%3D1.5))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20trace%202%20%E2%80%94%20WCSS%20line%20(accumulates)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D_wx%2C%20y%3D_wy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'lines%2Bmarkers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'%23e74c3c'%2C%20width%3D2.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D7%2C%20color%3D'%23e74c3c')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20traces%3D%5B0%2C%201%2C%202%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Dstr(_i)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20layout%3D_go.Layout(annotations%3D_frame_anns)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_frames.append(_frame)%0A%0A%20%20%20%20%20%20%20%20_sldr_steps.append(dict(%0A%20%20%20%20%20%20%20%20%20%20%20%20method%3D'animate'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20args%3D%5B%5Bstr(_i)%5D%2C%20%7B'mode'%3A%20'immediate'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'frame'%3A%20%7B'duration'%3A%200%2C%20'redraw'%3A%20True%7D%7D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D_lbl%2C%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20_fig.frames%20%3D%20_frames%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Dark%20theme%20%2B%20axis%20styling%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_BG%20%20%20%3D%20'%231a1a2e'%0A%20%20%20%20_PBGC%20%3D%20'%2316213e'%0A%20%20%20%20_GRD%20%20%3D%20'rgba(255%2C255%2C255%2C0.08)'%0A%20%20%20%20_TXT%20%20%3D%20'%23d8dce8'%0A%0A%20%20%20%20_fig.update_layout(%0A%20%20%20%20%20%20%20%20height%3D490%2C%0A%20%20%20%20%20%20%20%20paper_bgcolor%3D_BG%2C%0A%20%20%20%20%20%20%20%20plot_bgcolor%3D_PBGC%2C%0A%20%20%20%20%20%20%20%20font%3Ddict(color%3D_TXT%2C%20size%3D12)%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D50%2C%20r%3D25%2C%20t%3D70%2C%20b%3D105)%2C%0A%0A%20%20%20%20%20%20%20%20xaxis%20%20%3Ddict(title%3D_xlab%2C%20gridcolor%3D_GRD%2C%20zeroline%3DFalse%2C%20title_font_size%3D13)%2C%0A%20%20%20%20%20%20%20%20yaxis%20%20%3Ddict(title%3D_ylab%2C%20gridcolor%3D_GRD%2C%20zeroline%3DFalse%2C%20title_font_size%3D13)%2C%0A%20%20%20%20%20%20%20%20xaxis2%20%3Ddict(title%3D'Iteration'%2C%20gridcolor%3D_GRD%2C%20zeroline%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title_font_size%3D13%2C%20dtick%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B0.5%2C%20(max(_all_iters)%20%2B%201)%20if%20_all_iters%20else%202%5D)%2C%0A%20%20%20%20%20%20%20%20yaxis2%20%3Ddict(title%3D'WCSS'%2C%20gridcolor%3D_GRD%2C%20zeroline%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title_font_size%3D13%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B(min(_all_wcss)%20*%200.88)%20if%20_all_wcss%20else%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(max(_all_wcss)%20*%201.10)%20if%20_all_wcss%20else%201%5D)%2C%0A%0A%20%20%20%20%20%20%20%20updatemenus%3D%5Bdict(%0A%20%20%20%20%20%20%20%20%20%20%20%20type%3D'buttons'%2C%20showactive%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D0.01%2C%20y%3D-0.18%2C%20xanchor%3D'left'%2C%20yanchor%3D'top'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20direction%3D'left'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20buttons%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dict(label%3D'%E2%96%B6%20%20Play'%2C%20method%3D'animate'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20args%3D%5BNone%2C%20%7B'frame'%3A%20%7B'duration'%3A%20850%2C%20'redraw'%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'fromcurrent'%3A%20True%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'transition'%3A%20%7B'duration'%3A%20200%2C%20'easing'%3A%20'linear'%7D%7D%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dict(label%3D'%E2%8F%B8%20%20Pause'%2C%20method%3D'animate'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20args%3D%5B%5BNone%5D%2C%20%7B'frame'%3A%20%7B'duration'%3A%200%7D%2C%20'mode'%3A%20'immediate'%7D%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D_PBGC%2C%20bordercolor%3D_GRD%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(color%3D_TXT%2C%20size%3D13)%2C%0A%20%20%20%20%20%20%20%20)%5D%2C%0A%0A%20%20%20%20%20%20%20%20sliders%3D%5Bdict(%0A%20%20%20%20%20%20%20%20%20%20%20%20active%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20steps%3D_sldr_steps%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D0.12%2C%20len%3D0.82%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D-0.06%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20currentvalue%3Ddict(prefix%3D'Step%3A%20'%2C%20font%3Ddict(size%3D12%2C%20color%3D_TXT)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20visible%3DTrue%2C%20xanchor%3D'center')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pad%3Ddict(t%3D8)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D_PBGC%2C%20bordercolor%3D_GRD%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tickcolor%3D_TXT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(color%3D_TXT%2C%20size%3D9)%2C%0A%20%20%20%20%20%20%20%20)%5D%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Fix%20subplot%20title%20font%20color%0A%20%20%20%20for%20_ann%20in%20_fig.layout.annotations%3A%0A%20%20%20%20%20%20%20%20_ann.font.color%20%3D%20'%23a0a8b8'%0A%20%20%20%20%20%20%20%20_ann.font.size%20%20%3D%2014%0A%0A%20%20%20%20%23%20Hyperbolic%3A%20draw%20Poincar%C3%A9%20disk%20boundary%20%2B%20lock%20aspect%20ratio%0A%20%20%20%20if%20_geom%20%3D%3D%20'hyperbolic'%3A%0A%20%20%20%20%20%20%20%20_th_c%20%3D%20np.linspace(0%2C%202%20*%20np.pi%2C%20300)%0A%20%20%20%20%20%20%20%20_fig.add_trace(_go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dnp.cos(_th_c)%2C%20y%3Dnp.sin(_th_c)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'rgba(255%2C255%2C255%2C0.25)'%2C%20width%3D1.5%2C%20dash%3D'dot')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20)%2C%20row%3D1%2C%20col%3D1)%0A%20%20%20%20%20%20%20%20_fig.update_xaxes(range%3D%5B-1.18%2C%201.18%5D%2C%20row%3D1%2C%20col%3D1)%0A%20%20%20%20%20%20%20%20_fig.update_yaxes(range%3D%5B-1.18%2C%201.18%5D%2C%20row%3D1%2C%20col%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scaleanchor%3D'x'%2C%20scaleratio%3D1)%0A%0A%20%20%20%20%23%20Torus%3A%20mark%20the%202%CF%80%20wrap%20lines%20for%20context%0A%20%20%20%20if%20_geom%20%3D%3D%20'torus'%3A%0A%20%20%20%20%20%20%20%20_fig.update_xaxes(range%3D%5B0%2C%202%20*%20np.pi%5D%2C%20row%3D1%2C%20col%3D1)%0A%20%20%20%20%20%20%20%20_fig.update_yaxes(range%3D%5B0%2C%202%20*%20np.pi%5D%2C%20row%3D1%2C%20col%3D1)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Render%20via%20mo.ui.plotly%20(no%20plotly.js%20bundle%20needed%20%E2%80%94%20marimo%20loads%20it)%20%E2%94%80%E2%94%80%0A%20%20%20%20lloyd_anim%20%3D%20mo.ui.plotly(_fig)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Formula%20callout%20(geometry-specific)%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_MATH%20%3D%20%7B%0A%20%20%20%20%20%20%20%20'euclidean'%3A%20r%22%22%22**Distance**%20%26nbsp%3B%20%24d(x%2Cy)%20%3D%20%5C%7Cx%20-%20y%5C%7C_2%24%0A%0A%20%20%20%20**Assignment**%20%26nbsp%3B%20%24%5Chat%20c(x)%20%3D%20%5Coperatorname%7Bargmin%7D_c%5C%2C%20d(x%2C%20%5Cmu_c)%24%0A%0A%20%20%20%20**Centroid%20update**%20%26nbsp%3B%20%24%5Cmu_c%20%5Cleftarrow%20%5Cdfrac%7B1%7D%7B%7CC_c%7C%7D%5Cdisplaystyle%5Csum_%7Bx%20%5Cin%20C_c%7D%20x%24%0A%0A%20%20%20%20Each%20iteration%20monotonically%20decreases%20WCSS%3B%20convergence%20is%20guaranteed%20but%20the%20limit%20may%20be%20a%20local%20minimum.%22%22%22%2C%0A%0A%20%20%20%20%20%20%20%20'spherical'%3A%20r%22%22%22**Distance**%20%26nbsp%3B%20%24d_%7B%5Ctext%7BHav%7D%7D(p%2Cq)%20%3D%202R%5Carcsin%5C!%5Csqrt%7B%5Csin%5E2%5C!%5Ctfrac%7B%5CDelta%5Cphi%7D%7B2%7D%20%2B%20%5Ccos%5Cphi_p%5Ccos%5Cphi_q%5Csin%5E2%5C!%5Ctfrac%7B%5CDelta%5Clambda%7D%7B2%7D%7D%24%0A%0A%20%20%20%20**Centroid%20update**%20%E2%80%94%20embed%20in%20%24%5Cmathbb%7BR%7D%5E3%24%20via%20%24(%5Ccos%5Cphi%5Ccos%5Clambda%2C%5C%2C%5Ccos%5Cphi%5Csin%5Clambda%2C%5C%2C%5Csin%5Cphi)%24%2C%0A%20%20%20%20take%20the%20arithmetic%20mean%2C%20then%20**project%20back**%20onto%20the%20sphere%20(renormalise%20to%20unit%20length).%0A%0A%20%20%20%20Arithmetic%20mean%20in%20lat%2Flon%20is%20geometrically%20incorrect%20%E2%80%94%20it%20distorts%20near%20the%20poles%20and%20across%20the%20antimeridian.%22%22%22%2C%0A%0A%20%20%20%20%20%20%20%20'torus'%3A%20r%22%22%22**Distance**%20%26nbsp%3B%20%24d(p%2Cq)%20%3D%20%5Csqrt%7B%5Cdisplaystyle%5Csum_i%20%5Cmin(%7C%5Cdelta_i%7C%2C%5C%2C2%5Cpi%20-%20%7C%5Cdelta_i%7C)%5E2%7D%24%20%26nbsp%3B%20(wraparound%20%24L%5E2%24)%0A%0A%20%20%20%20**Centroid%20update**%20%E2%80%94%20circular%20mean%20for%20each%20angle%3A%0A%20%20%20%20%24%5Cbar%5Ctheta%20%3D%20%5Coperatorname%7Batan2%7D%5C!%5CBigl(%5Ctfrac%7B1%7D%7Bn%7D%5Ctextstyle%5Csum%5Csin%5Ctheta_i%2C%5C%3B%5Ctfrac%7B1%7D%7Bn%7D%5Ctextstyle%5Csum%5Ccos%5Ctheta_i%5CBigr)%24%0A%0A%20%20%20%20Plain%20arithmetic%20mean%20fails%20at%20the%20%240%5C%2C%2F%5C%2C2%5Cpi%24%20boundary%20%E2%80%94%20a%20cluster%20straddling%20the%20seam%20collapses%20to%20the%20wrong%20side.%22%22%22%2C%0A%0A%20%20%20%20%20%20%20%20'hyperbolic'%3A%20r%22%22%22**Distance**%20%26nbsp%3B%20%24d(x%2Cy)%20%3D%20%5Coperatorname%7Barccosh%7D%5C!%5C!%5Cleft(1%20%2B%20%5Cdfrac%7B2%5C%2C%5C%7Cx-y%5C%7C%5E2%7D%7B(1-%5C%7Cx%5C%7C%5E2)(1-%5C%7Cy%5C%7C%5E2)%7D%5Cright)%24%0A%0A%20%20%20%20**Centroid%20update**%20%E2%80%94%20*Einstein%20(Lorentz-weighted)%20midpoint*%3A%0A%20%20%20%20%24%5Cbar%20x%20%3D%20%5Cdfrac%7B%5Cdisplaystyle%5Csum_i%20%5Cgamma_i%5C%2C%20x_i%7D%7B%5Cdisplaystyle%5Csum_i%20%5Cgamma_i%7D%24%2C%20%26nbsp%3B%20%24%5Cgamma_i%20%3D%20%5Cbigl(1%20-%20%5C%7Cx_i%5C%7C%5E2%5Cbigr)%5E%7B-1%2F2%7D%24%0A%0A%20%20%20%20Points%20near%20the%20disk%20boundary%20are%20exponentially%20far%20apart%3B%20arithmetic%20means%20drift%20toward%20%24%5Cmathbf%7B0%7D%24%20%E2%80%94%20only%20the%20weighted%20midpoint%20respects%20the%20geometry.%22%22%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20lloyd_math%20%3D%20mo.callout(mo.md(_MATH%5B_geom%5D)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%20lloyd_anim%2C%20lloyd_math%0A%0A%0A%40app.cell%0Adef%20_lloyd_tab(lloyd_anim%2C%20lloyd_k%2C%20lloyd_math%2C%20lloyd_seed%2C%20lloyd_surface%2C%20mo)%3A%0A%20%20%20%20_ctrl_row%20%3D%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5Blloyd_surface%2C%20lloyd_k%2C%20lloyd_seed%5D%2C%20gap%3D%221.5rem%22%0A%20%20%20%20)%0A%0A%20%20%20%20_how_it_works%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%22**Lloyd's%20Algorithm**%20alternates%20two%20steps%20until%20the%20cluster%20assignments%20stop%20changing%3A%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%221.%20**Assign**%20%E2%80%94%20label%20every%20point%20with%20the%20index%20of%20its%20nearest%20centroid%20(using%20the%20geometry's%20distance).%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%222.%20**Update**%20%E2%80%94%20move%20each%20centroid%20to%20the%20*mean*%20of%20its%20assigned%20points%20(respecting%20the%20geometry).%20%20%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%22Use%20the%20slider%20or%20%E2%96%B6%20Play%20to%20step%20through%20each%20iteration.%20%22%0A%20%20%20%20%20%20%20%20%22Watch%20how%20WCSS%20(within-cluster%20sum%20of%20squares)%20drops%20%E2%80%94%20the%20steepest%20fall%20happens%20in%20the%20first%20few%20iterations.%22%0A%20%20%20%20)%0A%0A%20%20%20%20lloyd_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20%F0%9F%94%84%20Lloyd's%20Algorithm%20%E2%80%94%20Step-by-Step%20Animation%22)%2C%0A%20%20%20%20%20%20%20%20_how_it_works%2C%0A%20%20%20%20%20%20%20%20_ctrl_row%2C%0A%20%20%20%20%20%20%20%20lloyd_anim%2C%0A%20%20%20%20%20%20%20%20lloyd_math%2C%0A%20%20%20%20%5D%2C%20gap%3D%220.6rem%22)%0A%20%20%20%20return%20(lloyd_content%2C)%0A%0A%0A%40app.cell%0Adef%20_algo_controls(mo)%3A%0A%20%20%20%20algo_k%20%20%20%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D6%2C%20value%3D3%2C%20label%3D%22K%22%2C%20show_value%3DTrue)%0A%20%20%20%20algo_seed%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D9%2C%20value%3D0%2C%20label%3D%22Seed%22%2C%20show_value%3DTrue)%0A%20%20%20%20return%20algo_k%2C%20algo_seed%0A%0A%0A%40app.cell%0Adef%20_algo_comparison(algo_k%2C%20algo_seed%2C%20du%2C%20mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20_k%20%20%20%20%3D%20algo_k.value%0A%20%20%20%20_seed%20%3D%20algo_seed.value%0A%20%20%20%20_N%20%20%20%20%3D%20120%0A%0A%20%20%20%20_pts%2C%20_%20%3D%20du.generate_euclidean_clusters(n_points%3D_N%2C%20k%3D_k%2C%20seed%3D_seed)%0A%20%20%20%20_pts2%20%3D%20_pts%5B%3A%2C%20%3A2%5D%0A%0A%20%20%20%20%23%20Distance%20matrix%20(Euclidean)%0A%20%20%20%20_D%20%3D%20np.sqrt(((_pts%5B%3A%2C%20None%5D%20-%20_pts%5BNone%2C%20%3A%5D)%20**%202).sum(-1))%0A%0A%20%20%20%20%23%20Run%20all%20three%20algorithms%0A%20%20%20%20_km_labels%2C%20_km_centers%2C%20_%20%3D%20du.minkowski_kmeans(_pts%2C%20k%3D_k%2C%20p%3D2%2C%20seed%3D_seed)%0A%20%20%20%20_kmed_labels%2C%20_kmed_medoids%2C%20_%20%3D%20du.kmedoids_pam(_D%2C%20k%3D_k%2C%20seed%3D_seed)%0A%20%20%20%20_gmm_labels%2C%20_%2C%20_%20%3D%20du.euclidean_gmm(_pts%2C%20k%3D_k%2C%20seed%3D_seed)%0A%0A%20%20%20%20%23%20Align%20labels%20(greedy%20matching%20to%20K-means%20as%20reference)%0A%20%20%20%20def%20_align(ref%2C%20other%2C%20k)%3A%0A%20%20%20%20%20%20%20%20from%20itertools%20import%20permutations%20as%20_perms%0A%20%20%20%20%20%20%20%20best_perm%2C%20best_score%20%3D%20None%2C%20-1%0A%20%20%20%20%20%20%20%20for%20perm%20in%20_perms(range(k))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mapped%20%3D%20np.array(%5Bperm%5Bl%5D%20for%20l%20in%20other%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20score%20%3D%20np.sum(mapped%20%3D%3D%20ref)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20score%20%3E%20best_score%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20best_perm%2C%20best_score%20%3D%20perm%2C%20score%0A%20%20%20%20%20%20%20%20return%20np.array(%5Bbest_perm%5Bl%5D%20for%20l%20in%20other%5D)%0A%0A%20%20%20%20_kmed_aligned%20%3D%20_align(_km_labels%2C%20_kmed_labels%2C%20_k)%0A%20%20%20%20_gmm_aligned%20%20%3D%20_align(_km_labels%2C%20_gmm_labels%2C%20_k)%0A%0A%20%20%20%20_disagree_med%20%3D%20int(np.sum(_km_labels%20!%3D%20_kmed_aligned))%0A%20%20%20%20_disagree_gmm%20%3D%20int(np.sum(_km_labels%20!%3D%20_gmm_aligned))%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Plot%201%C3%973%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(1%2C%203%2C%20figsize%3D(14%2C%204.2))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%0A%20%20%20%20_configs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20('K-Means%20(L%C2%B2)'%2C%20_km_labels%2C%20None)%2C%0A%20%20%20%20%20%20%20%20(f'K-Medoids%20%20(%7B_disagree_med%7D%20differ)'%2C%20_kmed_aligned%2C%20_km_labels%20!%3D%20_kmed_aligned)%2C%0A%20%20%20%20%20%20%20%20(f'GMM%20%20(%7B_disagree_gmm%7D%20differ)'%2C%20_gmm_aligned%2C%20_km_labels%20!%3D%20_gmm_aligned)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20for%20_ax%2C%20(_title%2C%20_labels%2C%20_diff_mask)%20in%20zip(_axes%2C%20_configs)%3A%0A%20%20%20%20%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_m%20%3D%20_labels%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.scatter(_pts2%5B_m%2C%200%5D%2C%20_pts2%5B_m%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3Ddu.CLUSTER_COLORS%5B_c%20%25%20len(du.CLUSTER_COLORS)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20s%3D28%2C%20alpha%3D0.75%2C%20linewidths%3D0%2C%20zorder%3D3)%0A%20%20%20%20%20%20%20%20if%20_diff_mask%20is%20not%20None%20and%20_diff_mask.any()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.scatter(_pts2%5B_diff_mask%2C%200%5D%2C%20_pts2%5B_diff_mask%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20facecolors%3D'none'%2C%20edgecolors%3D'%23e74c3c'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20s%3D110%2C%20linewidths%3D1.8%2C%20zorder%3D6%2C%20label%3D'Disagree')%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.legend(fontsize%3D9%2C%20loc%3D'upper%20right')%0A%20%20%20%20%20%20%20%20_ax.set_title(_title%2C%20fontsize%3D13%2C%20fontweight%3D'bold'%2C%20pad%3D6)%0A%20%20%20%20%20%20%20%20_ax.set_xlabel('Feature%201'%2C%20fontsize%3D11)%0A%20%20%20%20%20%20%20%20_ax.set_ylabel('Feature%202'%2C%20fontsize%3D11)%0A%20%20%20%20%20%20%20%20_ax.grid(True%2C%20alpha%3D0.25)%0A%20%20%20%20%20%20%20%20_ax.tick_params(labelsize%3D9)%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20algo_compare_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(algo_compare_img%2C)%0A%0A%0A%40app.cell%0Adef%20_algo_covariance(algo_seed%2C%20du%2C%20mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20_seed%20%3D%20algo_seed.value%0A%20%20%20%20_rng%20%20%3D%20np.random.default_rng(_seed%20*%2011%20%2B%205)%0A%0A%20%20%20%20%23%20Elongated%2C%20tilted%20Gaussian%20clusters%20%E2%80%94%20K-means%20will%20fail%0A%20%20%20%20_n%20%3D%2080%0A%20%20%20%20_angle1%20%3D%20np.pi%20%2F%204%20%20%20%20%23%2045%C2%B0%20tilt%0A%20%20%20%20_angle2%20%3D%20-np.pi%20%2F%206%20%20%20%23%20-30%C2%B0%20tilt%0A%20%20%20%20_angle3%20%3D%20np.pi%20%2F%202.5%0A%0A%20%20%20%20def%20_tilted_blob(n%2C%20cx%2C%20cy%2C%20angle%2C%20sx%2C%20sy%2C%20rng)%3A%0A%20%20%20%20%20%20%20%20_rot%20%3D%20np.array(%5B%5Bnp.cos(angle)%2C%20-np.sin(angle)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bnp.sin(angle)%2C%20%20np.cos(angle)%5D%5D)%0A%20%20%20%20%20%20%20%20_raw%20%3D%20rng.normal(size%3D(n%2C%202))%20*%20np.array(%5Bsx%2C%20sy%5D)%0A%20%20%20%20%20%20%20%20return%20(_raw%20%40%20_rot.T)%20%2B%20np.array(%5Bcx%2C%20cy%5D)%0A%0A%20%20%20%20_c1%20%3D%20_tilted_blob(_n%2C%20-2%2C%200%2C%20_angle1%2C%202.0%2C%200.3%2C%20_rng)%0A%20%20%20%20_c2%20%3D%20_tilted_blob(_n%2C%202%2C%200%2C%20_angle2%2C%201.8%2C%200.25%2C%20_rng)%0A%20%20%20%20_c3%20%3D%20_tilted_blob(_n%2C%200%2C%202.5%2C%20_angle3%2C%201.5%2C%200.3%2C%20_rng)%0A%0A%20%20%20%20_pts%20%3D%20np.vstack(%5B_c1%2C%20_c2%2C%20_c3%5D)%0A%20%20%20%20_k%20%3D%203%0A%0A%20%20%20%20_D%20%3D%20np.sqrt(((_pts%5B%3A%2C%20None%5D%20-%20_pts%5BNone%2C%20%3A%5D)%20**%202).sum(-1))%0A%0A%20%20%20%20_km_labels%2C%20_%2C%20_%20%3D%20du.minkowski_kmeans(_pts%2C%20k%3D_k%2C%20p%3D2%2C%20seed%3D_seed)%0A%20%20%20%20_gmm_labels%2C%20_%2C%20_%20%3D%20du.euclidean_gmm(_pts%2C%20k%3D_k%2C%20seed%3D_seed)%0A%0A%20%20%20%20_gmm_aligned%20%3D%20np.copy(_gmm_labels)%0A%20%20%20%20from%20itertools%20import%20permutations%20as%20_perms%0A%20%20%20%20_best_perm%2C%20_best_score%20%3D%20None%2C%20-1%0A%20%20%20%20for%20_perm%20in%20_perms(range(_k))%3A%0A%20%20%20%20%20%20%20%20_mapped%20%3D%20np.array(%5B_perm%5Bl%5D%20for%20l%20in%20_gmm_labels%5D)%0A%20%20%20%20%20%20%20%20_score%20%3D%20np.sum(_mapped%20%3D%3D%20_km_labels)%0A%20%20%20%20%20%20%20%20if%20_score%20%3E%20_best_score%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_best_perm%2C%20_best_score%20%3D%20_perm%2C%20_score%0A%20%20%20%20_gmm_aligned%20%3D%20np.array(%5B_best_perm%5Bl%5D%20for%20l%20in%20_gmm_labels%5D)%0A%0A%20%20%20%20_disagree%20%3D%20int(np.sum(_km_labels%20!%3D%20_gmm_aligned))%0A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(11%2C%204.2))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%0A%20%20%20%20for%20_ax%2C%20_labels%2C%20_title%20in%20%5B%0A%20%20%20%20%20%20%20%20(_ax1%2C%20_km_labels%2C%20'K-Means%20(spherical%20assumption)')%2C%0A%20%20%20%20%20%20%20%20(_ax2%2C%20_gmm_aligned%2C%20'GMM%20(full%20covariance)')%2C%0A%20%20%20%20%5D%3A%0A%20%20%20%20%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_m%20%3D%20_labels%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.scatter(_pts%5B_m%2C%200%5D%2C%20_pts%5B_m%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3Ddu.CLUSTER_COLORS%5B_c%20%25%20len(du.CLUSTER_COLORS)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20s%3D26%2C%20alpha%3D0.8%2C%20linewidths%3D0%2C%20zorder%3D3)%0A%0A%20%20%20%20%20%20%20%20%23%20Draw%20covariance%20ellipses%20for%20GMM%20panel%0A%20%20%20%20%20%20%20%20if%20_ax%20is%20_ax2%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_m%20%3D%20_labels%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_m.sum()%20%3C%203%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_sub%20%3D%20_pts%5B_m%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_cov%20%3D%20np.cov(_sub.T)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eigvals%2C%20_eigvecs%20%3D%20np.linalg.eigh(_cov)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_eigvals%20%3D%20np.maximum(_eigvals%2C%201e-6)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ang%20%3D%20np.degrees(np.arctan2(_eigvecs%5B1%2C%201%5D%2C%20_eigvecs%5B0%2C%201%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20from%20matplotlib.patches%20import%20Ellipse%20as%20_Ellipse%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ell%20%3D%20_Ellipse(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xy%3D_sub.mean(0)%2C%20width%3D2%20*%202%20*%20np.sqrt(_eigvals%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3D2%20*%202%20*%20np.sqrt(_eigvals%5B0%5D)%2C%20angle%3D_ang%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20facecolor%3D'none'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3Ddu.CLUSTER_COLORS%5B_c%20%25%20len(du.CLUSTER_COLORS)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lw%3D2%2C%20ls%3D'--'%2C%20zorder%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ax.add_patch(_ell)%0A%0A%20%20%20%20%20%20%20%20_ax.set_title(_title%2C%20fontsize%3D13%2C%20fontweight%3D'bold'%2C%20pad%3D6)%0A%20%20%20%20%20%20%20%20_ax.set_xlabel('x%E2%82%81'%2C%20fontsize%3D12)%0A%20%20%20%20%20%20%20%20_ax.set_ylabel('x%E2%82%82'%2C%20fontsize%3D12)%0A%20%20%20%20%20%20%20%20_ax.grid(True%2C%20alpha%3D0.25)%0A%20%20%20%20%20%20%20%20_ax.tick_params(labelsize%3D9)%0A%20%20%20%20%20%20%20%20_ax.set_aspect('equal')%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20algo_cov_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%0A%20%20%20%20algo_cov_txt%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_disagree%7D%20of%20%7Blen(_pts)%7D%20points**%20assigned%20differently.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22K-means%20assumes%20spherical%20clusters%20%E2%80%94%20elongated%2C%20tilted%20clusters%20violate%20this.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22GMM%20models%20each%20cluster's%20full%20covariance%20matrix%20%24%5C%5CSigma_c%24%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22so%20elliptical%20clusters%20are%20recovered%20correctly.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Dashed%20ellipses%20show%20%242%5C%5Csigma%24%20contours%20of%20the%20fitted%20Gaussians.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20algo_cov_img%2C%20algo_cov_txt%0A%0A%0A%40app.cell%0Adef%20_algo_tab(%0A%20%20%20%20algo_compare_img%2C%0A%20%20%20%20algo_cov_img%2C%0A%20%20%20%20algo_cov_txt%2C%0A%20%20%20%20algo_k%2C%0A%20%20%20%20algo_seed%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20algo_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20%E2%9A%96%EF%B8%8F%20Algorithm%20Comparison%20%E2%80%94%20K-Means%20vs%20K-Medoids%20vs%20GMM%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Same%20data%2C%20same%20K%2C%20three%20algorithms.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Red%20rings%20mark%20points%20where%20the%20algorithm%20**disagrees**%20with%20K-means.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Balgo_k%2C%20algo_seed%5D%2C%20gap%3D%221.5rem%22)%2C%0A%20%20%20%20%20%20%20%20algo_compare_img%2C%0A%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20When%20Covariance%20Matters%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22K-means%20partitions%20space%20with%20**spherical%20Voronoi%20cells**%20%E2%80%94%20it%20cannot%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22elongated%20or%20tilted%20clusters.%20GMM%20fits%20a%20full%20**covariance%20matrix**%20per%20cluster.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20algo_cov_img%2C%0A%20%20%20%20%20%20%20%20algo_cov_txt%2C%0A%20%20%20%20%5D%2C%20gap%3D%220.6rem%22)%0A%20%20%20%20return%20(algo_content%2C)%0A%0A%0A%40app.cell%0Adef%20_pitfalls_controls(mo)%3A%0A%20%20%20%20pitfalls_seed%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D9%2C%20value%3D0%2C%20label%3D%22Seed%22%2C%20show_value%3DTrue)%0A%20%20%20%20return%20(pitfalls_seed%2C)%0A%0A%0A%40app.cell%0Adef%20_pitfalls_failures(du%2C%20mo%2C%20np%2C%20pitfalls_seed%2C%20plt)%3A%0A%20%20%20%20_seed%20%3D%20pitfalls_seed.value%0A%20%20%20%20_rng%20%20%3D%20np.random.default_rng(_seed%20*%2031%20%2B%207)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Dataset%201%3A%20two%20moons%20(non-convex)%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_n%20%3D%20150%0A%20%20%20%20_t1%20%3D%20np.linspace(0%2C%20np.pi%2C%20_n)%0A%20%20%20%20_moon1%20%3D%20np.column_stack(%5Bnp.cos(_t1)%2C%20%20np.sin(_t1)%5D)%20%2B%20_rng.normal(0%2C%200.08%2C%20(_n%2C%202))%0A%20%20%20%20_moon2%20%3D%20np.column_stack(%5Bnp.cos(_t1)%20%2B%200.5%2C%20-np.sin(_t1)%20%2B%200.4%5D)%20%2B%20_rng.normal(0%2C%200.08%2C%20(_n%2C%202))%0A%20%20%20%20_moons%20%3D%20np.vstack(%5B_moon1%2C%20_moon2%5D)%0A%20%20%20%20_moons_true%20%3D%20np.array(%5B0%5D%20*%20_n%20%2B%20%5B1%5D%20*%20_n)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Dataset%202%3A%20unequal%20sizes%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_big%20%20%20%3D%20_rng.normal(loc%3D%5B0%2C%200%5D%2C%20scale%3D1.5%2C%20size%3D(200%2C%202))%0A%20%20%20%20_small%20%3D%20_rng.normal(loc%3D%5B5%2C%205%5D%2C%20scale%3D0.3%2C%20size%3D(30%2C%202))%0A%20%20%20%20_sizes%20%3D%20np.vstack(%5B_big%2C%20_small%5D)%0A%20%20%20%20_sizes_true%20%3D%20np.array(%5B0%5D%20*%20200%20%2B%20%5B1%5D%20*%2030)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Dataset%203%3A%20unequal%20density%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20_dense%20%20%3D%20_rng.normal(loc%3D%5B0%2C%200%5D%2C%20scale%3D0.3%2C%20size%3D(150%2C%202))%0A%20%20%20%20_sparse%20%3D%20_rng.normal(loc%3D%5B3%2C%200%5D%2C%20scale%3D1.2%2C%20size%3D(150%2C%202))%0A%20%20%20%20_dens%20%20%20%3D%20np.vstack(%5B_dense%2C%20_sparse%5D)%0A%20%20%20%20_dens_true%20%3D%20np.array(%5B0%5D%20*%20150%20%2B%20%5B1%5D%20*%20150)%0A%0A%20%20%20%20_datasets%20%3D%20%5B%0A%20%20%20%20%20%20%20%20('Non-convex%20(moons)'%2C%20_moons%2C%20_moons_true%2C%202)%2C%0A%20%20%20%20%20%20%20%20('Unequal%20sizes'%2C%20_sizes%2C%20_sizes_true%2C%202)%2C%0A%20%20%20%20%20%20%20%20('Unequal%20density'%2C%20_dens%2C%20_dens_true%2C%202)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(2%2C%203%2C%20figsize%3D(14%2C%207))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%0A%20%20%20%20for%20_col%2C%20(_name%2C%20_pts%2C%20_true%2C%20_k)%20in%20enumerate(_datasets)%3A%0A%20%20%20%20%20%20%20%20%23%20Top%20row%3A%20ground%20truth%0A%20%20%20%20%20%20%20%20_ax_t%20%3D%20_axes%5B0%2C%20_col%5D%0A%20%20%20%20%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_m%20%3D%20_true%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax_t.scatter(_pts%5B_m%2C%200%5D%2C%20_pts%5B_m%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3Ddu.CLUSTER_COLORS%5B_c%5D%2C%20s%3D16%2C%20alpha%3D0.7%2C%20linewidths%3D0)%0A%20%20%20%20%20%20%20%20_ax_t.set_title(f'%7B_name%7D%5CnGround%20Truth'%2C%20fontsize%3D12%2C%20fontweight%3D'bold'%2C%20pad%3D6)%0A%20%20%20%20%20%20%20%20_ax_t.grid(True%2C%20alpha%3D0.25)%0A%20%20%20%20%20%20%20%20_ax_t.tick_params(labelsize%3D8)%0A%20%20%20%20%20%20%20%20_ax_t.set_aspect('equal')%0A%0A%20%20%20%20%20%20%20%20%23%20Bottom%20row%3A%20K-means%20result%0A%20%20%20%20%20%20%20%20_ax_b%20%3D%20_axes%5B1%2C%20_col%5D%0A%20%20%20%20%20%20%20%20_km_labels%2C%20_km_centers%2C%20_%20%3D%20du.minkowski_kmeans(_pts%2C%20k%3D_k%2C%20p%3D2%2C%20seed%3D_seed)%0A%20%20%20%20%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_m%20%3D%20_km_labels%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax_b.scatter(_pts%5B_m%2C%200%5D%2C%20_pts%5B_m%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3Ddu.CLUSTER_COLORS%5B_c%5D%2C%20s%3D16%2C%20alpha%3D0.7%2C%20linewidths%3D0)%0A%20%20%20%20%20%20%20%20_ax_b.scatter(_km_centers%5B%3A%2C%200%5D%2C%20_km_centers%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3D'white'%2C%20s%3D160%2C%20marker%3D'*'%2C%20edgecolors%3D'%231A2030'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20linewidths%3D0.8%2C%20zorder%3D5)%0A%20%20%20%20%20%20%20%20_ax_b.set_title('K-Means%20Result'%2C%20fontsize%3D12%2C%20fontweight%3D'bold'%2C%20pad%3D6)%0A%20%20%20%20%20%20%20%20_ax_b.grid(True%2C%20alpha%3D0.25)%0A%20%20%20%20%20%20%20%20_ax_b.tick_params(labelsize%3D8)%0A%20%20%20%20%20%20%20%20_ax_b.set_aspect('equal')%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20pitfalls_fail_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%20%20%20%20return%20(pitfalls_fail_img%2C)%0A%0A%0A%40app.cell%0Adef%20_pitfalls_init(du%2C%20mo%2C%20np%2C%20pitfalls_seed%2C%20plt)%3A%0A%20%20%20%20_base_seed%20%3D%20pitfalls_seed.value%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(_base_seed%20*%2013%20%2B%203)%0A%20%20%20%20_pts%2C%20_%20%3D%20du.generate_euclidean_clusters(n_points%3D120%2C%20k%3D3%2C%20seed%3D_base_seed)%0A%20%20%20%20_pts2%20%3D%20_pts%5B%3A%2C%20%3A2%5D%0A%20%20%20%20_k%20%3D%203%0A%20%20%20%20_n_runs%20%3D%206%0A%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(2%2C%203%2C%20figsize%3D(14%2C%207))%0A%20%20%20%20_fig.patch.set_facecolor(du.BG_FIGURE)%0A%20%20%20%20_wcss_vals%20%3D%20%5B%5D%0A%0A%20%20%20%20for%20_i%2C%20_ax%20in%20enumerate(_axes.flat)%3A%0A%20%20%20%20%20%20%20%20_s%20%3D%20_base_seed%20*%20100%20%2B%20_i%20*%207%20%2B%201%0A%20%20%20%20%20%20%20%20_labels%2C%20_centers%2C%20_%20%3D%20du.minkowski_kmeans(_pts%2C%20k%3D_k%2C%20p%3D2%2C%20seed%3D_s)%0A%20%20%20%20%20%20%20%20_wcss%20%3D%20float(sum(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.sum((_pts%5B_labels%20%3D%3D%20c%5D%20-%20_centers%5Bc%5D)%20**%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20c%20in%20range(_k)%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20_wcss_vals.append(_wcss)%0A%0A%20%20%20%20%20%20%20%20for%20_c%20in%20range(_k)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_m%20%3D%20_labels%20%3D%3D%20_c%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.scatter(_pts2%5B_m%2C%200%5D%2C%20_pts2%5B_m%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3Ddu.CLUSTER_COLORS%5B_c%20%25%20len(du.CLUSTER_COLORS)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20s%3D20%2C%20alpha%3D0.7%2C%20linewidths%3D0%2C%20zorder%3D3)%0A%20%20%20%20%20%20%20%20_ax.scatter(_centers%5B%3A%2C%200%5D%2C%20_centers%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%3D'white'%2C%20s%3D140%2C%20marker%3D'*'%2C%20edgecolors%3D'%231A2030'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20linewidths%3D0.8%2C%20zorder%3D5)%0A%20%20%20%20%20%20%20%20_ax.set_title(f'Seed%20%7B_s%7D%20%20%C2%B7%20%20WCSS%20%3D%20%7B_wcss%3A.1f%7D'%2C%20fontsize%3D11%2C%20pad%3D4)%0A%20%20%20%20%20%20%20%20_ax.grid(True%2C%20alpha%3D0.25)%0A%20%20%20%20%20%20%20%20_ax.tick_params(labelsize%3D8)%0A%0A%20%20%20%20_best_i%20%3D%20int(np.argmin(_wcss_vals))%0A%20%20%20%20_worst_i%20%3D%20int(np.argmax(_wcss_vals))%0A%20%20%20%20for%20_i%2C%20_ax%20in%20enumerate(_axes.flat)%3A%0A%20%20%20%20%20%20%20%20if%20_i%20%3D%3D%20_best_i%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20spine%20in%20_ax.spines.values()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20spine.set_edgecolor('%232E7D32')%3B%20spine.set_linewidth(3)%0A%20%20%20%20%20%20%20%20elif%20_i%20%3D%3D%20_worst_i%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20spine%20in%20_ax.spines.values()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20spine.set_edgecolor('%23C62828')%3B%20spine.set_linewidth(3)%0A%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20pitfalls_init_img%20%3D%20mo.image(du.fig_to_png(_fig)%2C%20width%3D%22100%25%22)%0A%20%20%20%20plt.close(_fig)%0A%0A%20%20%20%20_spread%20%3D%20max(_wcss_vals)%20-%20min(_wcss_vals)%0A%20%20%20%20pitfalls_init_txt%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Same%20data%2C%20same%20K%3D%7B_k%7D%2C%20six%20random%20starts.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22WCSS%20ranges%20from%20**%7Bmin(_wcss_vals)%3A.1f%7D**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22(green%20border)%20to%20**%7Bmax(_wcss_vals)%3A.1f%7D**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22(red%20border)%20%E2%80%94%20a%20spread%20of%20%7B_spread%3A.1f%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Each%20run%20converges%20to%20a%20**local**%20minimum%3B%20the%20global%20optimum%20is%20not%20guaranteed.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22In%20practice%2C%20run%20K-means%2010%E2%80%9350%20times%20and%20keep%20the%20best.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20pitfalls_init_img%2C%20pitfalls_init_txt%0A%0A%0A%40app.cell%0Adef%20_pitfalls_tab(%0A%20%20%20%20mo%2C%0A%20%20%20%20pitfalls_fail_img%2C%0A%20%20%20%20pitfalls_init_img%2C%0A%20%20%20%20pitfalls_init_txt%2C%0A%20%20%20%20pitfalls_seed%2C%0A)%3A%0A%20%20%20%20pitfalls_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20%E2%9A%A0%EF%B8%8F%20Pitfalls%20%E2%80%94%20When%20K-Means%20Breaks%20Down%22)%2C%0A%20%20%20%20%20%20%20%20pitfalls_seed%2C%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Failure%20Modes%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22K-means%20assumes%20clusters%20are%20**convex**%2C%20**similarly%20sized**%2C%20and%20**similarly%20dense**.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22When%20any%20assumption%20is%20violated%2C%20the%20algorithm%20confidently%20returns%20the%20wrong%20answer.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20pitfalls_fail_img%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Non-convex%3A**%20K-means%20bisects%20moons%20with%20a%20straight%20line%20%E2%80%94%20it%20can%20only%20carve%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22convex%20regions.%20**Unequal%20sizes%3A**%20the%20large%20cluster%20'donates'%20points%20to%20the%20small%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22one%20to%20equalise%20WCSS.%20**Unequal%20density%3A**%20the%20boundary%20shifts%20toward%20the%20dense%20cluster.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Initialisation%20Sensitivity%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Lloyd's%20algorithm%20is%20**deterministic%20given%20the%20initial%20centroids**%20%E2%80%94%20but%20those%20centroids%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22are%20chosen%20randomly%2C%20so%20different%20seeds%20yield%20different%20partitions.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20pitfalls_init_img%2C%0A%20%20%20%20%20%20%20%20pitfalls_init_txt%2C%0A%20%20%20%20%5D%2C%20gap%3D%220.6rem%22)%0A%20%20%20%20return%20(pitfalls_content%2C)%0A%0A%0A%40app.cell%0Adef%20_layout(%0A%20%20%20%20algo_content%2C%0A%20%20%20%20feat_content%2C%0A%20%20%20%20hyp_content%2C%0A%20%20%20%20lloyd_content%2C%0A%20%20%20%20mixed_content%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20overview_content%2C%0A%20%20%20%20pitfalls_content%2C%0A%20%20%20%20sphere_content%2C%0A%20%20%20%20torus_content%2C%0A)%3A%0A%20%20%20%20tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22%F0%9F%93%8B%20Overview%22%3A%20%20%20%20overview_content%2C%0A%20%20%20%20%20%20%20%20%22%F0%9F%8C%8D%20Sphere%22%3A%20%20%20%20%20%20sphere_content%2C%0A%20%20%20%20%20%20%20%20%22%F0%9F%8D%A9%20Torus%22%3A%20%20%20%20%20%20%20torus_content%2C%0A%20%20%20%20%20%20%20%20%22%F0%9F%94%B5%20Hyperbolic%22%3A%20%20hyp_content%2C%0A%20%20%20%20%20%20%20%20%22%F0%9F%93%8F%20Features%22%3A%20%20%20%20feat_content%2C%0A%20%20%20%20%20%20%20%20%22%F0%9F%94%80%20Mixed%22%3A%20%20%20%20%20%20%20mixed_content%2C%0A%20%20%20%20%20%20%20%20%22%F0%9F%94%84%20Lloyd's%22%3A%20%20%20%20%20lloyd_content%2C%0A%20%20%20%20%20%20%20%20%22%E2%9A%96%EF%B8%8F%20Algorithms%22%3A%20%20algo_content%2C%0A%20%20%20%20%20%20%20%20%22%E2%9A%A0%EF%B8%8F%20Pitfalls%22%3A%20%20%20%20pitfalls_content%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20layout%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20tabs%2C%0A%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(layout%2C)%0A%0A%0A%40app.cell%0Adef%20_show(layout)%3A%0A%20%20%20%20layout%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A