Isso é um bocado absoluto demais...
Depende de tudo o resto que rodeia a pessoa. Se eu estiver estendido na praia a apanhar sol e ao meu lado estiver um senhor também ele estendido ao sol com uma fato e gravata eu vou achar que o Sr. está com uma apresentação horrível. Obvio que isto é um exagero, mas outros exemplos mais corriqueiros se podem dar, por exemplo, eu vou ver um concerto de uma banda rock, se eu vir lá alguém de fato e gravata vou achar que a pessoa está horrivel.
Eu acho que o fato e gravata se enquadram em muitos contextos sim, mas não em todos e nem sempre terá boa apresentação de fato e depois há a banalização do uso do fato por vários profissionais (menos honestos) que de alguma forma retiraram aquela aura de que se está de fato deve ser alguém importante.
Eu pessoalmente uso muito o fato profissionalmente porque é uma aspecto cultural e organizacional, em lazer é raro usar e não me parece que me apresente pior que outra pessoa.