La antiga rectoria de Gaià, documentada ja l'any 1565, fou refeta el 1794, data que apareix inscrita a la llinda del balcó (MDCCXCIV), i podria ser obra del mestre de cases Josep Morató i Codina, que feia poc havia intervingut en el campanar de l’església. Es tracta d’un gran edifici amb tres parts ben diferenciades: l'antiga rectoria (de la qual en queda un petit cos adossat al nord-est), l'edifici principal (aixecat el 1794) i un cos de construcció moderna (situat a la part posterior).
El cos principal és una edificació de planta gairebé quadrada, perfectament regular i simètrica. Disposa de planta baixa més dos pisos i golfes. L'element que el distingeix és la decoració dels murs exteriors amb esgrafiats barrocs, que li confereixen un aire senyorial. Actualment només es conserven els de les parets sud i oest. Fa uns anys es van treure els de la paret est perquè estaven molt malmesos. A la planta baixa aquests esgrafiats imiten un aparellat de carreus, mentre que a les plantes superiors hi ha un motiu fet de garlandes de flors combinades amb elements geomètrics i arquitectònics. S'hi poden veure dos rellotges de sol.
L’edifici adopta una estructura tripartida reflectida a la façana principal i en les dues primeres plantes, amb una distribució en base a tres eixos d'obertures. El segon pis queda obert amb una àmplia galeria de cinc arcades i, al nivell de sotacoberta, hi veiem diversos òculs. A les façanes laterals les finestres, emmarcades amb llindes, brancals i ampits de pedra, queden perfectament alineades. Alguns dels ampits s'han substituït modernament.
A la part posterior del cos principal, on quedaven restes de la rectoria antiga (més baixa que la del 1794), els anys 1988 i 1989 s'hi van fer obres per completar les instal·lacions del restaurant. L'edifici es va dotar d'una façana nord, a la qual s'hi va annexar un cos de nova construcció. La façana nord es va decorar amb esgrafiats de temàtiques religioses amb la voluntat de complementar amb un motiu afí però d'estètica contemporània els esgrafiats de la part antiga de l'edifici.
Acabada la Guerra Civil, i mentre es reconstruïa l’edifici de l’església, la nau central dels baixos de la rectoria va ser utilitzada per oficiar-hi i les naus dels costats, antigues quadres, es van adequar per fer-hi activitats diverses, com ara teatre o la festa dels Reis. A finals dels anys 1950 als baixos s'hi va obrir un bar i una botiga i posteriorment el bar-restaurant les Òlibes. Després d’uns anys d’inactivitat, el 1974 es va tornar a obrir el restaurant, amb el nom de Gaià. Els anys 1988-1989 es va portar a terme l'ampliació de les dependències del restaurant, amb l'aixecament d'un cos de nova construcció. El projecte va anar a càrrec de l'arquitecte manresà Ton Baraut. En aquest moment el prestigiós pintor manresà Josep Mestres Cabanes va procedir a fer un calc dels esgrafiats de les façanes, en previsió d'una futura restauració dels esgrafiats.
