Ich glaub,
da würde ich irgendwann doch das Handtuch werfen bzw.
die Bauleitung niederlegen.
Allerdings musst du vorher sauber dokumentieren können, wie und was du abrechnen kannst.
Wenn du das Gefühl hast, dein Bauherr will dich eh "beschneiden" mit deiner HOAI Abrechnung, dann zieh nen Schlussstrich.
Mit deiner Niederlegung der Bauleitung bist du dann auch aus dem Haftungsobligo für den möglichen Pfusch der dir nicht genehmen Handwerker.