Hab mich noch mal schlau gemacht. Offenbar muss mal innerhalb eines Monat nach Aufnahme der Tätigkeit einen formlosen Brief an das FA schicken. Diese Seite fand ich recht hilfreich:

Ratgeber E-Lancer – 3.1. Startformalitäten

Allerdings:

"Sofern Sie noch keine laufenden Einnahmen haben, sondern in unregelmäßigen Abständen das ein oder andere Projekt abwickeln und auf Ihren Rechnungen keine Umsatzsteuer ausweisen, können Sie sich als Freiberufler die Anmeldung sogar ganz sparen. In dem Fall geben Sie Ihren Gewinn (Einnahmen minus Ausgaben) einfach im Rahmen Ihrer nächsten Einkommensteuererklärung an. Bleibt Ihr "Einnahmeüberschuss" im Jahresverlauf unter 410 Euro, ist noch nicht einmal das nötig: Neben-Einkünfte bis zu dieser Höhe bleiben bei der Einkommensteuer unberücksichtigt."

Du brauchst für die Rechnungen aber in jedem Fall eine Steuernummer. Bei mir war das damals alles komplizierter, eine Steuernummer und Gewerbe hatte ich schon etc...

Ich muss auch sagen, entgegen der üblichen Vorurteile, bin ich beim FA immer sehr freundlich beraten worden. Allerdings nicht immer kompetent . Also, im Zweifelsfall einfach mal anrufen...