En principe, le verbe se souvenir a un complément d'objet indirect introduit par de, et le verbe se rappeler a un complément d'objet direct (c'est-à-dire sans préposition).
Je me souviens de cet acteur. Je m'en souviens.
Je me rappelle cet acteur. Je me le rappelle.
On trouve aussi « je me rappelle de cet acteur », « je m'en rappelle ». Les puristes considèrent que c'est une faute, mais c'est débattable : si c'était une faute, elle est si fréquemment commise par les locuteurs natifs qu'on devrait la considérer comme correcte. Littré, qui date du XIXe siècle et est très conservateur, l'interdit (remarque 2). Le Trésor de la langue française, qui est descriptiviste, cite « se rappeler de, s'en rappeler » comme « par analogie avec se souvenir de » et remarque que « les grammairiens condamnent la tournure […] que l'on trouve pourtant fréquemment chez les bons auteurs ». Je recommande d'éviter dans un devoir de français.
Dans les deux cas, le complément peut être une proposition à l'indicatif. Il n'y a alors pas de préposition.
Je me souviens que cet acteur m'a déçu.
Je me rappelle que cet acteur m'a déçu.
Si la proposition principale est négative, la subordonnée est au subjonctif : « je ne me souviens/rappelle pas que cet acteur ne m'ait plu ».
Lorsque le sujet de la proposition subordonnée est le même que celui de la proposition relative, on met le verbe à l'infinitif dans la subordonnée, comme d'habitude. Dans ce cas, on met en principe la même préposition (ou absence de préposition) que si le complément était un nom.
Je me souviens d'avoir été déçu par cet acteur. [ou : me souviens avoir]
Je me rappelle avoir été déçu par cet acteur. [ou : me rappelle d'avoir]
Ici l'usage est plus flottant : les deux verbes se trouvent avec ou sans de. Même Littré déclare que « des grammairiens condamnent se rappeler de avec un infinitif ; mais il est donné par l'usage, par les auteurs et par l'Académie ». Le TLF présente « se souvenir + infinitif passé » comme « par analogie avec se rappeler », et déclare « se rappeler de + infinitif passé » comme « vieilli ». Contrairement au cas où le complément est un nom, où le débat court encore, je pense qu'on peut considérer qu'avec un infinitif, les deux verbes se construisent au choix avec ou sans de.