Para retirar as bordas e os ícones de maximizar, minimizar e fechar de seu frame basta chamar estes métodos (getUI e setBorder) do seu objeto do tipo JFrame, JInternalFrame, etc…
Ex.:
((BasicInternalFrameUI)frame.getUI()).getNorthPane().setPreferredSize( new Dimension(0,0) ); frame.setBorder(new EmptyBorder(new Insets(0,0,0,0)));