afterSubmit: function(response, postdata) {
                if(response.responseText != ""){
                    return [false,"error. user exists"];
                }else{
                    return [true,"Ok"];
                }

if ($conexion->affected_rows > 0 ) {
            $error = array(0 => 1, 1 => "User exists.");
            json_encode($error);
            $conexion->close();          
        }.....

jQuery(document).ready(function(){
  jQuery("#list").jqGrid({
    url:'data.php',
    datatype: 'JSON',
    mtype: 'POST',
    colNames:['Id','Group','User'],
    colModel :[
      {name:'id', index:'id', width:30, search:false, editable:true },        
      {name:'group', index:'group', width:155, editable:true, edittype:'select', editoptions: {dataUrl:'select.php'},searchoptions: { sopt: ['cn'] }},
      {name:'user', index:'user', width:155, editable:true,editoptions:{class:"validate[required,custom[onlyLetter],length[0,100],ajax[ajaxUser] text-input]"},searchoptions: { sopt: ['cn'] }},
    ],
    pager: '#pager',
    rowNum:10,
    rowList:[10,20,30],
    sortname: 'id',
    sortorder: 'asc',
    viewrecords: true,
    height:220,
    width: 1095,  
    hidegrid: false,
    editurl: 'actions.php',
    caption: 'user administration'
  }).navGrid('#pager',{add:true,edit:true,del:true,addtext: 'Add  ',edittext: 'Edit  ',deltext: 'Delete  ',searchtext: 'Search  ',refreshtext: 'Udate  '},
          {jqModal:true, top: 120, left: 500, drag:true, resize:true, reloadAfterSubmit:true, closeOnEscape:true, closeAfterEdit:true,
              onclickSubmit: function(formid){$.validationEngine.closePrompt(".formError",false); },
            onClose:function(formid){$.validationEngine.closePrompt(".formError",true);},
            beforeShowForm: function(FrmGrid_list) { $('#tr_id', FrmGrid_list).hide();}
        }, // edit options
          {jqModal:true, top: 120, left: 500, drag:true, resize:true, reloadAfterSubmit:true, closeOnEscape:true, closeAfterAdd:true,
              onclickSubmit: function(formid){
                  $.validationEngine.closePrompt(".formError",false);
                
               },
            onClose:function(formid){$.validationEngine.closePrompt(".formError",true);},
            beforeShowForm: function(FrmGrid_list) { $('#tr_idUsuario', FrmGrid_list).hide();},
            afterSubmit: function(error) {
                for (var x in error){
                    console.log(x);
                }
                $('.binfo').css('display','block');
                $('.bottominfo').html('Show error');}
        }, // add options
          {top: 120, left: 500}, //del options
          {}
          );
});