歡迎訪問貴陽政益通績效評價咨詢有限責任公司網站!
(一)質量控制的難點。
質量控制是保證評價報告質量的直接手段。財政資金績效評價往往是一個大類的支出,涉及的資金使用單位較多,同時出于項目數量和時間限制的要求,直接面臨的一個難點就是在有效的時間內,如何保證不同評價人員保持一致性的質量標準。
(二)建立全過程的支出績效評價工作質量控制體系
(1)評價前期階段的源頭控制。
基于質量控制的目標,在評價前期準備階段主要任務是:動員部署評價工作、制定評價的實施方案,整理有關資料。其中:制定評價工作方案,過程要民主公開,要充分吸納理論..、主管部門和利益相關者的意見和建議,內容全面,方法有效,操作可行。提高第三方機構的評價能力,加強理論與實務培訓、加強操作和專業技能培訓、加強基礎數據收集和書面評審能力培訓,優化第三方評價組織的人員結構。
1)制定評價技術方案,保證評價工作中的質量標準統一
評價技術方案,主要包括如下內容:對評價目的的介紹;對評價范圍的界定;對現場調查和抽查的要求;對評價方法的選擇;對評價報告體例的確定;對工作底稿的設計;對評價標準的計算標準;對各項評價指標對應的信息資料要求;規范定性分析的內容;滿意度調查的方式、數量等。
2)組織培訓,提高評價人員素質
評價人員的素質決定了整個績效評價結果的工作質量。財政資金績效評價的組織實施是一項技術性和專業性比較強的工作,同時又是一項嚴謹的工作。它要求評價人員具備較高的素質條件:具有較高的政治素質,熟悉國家和相關部門的方針、政策;具有基本的公共管理、財務會計、數學統計及法律等方面的專業知識;熟悉財政資金績效評價指標模型,有較強的綜合分析能力和組織協調能力;堅持原則,秉公辦事。通常,較少有評價人員完全具備這些綜合素質和能力,那么就需要對他們進行培訓,提高他們的技術和能力以減少評價中的人為的非正常的誤差。具體的培訓內容包括:培養正確的態度,提高對績效評價原則、目的及其意義的認識;提高專業知識和技術水平,了解績效評價的指標體系、評價標準和方法、文件資料和數據的處理方法、專用工具與設備的使用技術等。
(2)評價實施期質量的控制。
績效評價是一個建立評價組織機構、選擇評價方法、配置評價資源的計劃、領導、指揮、執行、反饋、修正的過程。要使評價發揮真正的作用,就應該對評價過程實施實施全方位的質量控制,具體包括真實性、規范性、科學性和合規性控制。
1)真實性控制,指標數據來源要客觀、科學并可核實,同時能夠相互印證,便于監控。對資金使用單位提供的文檔記錄等信息進行核對,保證與原始資料保持一致;對資金使用單位提供的數據信息,要調查核實數據來源,并借助專業機構出具的權威報告,減少人為因素的主觀判斷;對定性資料要借助現場訪談、調研及網上收集的相關資料等進行驗證。
2)規范性控制,評價工作應該按照事先制定的評價方案按部就班的進行,不隨意更改評價流程和標準,維護評價工作的嚴肅性和穩定性。在評價流程上,尤其是現場評價程序不得刪減,履行實地調研、現場面談、驗證核實等程序,避免績效評價流于形式;對技術方案中制定的評價標準、報告體例、底稿格式等嚴格執行,保持統一的匯總口徑。
3)科學性控制,評價工作應該遵循評價流程的客觀規律,實現評價流程設計的科學化。
4)合規性控制,整個評價過程都應該依法依規進行,從制度上防范徇私舞弊、弄虛作假、以權謀私等違規違法行為。注冊資產評估師執行績效評價業務,應當獨立進行分析、估算并形成專業意見,不受委托方或相關當事方的影響,不得預先設定評價結論。
(3)評價報告質量的控制。
首先要履行各級審核制度,在數字的準確性、文字的表達性方面消除低級性錯誤的出現。其次在審核過程中要對邏輯性、合理性進行審核,避免報告自相矛盾。再次對報告的可讀性進行審核,力爭使報告依據充分、真實完整、數據準確、分析透徹、邏輯清晰、客觀公正。
(4)形成評價質量控制的主要原則。
若將績效評價視為知識服務活動,根據上述不同評價活動階段質量控制要素的識別,可以將國際社會評價質量標準的建立歸納為:合規性、適當性、參與性、準確性與有效性等五大原則,其相關要求如下:
1)合規性原則是指評價活動是否遵循相關制度或規范。國際社會為了確保評價質量,多建立了質量標準或質量檢查清單等相關制度與政策,用以指導與規范評價活動。此外,合規性還體現在評價機構是否遵循基本的評價職業道德和行為準則,是否按照相關委托協議或合同開展評價工作;評價報告或摘要格式是否規范等。
2)適當性原則是指評價方法、數據收集和統計方法等技術層面的相關內容是否適當??冃гu價作為一種重要的科學管理工具,應滿足相關的技術標準,即合理的方案設計、適當的數據收集方法、分析方法和評級方法,并據此提出結論和建議,以保證評價結果的客觀、公正、權威與可靠。
3)參與性原則是指利益相關者在整個績效評價過程中的參與程度。國際社會要求在評價工作各階段中,為保證信息透明公開,同時兼顧到項目對各方產生的作用與影響,評價機構應與利益相關方保持溝通,并促使他們積極參與評價設計和實施過程,這樣方能體現項目真實而全面的價值,同時也能更有效地保證所有利益相關方對評價結果達成共識,避免不必要的誤解。
4)準確性原則是指評價機構利用專業經驗進行評價分析的準確程度。在評價工作實際開展過程中,還可能會出現一些現有文件與制度沒有明確提及到的質量標準與內容。因此,當其他準則不足以評判評價質量是否達標時,可以利用準確性原則作為評價的質量控制要素,即通過評價小組自身的專業經驗,并根據實際情況建立一定的質量標準,以確保評價結果的合理性。
5)有效性原則是指評價結論與結果的有效程度。評價工作.終目的是改進決策或促進學習,質量控制的重要內容就是看評價結果能否滿足關鍵利益群體的需求,相關結論可靠、可行,提出的建議具有較強的可操作性,并.好能確定推進改進措施的相關負責部門。
6).搭建評價活動不同階段的評價原則框架
由于國際社會評價活動四階段具有不同的關鍵點與質量控制要素,再結合五大原則,可基本形成下列框架:
1)合規性原則的適用階段:國際社會評價制度、指南或規范基本覆蓋了評價活動的所有階段。因此,合規性原則適用于所有階段,亦即要求評價小組在評價過程的每一個階段都要嚴格參照委托方的相關要求,確保評價活動的質量。
2)適當性原則的適用階段:由于適當性原則主要是指評價技術層面的相關要求,其目的在于要求評價小組在評價實施與報告階段重視評價方法、數據采集和分析方法的質量,因此在準備階段與結果應用階段不適用。
3)參與性原則的適用階段:國際社會績效評價非常關注各利益相關者的參與程度,以確保評價過程和結果的公開性、公平性和可靠性。有的機構甚至要求關鍵利益者從評價框架設計階段就直接介人,亦或稱為參與式評價。因此,參與性原則也適用于評價活動所有階段的質量控制。
4)準確性原則的適用階段:由于評價活動涉及到復雜的社會科學,因此會出現規范、制度或指南不能覆蓋的一些細節,這就需要評價小組以準確性原則為指導,通過自身專業技術、經驗和能力,保障評價的質量。
5)有效性原則的適用階段:主要用以控制評價結論的質量,因此,一般只適用于報告形成和結果應用這兩個階段。
(5)不同評價階段的質量控制原則
國際社會為了更好地審核評價質量,通常還會開展針對組織內部近幾年評價工作的過程、結果和結論進行再評價(Meta-evaluation, 亦為元評價) , 以確定信息的準確性與結果的有效性, 并從中總結評價工作的經驗、問題和建議。
通常,再評價關注焦點主要是三個核心問題,一是近幾年的評價工作程序和評價方法的整體質量情況,主要是從評價框架設計、評價數據和評價結果應用等方面進行分析;二是近幾年評價報告中所發現的共性問題與經驗,特別是在不同主題領域內總結的結論;三是將評價結論用于組織學習的具體建議。
再評價工作一般由評價小組和組織的關鍵利益者共同組成,在所有評價報告中隨機抽取三分之一左右,并盡可能覆蓋不同技術領域、地理區域和評價類型,然后開展案卷分析,并對技術團隊、管理團隊、項目團隊等開展半結構化訪談或座談,以獲得評價工作的一手資料。
(6)結果應用階段的質量控制要素
績效評價是績效管理的工具與手段,因此將評價結果應用于預算單位項目管理和資金管理意義重大。結果應用階段包括三個質量控制環節:對評價結果的確認、落實問題整改和評價結果公開。該階段適用的原則主要是合規性、準確性、參與性和有效性,其質量控制關鍵要素主要為:
1)對評價結果確認的合規性:預算部門和單位需要對評價結果進行確認和報送,此時主要考察對評價結果的確認和報送環節是否合規。
2)落實問題整改的合規性、準確性和有效性:預算部門和單位需要對績效評價報告中反映出的問題提出切實的整改措施并加以落實。此環節主要考察落實問題整改時是否準確地與評價結論吻合,整改結果是否有效。
3)評價結果公開的合規性:根據預算法和財政支出績效評價的有關要求,評價結果要在一定范圍內以一定方式向利益相關者或社會公眾公開,因此該環節重點考察公開的合規性。