曲阳-5-基于效度理论的《社区脑卒中患者居家康复工作手册》质量评价

Wednesday, September 11, 2019

周永祥,秦燕等

上海市虹口区曲阳路街道社区卫生服务中心

1307

9/11/2019 12:00:00 AM

围绕脑卒中康复,国外相继出版脑卒中康复治疗指南用于指导本地区的脑卒中康复治疗。而我国目前推行的是脑卒中患者三级康复治疗网络,其中作为该康复网络中的第三级,规范的社区康复或居家康复对患者的运动功能、日常生活活动能力(ADL)和生命质量方面也有显著改善。

作者姓名

周永祥,秦燕,张虹,张玉娥,陈惜,吴建平

所在单位

200437上海市虹口区曲阳路街道社区卫生服务中心中医康复科(周永祥、张虹),科教科(秦燕),社区科(张玉娥),护理科(陈惜)

200081上海市虹口区欧阳路街道社区卫生服务中心院长办公室(吴建平)

发表期刊

中华全科医师2017年3月第16卷第3期

who-对象

what-目标/因变量

how1-手段、因素/自变量

how2-方法、工具、设计/workflow

论文所属专题

社区康复中心实践与探索

摘要

本研究基于效度理论构建《社区脑卒中患者居家康复工作手册》的评议工具,组建专家小组对该工作手册的研制过程和结果进行评议,并收集专家对该手册存在的问题及改善建议。结果提示,该工作手册的研制过程和结果结构效度、内容效度、表面效度平均评分均在4分以上。表明该工作手册的研制过程具有科学性,研制结果具有实用性,可为社区开展脑卒中患者居家康复提供工作指导。同时该研究丰富了工具类文本的评议工具和工作手册的评议方法,可为同行提供借鉴。

关键词

脑卒中;康复;社区卫生服务

大背景

围绕脑卒中康复,国外相继出版脑卒中康复治疗指南用于指导本地区的脑卒中康复治疗。而我国目前推行的是脑卒中患者三级康复治疗网络,其中作为该康复网络中的第三级,规范的社区康复或居家康复对患者的运动功能、日常生活活动能力(ADL)和生命质量方面也有显著改善。然而,我国现有的脑卒中康复指南性文件中,仅有对脑卒中患者居家康复的理论性指导,可操作差,给居家康复服务的有序有效开展带来诸多不确定性。本研究组于2015年4月至2016年6月通过文献回顾、焦点小组、德尔菲(Delphi)咨询、头脑风暴等方法研制出《社区脑卒中患者居家康复工作手册》(简称《工作手册》),用以指导社区脑卒中患者居家康复工作的开展,但其质量还有待进一步检验。

国内外对于指导性工具类文本的质量评价方法分为两大类,一类是通过组建评议小组,对文本本身进行评价,如国内外同行多通过组织评议小组借助AGREE工具等对临床诊疗指南进行评价;一类是基于临床数据的评价,这在临床诊疗指南和临床工作手册方面均有应用。相比于第二类方法,第一类方法为文本应用于临床前提供了进一步检验和完善的机会,尤其对风险性高的工具类文本的安全性提供了更多依据。而《工作手册》本质上属于一种机构内居家康复实践指南,是对现有康复指南的进一步细化。因此,本研究组借鉴第一类评价方法,对《工作手册》的研制过程和结果进行评价。由于国内外目前尚无对于《工作手册》的评议工具,而效度理论中的结构效度、内容效度、表面效度评价,与《工作手册》的研制过程和结果评价有较好的契合度,因此本研究组采用效度理论构建《工作手册》的评议工具,对《工作手册》的研制过程和结果进行全面评价,验证其质量,以为社区脑卒中患者居家康复工作开展提供一份较为可靠的工具。

结果

1.《工作手册》的结构效度:《工作手册》总体结构以及结构内各要素的构成、程序设计和决策原则评议结果见表1。

2.《工作手册》的内容效度和表面效度:评议专家对康复医师岗位介绍的关键性评分最低为3分(仅1名专家),对资金保障介绍的关键性和指导性评分最低为3分(仅1名专家),对其他版块评分最低为4分,康复医师和资金保障部分的内容效度略低,其他版块内容效度较好。对表面效度的评议结果显示,“服务对象(需方):准人标准和退出标准”的语义清晰性评分最低为3分(仅1名专家),其他版块最低评分为4分,“服务对象(需方):准入标准和退出标准”的表面效度略低,其他版块表面效度较好。见表2。

3.《工作手册》存在的问题及改善建议:对于效度欠佳的部分,专家提出存在的问题及进一步完善的建议。

(1)《工作手册》中服务对象的表述。有专家指出,服务对象的纳入条件中,“出现并发症、消极情绪和一些轻微的内科性疾病等的患者”过于模糊,建议将“并发症”写明为“肢体活动相关的并发症”,“一些轻微的内科性疾病”改为“稳定的慢性病”;服务对象的排除条件中,“有严重并发症,如三级极高危高血压等”表达不确切,因为一旦发生卒中,有高血压的一律都属于高血压病3级,建议改为纳入条件中的必要条件“血压稳定”。

(2)《工作手册》中康复医师的表述。有专家指出,康复医师准人标准中应增加“具有执业医师资格,经过康复医学培训并合格”,主要目的是不要排除中医或经康复医学培训的全科医师或中医师,同时注明是满足全部还是仅满足一个条件即可。

(3)《工作手册》中资金保障的表述。有专家指出,直接引用整个中心的奖惩条例太过宽泛,建议在曲阳社区卫生服务中心的奖惩条例基础上,提炼出与家庭康复服务人员相关性更高的条款,并阐述对居家康复参与人员的绩效考核指标;资金保障除了对居家康复人员绩效收入的保障外,还应包括设备购置、交通补贴等工作经费保障,并对经费来源进行补充说明。

此外,对其他版块内容,有专家提出了进一步简明化、聚焦化的建议,如,“服务:操作规范”中服务项目仅介绍目前可在患者家开展的项目即可等。

决定了讨论的顺序

对《工作手册》的研制过程和结果的评议是以专家作为评定的主体,很大程度上受主观因素的影响,好的《工作手册》应满足以下2点:科学的研制过程和实用的结果。本研究基于效度理论构建《工作手册》的评议工具,参与《工作手册》评议的专家在康复、全科、中医等领域的平均工作年限超过10年,对康复工作的开展有较为丰富的实践经验,具有一定的权威性;评议采用发送Email和邮寄纸质文件相结合的方式,专家之间互不知晓,保证了各位评议专家意见的独立性,评议前、中、后通过培训、研究概况图谱寄送、结果审校等方式,尽可能地保障了专家对评议资料的理解以及评议结果的完整性,因此评议结果基本可信。

本研究评议结果显示,《工作手册》的研制过程和结果从结构效度、内容效度、表面效度来看,平均评分均在4分以上,整体情况较佳,这表明《工作手册》研制过程具有科学性,研制结果具有实用性。其中,关于服务对象准人退出的表述,有一位专家认为语义表达不够清晰,这可能是在将综合医院和社区卫生服务中心关于服务对象的意见汇总时,出现了理解偏倚所致,根据专家建议修订后的服务对象准入退出标准,已基本满足了对于语义清晰性的要求。关于康复医师准人标准的表述,主要依据曲阳路街道社区卫生服务中心人事管理相关规定进行梳理,反映的是该中心对康复医师的要求,但考虑到专家所提出的康复医师执业资质的其他获取途径对中心康复人才的扩充有指导意义,因此该部分内容也应进行调整。关于资金保障的介绍,有1名专家认
为该部分的内容效度欠佳,应具体阐述对居家康复参与人员的绩效考核指标。而在2015年出台的《关于进一步深化本市社区卫生服务综合改革与发展的指导意见》及8个配套文件中,标化工作量成为政府对社区卫生服务中心补贴的重要依据,也成为各社区卫生服务中心内部绩效分配的重要依据,但由于政策文件中尚未对标化工作量如何核算做出明确说明,因此,居家康复服务标化工作量的核算在本项研究中尚未开展,对居家康复参与人员的绩效考核仍延用中心的人员奖惩政策。而经费保障部分,则涉及服务项目成本核算的问题,在本研究中《工作手册》内容明确的基础上,成本核算才成为可能。

材料部分

方法部分

一、对象与方法

1.成立专家组:2016年60月,邀请综合医院心脑血管及中西医康复相关专家共5名,上海市虹口区已开展居家康复的曲阳路街道社区卫生服务中心康复主要负责人和执行人,以及待开展居家康复的江湾镇街道社区卫生服务中心、欧阳路街道社区卫生服务中心的全科工作人员共5名,总共10名专家参与对《工作手册》研制过程和结果的评议。10名专家中,男性8名,女性2名;平均年龄为(43.4±8.6)岁;本科学历3名,硕士学历3名,博士学历3名;6名为高级职称;专业领域:康复6名,中医5名,部分专家还同时涉及多个专业领域;康复领域平均工作年限(14.5±6.7)年,中医领域平均工作年限(16.2±6.3)年,全科领域平均工作年限(18.0±2.7)年,心脑血管(13.0±9.5)年,此外还有1名专家从事中西医结合领域工作12年。

2.研究方法:

(1)《工作手册》的制定:本研究组于2015年4月至2016年6月,在上海市虹口区曲阳路街道社区卫生服务中心已有经验基础上,通过文献回顾、焦点小组、德尔菲(Delphi)咨询、头脑风暴等方法研制出《工作手册》,以指导社区脑卒中患者居家康复工作的规范开展。该手册从服务对象、服务供方、服务提供技术和保障等方面,对脑卒中患者居家康复模式进行系统阐述。具体章节包括:“服务内涵、基本概念”,“服务对象(需方):准人标准和退出标准”,“服务机构(平台):中心简介”,“服务技术团队(供方):角色分工/岗位职责”,“服务:工作流程”,“服务:操作规范”,“服务:平台保障与支持”及附录等。

(2)评议工具:本研究组借鉴对工具类文本的评价方式,基于效度理论抽取对工具类文本的效度评价内容,从结构效度、内容效度、表面效度等方面,对《工作手册》的研制过程和结果进行评价。①结构效度:其在本研究中表现为《工作手册》的外显
(研建过程及最终文本)是否匹配预期期望的《工作手册》的内涵和功能需求?对结构效度的评价,通过对《工作手册》的构成过程和要素评价来体现,具体分为3个层级:对构成要素本身进行评价,对获得构成要素的程序设计进行评价,对获得构成要素的
程序设计及执行过程其背后的决策原则进行评价。具体评价时,题干使用“对于待评价内容的具体描述,您如何评价该环节内容?”,采用李克特5级量表评价待评价内容的恰当程度:非常恰当记为5,恰当记为4,一般/不确定记为3,不恰当记为2,非常不恰当记为1。②内容效度:是评估某一测量工具选取的项目对有关内容或行为范围取样的适当性.即范围上的代表性。在本研究中,研究组将其转换为:被评价工作手册的各段输出内容是否呈现了关键部分?对关键部分的陈述是否具体至可指导操作?③表面效度:是测验使用者或被试者的主观认识上觉得有效的程度,即一个测验在使用者或被试者看来,直觉地认为其在测量什么,是否测到了所要测量的东西。在本研究中,研究组将其转换为:语句表达是否有歧义?内容效度和表面效度的评价,是针对《工作手册》中每一版块内容做以下提问:该段内容是否抓住了关键部分,关键部分是指对使用者来说确实需要强调和具体化的部分?其次,对关键部分的陈述是否具体至可指导操作?该段内容的语句表达是否有明确清晰不会产生歧义?同样,该评价采用李克特5级量表评价对待评价内容的赞同程度:非常同意记为5,同意记为4,一般/不确定记为3,不同意记为2,非常不同意记为1。此外,每个提问后设置“更多意见”,以采集专家对待评价内容的疑问和完善建议。

3.评议方法及质量控制:评议采用发送Email和邮寄纸质文件相结合的方式。评议前,由研究组成员进行试评,以完善评议工具;发送评议工具时,同步发送评议工具说明和研究简介图谱;评议资料回收后,对评议结果进行逐一审校,出现评议填写不完整时,及时发送补充评议通知和材料,请评议专家进行补充评议。

4.统计学方法:数据分析采用Excel 2010进行处理,主要采用描述性分析方法,计数资料采用频率表示,计量资料采用面x?±s表示。

研究方法A

采取的研究设计/程序设计B

采用的研究工具C

统计分析策略D

研究目的

资料与方法

结论

小背景

转折——矛盾、冲突、不足与空白

我将——本研究的目标与任务

结果

对试验、观察所搜集的资料和数据进行总体情况的分析

对资料和数据进行多项目、多指标的交叉分析

对资料和数据进行多项目、多指标的交叉分析B2

对资料和数据进行多项目、多指标的交叉分析B3

对资料和数据进行多项目、多指标的交叉分析B4

对资料和数据进行多项目、多指标的交叉分析B5

讨论主题Ⅰ A翻译或解读研究结果

讨论主题Ⅰ B说明研究结果出现的原因

讨论主题Ⅰ C将研究结果与现有知识体系进行匹配

讨论主题Ⅰ D对工作产生什么变化和影响?

本研究基于效度理论构建《工作手册》的评议工具,组建专家小组对《工作手册》的研制过程和结果进行评议,丰富了工具类文本的评议工具和《工作手册》的评议方法,可为同行提供借鉴;基于评议结果进一步完善的《工作手册》,可为同行开展脑卒中患者居家康复提供工作指导。同时,基于专家对《工作手册》中资金保障介绍的反馈,进一步核算脑卒中患者居家康复服务成本,成为本研究组的下一步研究方向。

讨论主题Ⅱ A翻译或解读研究结果

讨论主题Ⅱ B说明研究结果出现的原因

讨论主题Ⅱ C将研究结果与现有知识体系进行匹配

讨论主题Ⅱ D对工作产生什么变化和影响?

讨论主题Ⅲ A翻译或解读研究结果

讨论主题Ⅲ B说明研究结果出现的原因

讨论主题Ⅲ C将研究结果与现有知识体系进行匹配

讨论主题Ⅲ D对工作产生什么变化和影响?

讨论主题Ⅳ A翻译或解读研究结果

讨论主题Ⅳ B说明研究结果出现的原因

讨论主题Ⅳ C将研究结果与现有知识体系进行匹配

讨论主题Ⅳ D对工作产生什么变化和影响?

讨论主题Ⅴ A翻译或解读研究结果

讨论主题Ⅴ B说明研究结果出现的原因

讨论主题Ⅴ C将研究结果与现有知识体系进行匹配

讨论主题Ⅴ D对工作产生什么变化和影响?

结论之A贡献

结论之B不足

展望

志谢

作者贡献

利益声明

参考文献

版权所有 ©2018 智医创工具 All Rights Reserved. 沪ICP备12048712号-4