The First-Time

Homebuyer Education

and Counseling

Demonstration

Baseline Report:

Study Design and Implementation

U.S. Department of Housing and Urban Development  |  Office of Policy Development and Research

The First-Time Homebuyer Education

and Counseling Demonstration

Baseline Report: Study Design and

Implementation

Prepared by

Donna DeMarco

Nichole Fiore

Shawn Moulton

Debbie Gruenstein Bocian

Laura Peck

Sarah Ballinger

Karen Cuenca

Louise Rothschild

Stephen Whitlow

Abt Associates

Prepared for

U.S. Department of Housing and Urban Development

Office of Policy Development and Research

January 2017

Acknowledgments

The authors of this report gratefully acknowledge the efforts of many individuals who have

assisted in carrying out the First-Time Homebuyer Education and Counseling Demonstration

since it began in 2011. They particularly thank the government technical reviewer Dr. Marina

Myhre for her guidance and support throughout all phases of the research. Other staff members

at the U.S. Department of Housing and Urban Development, Office of Policy Development and

Research, have provided valuable guidance and technical oversight for the study. We also extend

our appreciation to Sarah Gerecke, Deputy Assistant Secretary for Housing Counseling for

HUD’s Office of Housing Counseling.

Special thanks are due to the individual participants in the First-Time Homebuyer Education and

Counseling Demonstration, who have continued to share their experiences of the homebuying

process with the study team.

The study would not be possible without the enthusiasm and dedication of the participating

lenders and housing counseling agencies. The study team is grateful for their many contributions

and continued commitment to the study. Specifically, we would like to thank NeighborWorks

America, ClearPoint, Community Ventures Corporation, and the National Council of La Raza.

This study has benefited from the contributions of a number of technical experts. The study

design reflects guidance from experts in random assignment methodology and from subject

matter experts knowledgeable about and close to the operations of homebuyer education and

counseling services. The authors are especially grateful to Dr. Stephanie Moulton (Ohio State

University), Doug Dylla, and Lucy Gorham (University of North Carolina). The study team

would like to recognize Dr. Jonathan Spader (Joint Center for Housing Studies of Harvard

University) for his direction, leadership, and passion as the project’s former director at Abt

Associates.

We also thank the members of our expert panel, J. Michael Collins (University of Wisconsin-

Madison), Chris Herbert (Joint Center for Housing Studies of Harvard University), Peter Zorn

(Freddie Mac), Carolina Reid (University of California-Berkeley), Kris Rengert (Federal Deposit

Insurance Corporation), Kenneth Brevoort (Consumer Financial Protection Bureau), and

Genevieve Melford (Consumer Financial Protection Bureau).

Implementing the study design required the efforts of a large team to recruit and work with

housing counseling agencies, enroll study participants, develop site-specific implementation

plans, and conduct random assignment. The following staff at Abt Associates carried out this

work: Lionel Combat and Brian Sokol designed the random assignment and service tracking data

collection system, and Sage Computing developed the randomization software. Louise

Rothschild, Stephen Whitlow, Elizabeth Giardino, Valerie Benson, Elizabeth Copson, Tara

Wommack, Zachary Epstein, Galen Savidge, and Jill Hamadyk worked with the agencies

collecting service tracking data and conducted on-site research to learn about their services.

Karen Cuenca, Sarah Ballinger, Stephanie Mills, Lily Rosenthal, Yolanda Borquaye, Marble

Karuu, Renee Lamoreau, Amar Patel, Emily Bell, and Cora Goldston contacted study

participants to encourage them to complete the services offered them. Anna Jefferson

coordinated the study participant outreach effort. Edward Bein, Utsav Kattel, Alison Comfort,

Tanya de Sousa, and Stephanie Mills contributed to the analysis conducted for this study.

ii

The First-Time Homebuyer Education and Counseling Demonstration involved an extensive

effort to collect data directly from study participants at several junctures. Abt SRBI led the

participant data collection activities under the direction of Chintan Turakhia, Robert Magaw, and

Julie Pacer. Molly Caldaro, Nick Bertoni, Yasmin Pluss, Brian Shepard, Emily Martinez, Sandra

Hernandez, Estella Sena, and Amanda Reilly (all at Abt SRBI) also played key roles in

coordinating and monitoring data collection activities. The study team would also like to thank

the telephone and field interviewers who spent many hours collecting survey information from

study participants.

Laura Peck (Abt Associates), Roberto Quercia (University of North Carolina), and Debbie

Gruenstein Bocian (Abt Associates) are the project’s principal investigators. Donna DeMarco

(Abt Associates) is its project director and Nichole Fiore (Abt Associates) is its deputy project

director. Shawn Moulton (Abt Associates) is the study’s director of analysis. The study’s project

quality advisor, Dr. Jill Khadduri (Abt Associates), provided technical guidance throughout all

phases of the project and thoughtful and constructive comments on this report. Dr. Meryl Finkel

(Abt Associates) provided management oversight throughout all phases of the project.

Disclaimer

The contents of this report are the views of the contractor and do not necessarily reflect the views

or policies of the U.S. Department of Housing and Urban Development or the U.S. government.

iii

Foreword

The U.S. Department of Housing and Urban Development (HUD) has sought to measure the

impact of pre-purchase counseling for nearly 40 years. Although a number of recent studies have

shown positive or neutral results of homebuyer education or counseling on outcomes such as

personal budgeting, use of credit, mortgage delinquency, and foreclosure avoidance, none of

these studies has been a large-scale, long-term, random-assignment trial. Congress and

researchers have long recognized the importance of a true randomized research demonstration to

isolate the effect of housing education and counseling on first-time homebuyer outcomes from

other effects. This report provides a window into the rigorously designed demonstration now

under way to provide insight into the value of homebuyer education and counseling that meet

HUD Housing Counseling Program standards and that is delivered both remotely (through the

Internet and telephone) and in person to potential first-time homebuyers.

In 2014, HUD successfully launched a large-scale, randomized experiment to reliably assess the

impact of homebuyer education and counseling for a diverse sample of more than 5,800 low-,

moderate-, and middle-income prospective first-time homebuyers in 28 U.S. metropolitan areas.

Preliminary 12-month findings on the first 2,377 study participants were available and released in

June 2016 [https://www.huduser.gov/portal/sites/default/files/pdf/First-Time-Home-Buyers.pdf].

With enrollment of the full study sample complete, this report presents the study research design and

describes its implementation, the characteristics of the treatment and control groups, and participants’

early experiences with the intervention, including an analysis of focus group discussions.

Like most “firsts,” this study has already shed light on key issues for replicating such research

and for policy. In particular, although the very low take-up for in-person education and

counseling and the much higher take-up of online education and remote counseling documented

in the preliminary report persist for the full sample, we are now discovering additional

information on what drives those differences in consumer preference and behavior.

The research and focus group results point to various strategies to reach potential first-time

homebuyers and to the types of people for whom a particular mode of education or counseling

may be most desirable. The study underscores the public- and private-sector contributions

necessary to stand up a randomized controlled trial of this complexity and scope, and it reflects

the strength of HUD’s underlying commitment to homebuyer knowledge and how knowledge

influences behavior. The magnitude of the sample (N = 5,854), the geographic representation

(28 large U.S. metropolitan areas), and the scientific rigor and independence of the study are

unparalleled in the housing counseling field. With the successful implementation of the

randomized experiment, we are hopeful that over the next 3 years the study will produce the

long-sought answers about the impact of homebuyer education and counseling on first-time

homebuyers’ mortgage literacy and preparedness, homebuyer outcomes, and loan performance.

The study will also measure the value of housing counseling and education for those who chose

not to buy or were unable to buy their first home after the education and counseling.

Katherine M. O’Regan

Assistant Secretary for Policy Development and Research

Department of Housing and Urban Development

iv

Contents

Executive Summary ..................................................................................................................... ix

Experimental Evaluation Design .......................................................................................... ix

The Intervention ..................................................................................................................... x

Baseline Characteristics and Representativeness of the Sample .......................................... xi

Take-up of Homebuyer Education and Counseling Services .............................................. xii

Conclusion .......................................................................................................................... xiii

1.  Introduction ........................................................................................................................... 1

Background ............................................................................................................................ 1

Study Overview ..................................................................................................................... 3

Data Sources .......................................................................................................................... 4

Study Timeline ....................................................................................................................... 4

Report Objectives ................................................................................................................... 5

Organization of This Report .................................................................................................. 6

2.  Research Questions and Evaluation Design ........................................................................ 8

Research Questions and Study Outcomes .............................................................................. 8

Experimental Evaluation Design ......................................................................................... 10

Impact Analysis ................................................................................................................... 13

3.   The Intervention: In-Person and Remote Homebuyer Education and Counseling............. 15

National Industry Standards for Homeownership Education and Counseling .................... 15

In-Person Homebuyer Education and Counseling Services ................................................ 16

Remote Homebuyer Education and Counseling Services ................................................... 23

The Study’s Training and Monitoring of Agencies ............................................................. 27

Comparison of In-Person and Remote Services .................................................................. 28

4.  Participant Recruitment, Enrollment, and Random Assignment ................................... 31

Study Participant Recruitment ............................................................................................. 32

Study Participant Enrollment ............................................................................................... 34

Random Assignment ............................................................................................................ 38

5.  Baseline Characteristics and Representativeness of the Sample ..................................... 41

The Study Sample at Baseline ............................................................................................. 41

Baseline Balance Testing ..................................................................................................... 56

External Validity of the Study’s Sample ............................................................................. 60

6.  Take-up Rates and Service Tracking Data ....................................................................... 71

Treatment Group Take-up Rates .......................................................................................... 71

Intensity of Education and Counseling Service Received ................................................... 75

Encouraging Study Participants To Take Up Homebuyer Education and Counseling

Services .............................................................................................................................. 82

7.  Focus Groups ....................................................................................................................... 87

Prior Knowledge About Homebuyer Education and Counseling ........................................ 88

Homebuyer Education and Counseling ............................................................................... 88

Obstacles and Challenges to Completing Homebuyer Education and Counseling ............. 97

v

Preferences Expressed by Participants ................................................................................. 99

Benefits of Services and Saving Money ............................................................................ 101

Dissemination of Information ............................................................................................ 105

Experience of Study Enrollment ........................................................................................ 107

Key Findings From the Focus Groups ............................................................................... 109

8.  Summary and Next Steps .................................................................................................. 111

Summary ............................................................................................................................ 111

Next Steps .......................................................................................................................... 113

Appendix A: Previous Studies of Pre-purchase Homebuyer Education and Counseling .. A-1

Appendix B: Data Sources ....................................................................................................... B-1

Appendix C: Study Participant Recruitment and Enrollment ............................................. C-1

Appendix D: HUD Letter to Potential Study Participants.................................................... D-1

Appendix E: Study Brochure ................................................................................................... E-1

Appendix F: Study Participant Consent Agreement .............................................................. F-1

Appendix G: Study Participant Eligibility Assessment ......................................................... G-1

Appendix H: Study Participant Baseline Survey ................................................................... H-1

Appendix I: Welcome to the Study Materials ......................................................................... I-1

Appendix J: Focus Group Recruitment and Implementation ............................................... J-1

Appendix K: Works Cited ....................................................................................................... K-1

vi

List of Exhibits

Exhibit 1.1:  Timeline of the HUD First-Time Homebuyer Education and Counseling

Demonstration ..........................................................................................................5

Exhibit 2.1:  Logic of Intervention’s Influence on Outcomes .......................................................9

Exhibit 2.2:  Outcome Domains and Illustrative Outcomes ........................................................10

Exhibit 2.3:  Study Enrollment, by Group and Time Period .......................................................12

Exhibit 3.1:  National Industry Standards, Homebuyer Education’s Core Content ....................16

Exhibit 3.2:  The Study’s 28 Metropolitan Areas ........................................................................17

Exhibit 3.3:  Housing Counseling Agencies Providing the Study’s In-Person Services .............18

Exhibit 3.4:  NeighborWorks America  Realizing the American Dream: In-Person

Homebuyer Workshop Curriculum........................................................................22

Exhibit 3.5:  NeighborWorks America  Realizing the American Dream: In-Person

Homebuyer Counseling Activities .........................................................................23

Exhibit 3.6:  eHome America’s Online Homebuyer Education Curriculum ...............................25

Exhibit 3.7:  Summary of Telephone Counseling Protocol .........................................................27

Exhibit 3.8:  Differences Between In-Person and Remote Homebuyer Education and

Counseling .............................................................................................................30

Exhibit 4.1:  Study Locations and Sample Sizes .........................................................................31

Exhibit 4.2:  Step-by-Step Process To Recruit Study Participants From Lenders .......................32

Exhibit 4.3:  Step-by-Step Process To Enroll Study Participants ................................................34

Exhibit 4.4:  Study Recruitment and Enrollment Process by the Numbers .................................39

Exhibit 4.5:  Study Participant Compensation for Study Activities ............................................40

Exhibit 5.1:  Baseline Sociodemographic Characteristics, Full Sample ......................................42

Exhibit 5.2:  Baseline Income Distribution, Full Sample ............................................................42

Exhibit 5.3:  Percent of Study Participants With Low, Moderate, Middle, and High

Income, Full Sample ..............................................................................................43

Exhibit 5.4:  Baseline Household Composition, Full Sample .....................................................44

Exhibit 5.5:  Proportion of Borrowers Who Plan To Purchase With a Co-Borrower, by

Marital Status, Full Sample....................................................................................45

Exhibit 5.6:  Stage in the Homebuyer Process at Baseline, Full Sample .....................................45

Exhibit 5.7:  Baseline Measures of Financial Behaviors, Full Sample ........................................47

Exhibit 5.8:  Baseline Credit Score, Full Sample ........................................................................47

Exhibit 5.9:  Baseline Savings, Cash for Downpayment, and Nonmortgage Debt, Full

Sample....................................................................................................................48

Exhibit 5.10:  Financial Characteristics at Baseline: Home Purchasers vs. Nonpurchasers ........49

Exhibit 5.11:  Pre-purchase Housing Arrangements, Full Sample ...............................................50

Exhibit 5.12:  Pre-purchase Rental Costs and Expected Home Purchase Costs ...........................51

Exhibit 5.13:  Estimated Housing Cost Burden ............................................................................52

vii

Exhibit 5.14:  Importance of Neighborhood Features at Baseline, Full Sample ..........................54

Exhibit 5.15:  Most Important Home or Neighborhood Feature at Baseline, Full Sample ..........54

Exhibit 5.16:  Importance of Home Features at Baseline, Full Sample ........................................55

Exhibit 5.17:  Years Planned To Live in the Home They Purchased or Plan To Purchase,

Full Sample ............................................................................................................56

Exhibit 5.18:  Summary of Baseline Balance Tests ......................................................................57

Exhibit 5.19:  Baseline Balance Testing, Demographic Characteristics of Study

Participants .............................................................................................................58

Exhibit 5.20:  Baseline Balance Testing, Measures of Homebuying Stage, Financial

Responsibility and Creditworthiness of Study Participants ...................................59

Exhibit 5.21:  Four Indicators of Economic, Housing Market, and Mortgage Market

Conditions (4 Panels) .............................................................................................61

Exhibit 5.22:  Comparison of Study Sample at Baseline and Renters (2015) ..............................66

Exhibit 5.23:  Comparison of Study Homeowners at Baseline and Recent Homebuyers ............69

Exhibit 5.24:  Comparison of Study Sample to Population of Pre-purchase Clients Served

by Three National Homebuyer Education and Counseling Providers ...................70

Exhibit 6.1:  Take-up Rates, by Mode of Treatment Offered, as of August 2016 .......................72

Exhibit 6.2:  Take-up Rates, by Mode of Treatment Offered and Stage in Homebuying

Process, as of August 2016 ....................................................................................74

Exhibit 6.3:  Completion and Duration of Remote Homebuyer Education .................................76

Exhibit 6.4:  Completion and Duration of In-Person Homebuyer Education ..............................77

Exhibit 6.5:  Duration of Homebuyer Counseling, Among Counseling Completers ..................78

Exhibit 6.6:  Time From Random Assignment to Completion of Homebuyer Education,

Homebuyer Counseling, or Both ...........................................................................79

Exhibit 6.7:  Homebuyer Counseling Action Items and Goals Provided to Counseling

Completers .............................................................................................................81

Exhibit 6.8:  Outreach Process for Treatment Group Members ..................................................83

Exhibit 6.9:  Results of Random Assignment Referral Calls .......................................................84

Exhibit 7.1:  Distribution of Focus Group Attendees (N = 64) ...................................................87

Exhibit 8.1:  Future Study Products ...........................................................................................114

Exhibit A.1:  Summary of 16 Pre-purchase Homebuyer Education and Counseling

Evaluations .......................................................................................................... A-4

viii

Executive Summary

For generations, homeownership has been a gateway to the middle class and a cornerstone of the

American Dream. As the recent collapse and uneven recovery of the housing market revealed,

however, homeownership can pose risks, both to borrowers and to the broader economy.

Homebuyer education and counseling are designed to help prospective first-time prospective

homebuyers think critically about the benefits and risks of homeownership, understand how to

choose affordable homes and appropriate mortgage products, and build the financial knowledge,

resources, and behaviors needed for sustainable homeownership and long-term financial health.

The aim is not only to help them navigate the homebuying process but to help them  keep  their

homes over the long term. Although a body of prior research suggests that education and

counseling are helpful for homebuyers, conclusive evidence linking homebuyer education and

counseling causally to desired outcomes is lacking. This study fills a critical research information

void and is poised to provide the best evidence yet available about the effectiveness of

homebuyer education and counseling.

The First-Time Homebuyer Education and Counseling Demonstration (hereafter, the

Demonstration) uses a randomized experimental design, the gold standard for evaluation, to

evaluate the effectiveness of homebuyer education and counseling services for low-, moderate-,

and middle-income (LMMI) prospective first-time homebuyers. The Demonstration began

enrollment in September 2013 and is expected to follow study participants over 42 months to

determine the impact of homebuyer education and counseling on a wide variety of outcomes

related to homeownership preparedness and search; financial literacy, capability, and

management; and homeownership sustainability. As elaborated in this report, the Demonstration

has successfully completed its implementation phase, partnering with three national lenders and

over 60 housing education and counseling agencies across 28 metropolitan areas to recruit and

enroll a large sample of LMMI prospective first-time homebuyers and randomly assign them to

three homebuyer education and counseling treatment groups and a control group that received no

services.

This Baseline Report has four main objectives: (1) to describe the Demonstration’s design; (2) to

detail the Demonstration’s implementation from inception through enrollment; (3) to describe

the study sample’s characteristics; and (4) to describe the treatment groups’ experiences with the

intervention through the first 12 months of their enrollment in the study. This information

provides context for interpreting later findings on intervention impacts.

Experimental Evaluation Design

The Demonstration uses an experimental evaluation design, randomizing eligible prospective

first-time homebuyers to one of three treatment groups or to a control group. Those study

participants assigned to a treatment group were offered free in-person services, free remote

services, or their choice of free in-person or free remote services. Those study participants

randomly assigned to the control group were not offered any homebuyer education or counseling

services.

The primary research question of the Demonstration is  What impact does offering homebuyer

education and counseling have on low-, moderate-, and middle-income prospective first-time

homebuyers?

ix

In answering this question, the study will estimate the impact of the intervention on outcomes in

three domains: (1)  homeownership preparedness and search; (2)  financial literacy, capability, and management;   and  (3)  homeownership sustainability.

The Demonstration’s intervention is the  offer of free homebuyer education and counseling

services—that is, members of the treatment group gained free access to homebuyer education

and counseling services, but they were not required   to  take up the services. As a result, the study will produce experimental impact estimates of being  offered free homebuyer education and

counseling. Later analyses will estimate the impacts of taking up those services and of

completing services. Although the planned methods for estimating the impacts of taking up and

completing services rely on experimental data, they require additional assumptions that exceed

those necessary to produce the experimental estimate of the impact of offering homebuyer

education and counseling and, therefore, will further limit interpretation.

Three large national mortgage lenders partnered with HUD and the study team to recruit the

study’s participants. Lenders screened their national databases for customers who met the

following criteria: (1) the customer resided in 1 of the study’s 28 locations (metropolitan areas);

(2) the customer contacted the lender regarding preapproval, prequalification, or application for a

home loan; (3) the customer would be a first-time homebuyer (had not owned a home in the

previous 3 years); and (4) the customer was part of a LMMI household (defined as having a

household income of less than 120 percent of the local area’s median income). Customers who

were interested in participating in the study and who consented to having their contact

information shared were referred by the lenders to the study team. Any customers participating

in a downpayment assistance or other program that required homebuyer education or counseling

were excluded from the study because the requirement would preclude their random assignment

to the control group that received no services.

During the study’s enrollment period (September 2013 through February 2016), the study team

enrolled 5,854 eligible prospective first-time homebuyers. The Demonstration is expected to

follow all study participants over 42 months, collecting and analyzing administrative data from

the lenders, the Federal Housing Administration, a credit bureau, and the housing counseling

agencies, as well as data from a baseline survey and follow-up surveys (funding permitting) of

the study participants. This Demonstration is poised to inform the evidence base, providing

critical information about the long-term impact of homebuyer education and counseling services

for a large, diverse sample of prospective first-time homebuyers, whether they purchase a home

or not.

The Intervention

The intervention evaluated in this Demonstration consists of the offer of free homebuyer

education and counseling. Homebuyer  education is general training about buying a home and

financial management; homebuyer  counseling is one-on-one guidance tailored to the particular

needs of the individual homebuyer. The homebuyer education and counseling services in the

study are provided in two modes: in person and remotely (that is, through the Internet and by

telephone). These two modes reflect current practices in the homebuyer education and

counseling industry.

x

For the provision of services, the study team partnered with 63 local housing counseling agencies

and two remote service providers across 28 large metropolitan areas throughout the United

States. The local housing counseling agencies deliver the homebuyer education in group

workshops and the homebuyer counseling in one-on-one and face-to-face sessions. For remote

services, the study team partnered with providers eHome America for online homebuyer

education and ClearPoint for telephone homebuyer counseling.

All agencies participating in the study adhere to the National Industry Standards for

Homeownership Education and Counseling (Advisory Council, 2013) and are HUD approved,

ensuring that the intervention services provided through the study are reasonably consistent in

structure and content and are administered by programs that have been reviewed by HUD to

meet its standards for quality. Findings generated from this study, however, may not be

generalizable to other types of programs (for example, foreclosure counseling) or to services

provided by other types of agencies (for example, those that do not adhere to the National

Industry Standards or are not approved by HUD).

Baseline Characteristics and Representativeness of the Sample

This Baseline Report profiles the study participants’ sociodemographic characteristics and

financial situation and capability at the time of study enrollment. The study sample is diverse

along many dimensions. For example, more than 60 percent of the sample self-identifies as a

member of a minority group: 25 percent as Hispanic, 20 percent as African-American, and 12

percent as Asian. Thirty-nine percent are White and not Hispanic. Compared with recent

homebuyers observed in the American Housing Survey (AHS), the study sample has roughly the

same proportions of Hispanic and African-American homebuyers and a slightly higher share of

Asian homebuyers. Sixty percent are male and 40 percent are female. The study participants

represent a range of education attainment, but most (54 percent) have at least a bachelor’s

degree. Most participants (90 percent) were working full time at the time of enrollment, and

about one-fourth (26 percent) planned to buy a home with a co-borrower. Study participants and

their co-borrowers had a median income of $54,000 in the year prior to study enrollment, and 90

percent had credit scores of 620 or higher at the time of enrollment. 1

Although the study targeted customers who were in the initial stages of the homebuying process,

the study enrolled participants at various stages of the process. Nearly 25 percent of study

participants had not yet visited any homes at the time of study enrollment; 36 percent had visited

homes but had not yet had an offer accepted; 25 percent had signed a purchase agreement; and 13

percent of study participants had already purchased a home. The stage at which participants enter

the study has implications for the potential impacts of homebuyer education and counseling. The

further along participants are in the homebuying process, the more decisions they have already

made and, consequently, the less homebuyer education and counseling can influence outcomes

related to those decisions. However, even for those who were further along in the homebuying

process, homebuyer education and counseling have the potential to affect financial literacy,

capability, and management outcomes and, ultimately, homeownership sustainability.

1   Possibly because the study draws participants exclusively from metropolitan areas, the study sample’s average income is higher than that of the recent homebuyers sampled in the AHS, and the share of the sample with low credit scores is lower than the in AHS sample.

xi

Study participants generally reported positive financial and savings behaviors at the time of

enrollment. However, indications of financial vulnerabilities were identified in the study sample,

with some 15 percent saying they sometimes used a payday lender and about one-third not

having a retirement account. Those who had already purchased a home had a more favorable

financial profile than those in the earlier stages of the homebuying process.

Baseline participant characteristics are balanced across the treatment and control groups,

demonstrating that random assignment was performed in a valid manner. Because they are based

on a large sociodemographically and geographically diverse sample of participants, the study

findings will reflect a wide variety of LMMI prospective first-time homebuyers and will

confidently interpret impact estimates as the causal effect of offering free homebuyer education

and counseling. The study is designed to provide the first large-scale, long-term experimental

evidence on the impacts of homebuyer education and counseling.

Take-up of Homebuyer Education and Counseling Services

Study participants assigned to a treatment group were offered free homebuyer education and

counseling services in person at a local housing counseling agency or remotely through the

Internet and telephone, or they were given the choice of completing services in person or

remotely. More than one-half (55 percent) of the study participants who were offered homebuyer

education and counseling initiated (or “took up”) services.

Study participant take-up rates varied according to the mode of the intervention (in person or

remotely). Although about two-thirds (63 percent) of study participants who were offered remote

homebuyer education and counseling initiated at least one of those services, only about one-

fourth (26 percent) of those who were offered in-person homebuyer education and counseling

had done so as of August 2016. In an effort to increase the size of the sample of people who took

up services, HUD and the study team redesigned the protocol for assignment to treatment groups.

Starting in September 2014, the in-person treatment group was replaced with a treatment group

that was given a choice between in-person and remote services. For all treatment groups, the

study team conducted multiple types of outreach to encourage study participants to take up

services and tracked service initiation and completion.

During the final 5 months of the study enrollment period, the study team conducted 14 focus

groups in four study sites. This research highlights the experience of the study participants,

including why some in the treatment groups decided to complete or not complete homebuyer

education and counseling. The research and focus group results indicate that study participant

characteristics, preferences, and behaviors are varied and that a diverse set of strategies would be

the most effective way to reach potential first-time homebuyers.

Study participants reported that they took up services because they knew the homebuying

process would be complicated and they believed the information provided through homebuyer

education and counseling would help them through the process. The reasons for not taking up or

not completing services tended to vary by service delivery mode. Those who had been offered

in-person homebuyer education and counseling services spoke about scheduling difficulties, the

length of the course, and the agency’s location. Those who had been offered remote services

cited competing priorities on their schedules and the length of the course.

xii

In addition to learning homebuying terminology, focus group participants reported that one of

the most meaningful benefits of completing homebuyer education and counseling was reducing

the stress they feel in buying a home.

Conclusion

Although homebuyer education and counseling are widely available and heavily used,

experimental evidence about their impacts on participant outcomes has been difficult to produce.

As the first large-scale national experimental evaluation, the First-Time Homebuyer Education

and Counseling Demonstration attempts to fill this research void. With the enrollment phase now

completed, this study has successfully laid the groundwork to become a foundational source of

evidence for policymakers regarding the impacts of homebuyer education and counseling.

xiii

1.  Introduction

This Baseline Report describes the implementation of the First-Time Homebuyer Education and

Counseling Demonstration, (hereafter the Demonstration). This large-scale, multisite

experimental study is sponsored by the U.S. Department of Housing and Urban Development. Its

objective is to measure the impacts of homebuyer education and counseling on low-, moderate-,

and middle-income (LMMI) prospective first-time homebuyers.

The report explains the Demonstration’s design, the features of the homebuyer education and

counseling services being evaluated, and the recruitment process for study participants. The

report also provides baseline characteristics of the study sample and early information on their

take-up of and experiences with the homebuyer education and counseling services offered.

The report has four main objectives: (1) to describe the Demonstration’s design; (2) to detail the

Demonstration’s implementation from inception through enrollment; (3) to describe the study

sample’s characteristics; and (4) to describe the treatment groups’ experiences with the

intervention through the first 12 months of their enrollment in the study. This information

provides context for interpreting later findings on intervention impacts.

Background

Homeownership traditionally has been an important pathway to financial security for U.S.

families. Homeownership helps households achieve that security in a variety of ways. First,

homeowners are forced to save through regularly scheduled mortgage payments, a portion of

each payment reducing the principal owed. Second, homeownership is a “leveraged” investment,

typically enabling homebuyers to commit only a small fraction of the home’s value as a

downpayment but to realize returns on the entire value of the property if it appreciates. Finally,

many homeowners take federal deductions for property taxes, mortgage interest, and private

mortgage insurance, reducing their tax burden. Homeownership can bestow nonfinancial

benefits, too. For example, evidence (Rohe and Lindblad, 2013) suggests that homeowners

display greater engagement in social and political activities and are psychologically healthier

than those who do not own a home.

These benefits of homeownership have made homeownership a cornerstone of the American

Dream for generations. Even in the wake of the foreclosure crisis, Americans display a strong

desire to own their own home. The MacArthur Foundation’s 2014 Housing Matters Survey

found that 70 percent of non-owners aspired to homeownership (Hart Research Associates,

2014).

Homeownership also has risks, however. Unaffordable mortgage payments, the opportunity costs

of not investing in better-performing assets, home maintenance responsibilities, and the higher

transaction costs of moving to a new house can make homeownership more a burden than a

benefit in certain circumstances. Housing price fluctuations can make investment in

homeownership precarious, particularly under short time horizons. 2 Unsustainable

2   For a discussion of the costs and benefits of homeownership in the aftermath of the housing crisis, see Herbert et al. (2013).

1

homeownership can lead to financial distress and, in the worst cases, foreclosure. Families who

lose their homes often suffer other adverse consequences, such as negative educational and

health effects (Isaacs, 2012; Tai, 2015).

In addition to the benefits and risks to homeowners individually, homeownership has benefits

and risks to communities. Higher levels of homeownership often are associated with better

maintained properties and higher property values (Glaeser and Shapiro, 2003) as well as higher

levels of community cohesion and trust among neighbors (Rohe and Lindblad, 2013). When

homeownership is unsustainable broadly, however, the negative consequences can extend

beyond the individual families affected, as was apparent in the recent foreclosure crisis, when

high concentrations of abandoned properties increased blight and crime, reduced property values

of surrounding properties, and lowered local tax bases, devastating entire communities (Kingsley

et al., 2009).

Because homeownership has significant individual and public consequences, initiatives geared

toward increasing and supporting homeownership have been an important part of the national

policy agenda for decades. Federal policies to expand homeownership range from tax incentives,

to guarantees of home loans through the Federal Housing Administration (FHA) and the U.S.

Department of Veterans Affairs (VA), to support for secondary mortgage markets through

Fannie Mae and Freddie Mac. These policies are complemented by policies to help ensure that

homeownership is sustainable, such as regulations banning risky mortgage products and unsound

lending practices.

One federal policy designed to both expand access to homeownership and ensure its sustainability

is support for first-time homebuyer education and counseling. Such programs are designed to help

individual homebuyers—

•  Think critically about the benefits and risks of homeownership.

•  Understand how to select affordable homes and appropriate mortgage products.

•  Develop the financial knowledge, resources, and behaviors needed for sustainable

homeownership and long-term financial health.

Federal funding for homebuyer education and counseling is not guaranteed, and Congress has

targeted it for cuts in recent years. 3 One reason funding for homebuyer education and counseling is controversial is the absence of conclusive empirical evidence of the effectiveness of these

services. During the past two decades, several empirical studies have looked at the effectiveness

of these and related services. Overall, the studies have reported many favorable outcomes, such

as lower rates of loan delinquency or default, higher rates of prepayment, and modestly better

credit scores. Methodological and technical concerns with these studies, however, make their

findings suggestive rather than conclusive (see appendix A).

As the first large-scale national experimental evaluation, the Demonstration attempts to fill the

research void.

3   For example, funding for housing counseling was cut from the federal budget in FY2011. See HUD’s FAQ

document about the funding cuts at http://portal.hud.gov/hudportal/documents/huddoc?id=ohc_041911.pdf.

2

Study Overview

The Demonstration is a randomized experimental evaluation of homebuyer education and counseling

for first-time homebuyers. Study participants were recruited through three large national lenders. By

randomly assigning participants to control or treatment groups, the study can isolate the unbiased

experimental impact of being offered free homebuyer education and counseling.

The Demonstration will follow participants to determine the impact of homebuyer education and

counseling on a wide variety of short-, intermediate-, and long-term outcomes. These outcomes

relate to one of three categories: homeownership preparedness and search; financial literacy,

capability, and management; and homeownership sustainability.

Implementing the study required recruiting three national lenders, 63 local housing counseling

agencies that provide in-person services, two agencies providing services remotely (telephone

and online), and more than 5,800 study participants across 28 large metropolitan areas.

The current study will advance knowledge around homebuyer education and counseling in

critical ways.

•   Uses a randomized experimental evaluation design.  Most importantly, the Demonstration is

the first study of its kind to employ a large-scale national randomized experimental design.

By creating treatment and control groups that are similar in all ways, both measureable and

unmeasurable, differences in the mean outcomes between the treatment and the control

groups will be attributable to the intervention.

•   Assesses the intervention’s impact on a large and diverse sample of LMMI prospective first-

time homebuyers.  Despite the parameters placed on study eligibility, our study’s sample is

large and reflects a wide range of demographic and financial traits. The large number of

study participants, recruited from across the country, will enable the study to measure the

intervention’s impact on various subpopulations.

•   Captures a wide range of short-, intermediate-, and long-term outcomes.  Most existing

studies estimate the impact of homebuyer education and counseling on loan performance,

including mortgage prepayment, delinquency, default, and foreclosure. Homebuyer education

and counseling may affect other outcomes, however, including tenure decision (the decision

whether to purchase or defer), financial management, choice of mortgage products, and home

purchase price. This study will follow participants over 42 months (funding permitting) to

determine the impact of homebuyer education and counseling not only on loan performance

but also on a wide variety of other short-, intermediate-, and long-term outcomes related to

homeownership preparedness and search, financial literacy, capability, and management, and

homeownership sustainability.

•   Includes homebuyer education and homebuyer counseling, and provides those services via

two alternative modes of delivery.  An important advantage of this study is that it examines

both homebuyer education and homebuyer counseling, two distinct services. Homebuyer

education is general training about buying a home and financial management; homebuyer

counseling is one-on-one guidance tailored to the particular needs of the individual

homebuyer. These two types of services are complementary and commonly used together,

but most studies evaluate only one of them. As a result, those studies do not capture the

effect of the combined services. Another contribution of the current study is that it examines

3

homebuyer education and counseling delivered through two different modes.  In-person

describes education workshops attended in a physical classroom and counseling sessions

where recipient and counselor are face to face;  remote  describes online education and

telephone-based counseling. In-person and remote homebuyer education and counseling are

the two dominant models of service provision in the field.

•   Examines homebuyer education and counseling services that meet industry and government

standards.  The study’s intervention services adhere to National Industry Standards for

Homeownership Education and Counseling (Advisory Council, 2013) and are provided only

by HUD-approved agencies, ensuring that the content of services that is offered to treatment

group members is comprehensive and consistent and that these services are provided by

agencies that meet HUD’s standards for quality. As a result, data and observations from the

study will provide credible lessons for program practice and policymaking.

Data Sources

The evaluation will use a wide variety of primary and secondary data sources in its analyses,

including the following.

•  Three surveys of study participants: at baseline, at 12 months following enrollment, and at 42

months following enrollment. The 12-month follow-up survey data are still being collected

for most study participants, and the 42-month follow-up survey is pending future funding.

•  Loan origination and servicing data from participating lenders and the FHA.

•  Study member credit data from one of the three major credit bureaus.

•  Data on services that treatment group members received from counseling agencies. Each

participating housing counseling agency collects information on study participants who

initiate services with that agency. These service tracking data include a detailed record of the

services received by the study’s treatment group members who took up services. It includes

dates and duration of homebuyer education and counseling sessions, participants’ completion

status, and topics covered.

•  Focus groups with treatment group members in four locations, supporting a qualitative

exploration of study participants’ experiences with homebuyer education and counseling

services and the home purchase process.

•  Qualitative data from study team members’ interactions with the lenders and from site visits

to participating homebuyer education and counseling service providing agencies.

These data sources are described in detail in appendix B.

Study Timeline

Exhibit 1.1 provides a timeline of the Demonstration, from its inception in 2011 through its

proposed final report in 2020. In September 2011, HUD initiated the evaluation. During the next

2 years, HUD and the study team identified and recruited the necessary organizational partners—

three lenders, 63 local housing counseling agencies, and two providers of remote education and

counseling services. In the fall of 2013, the study piloted recruitment and random assignment in

3 sites, followed 3 months later by the launch of full study enrollment across all 28 sites.

Enrollment ended in February 2016.

4

Exhibit 1.1:  Timeline of the HUD First-Time Homebuyer Education and

Counseling Demonstration

HUD = U.S. Department of Housing and Urban Development.

The Early Insights Report presented a brief summary of the Demonstration’s progress following

the completion of the enrollment phase, as well as preliminary information about the outcomes

of the first 2,377 individuals enrolled in the study, including initial estimates of the impact of

homebuyer education and counseling with respect to four outcomes. The study’s Interim Report,

scheduled for early 2018, will provide analysis on 12-month outcomes for all study participants.

The final report, if funded, will provide analysis on 42-month outcomes.

Report Objectives

The Demonstration’s enrollment phase is complete, laying the groundwork for a study that can

inform policymaking regarding the effectiveness of first-time homebuyer education and counseling.

The four objectives of this Baseline Report are to describe the Demonstration’s—

1.   Design.  The report describes the study’s design in detail, including a critical modification made in response to low take-up of services in one treatment group.

2.   Implementation.  The report details the implementation of the study, from inception through

enrollment, including—

•  How the homebuyer education and counseling interventions evaluated in this study

operate, what topics they cover, and whether those topics differ by service delivery mode.

•  How study participants were recruited into the study.

•  How treatment group members were encouraged to take up services, the service take-up

rates, and how take-up rates vary by service delivery mode.

•  What lessons were learned for future research and practice.

5

3.   Participant characteristics. The report illustrates the study sample’s baseline characteristics, how well characteristics are balanced between control and treatment groups, and implications

of both the sample’s characteristics and the study’s setting for interpretations of future

analyses.

4.   Participant experiences. The report describes the experiences of the study participants during the first 12 months after enrollment, including the rate at which they took up and completed

services and their experiences with those services.

Organization of This Report

The rest of the report proceeds as follows.

•  Chapter 2—Research questions, study outcomes, and study design and methodology.

•  Chapter 3—Homebuyer education and counseling intervention; specific information about

the content and partners for each set of services.

•  Chapter 4—Process of enrolling study participants.

•  Chapter 5—Baseline characteristics of the study participants; the external validity of the

study’s sample and setting.

•  Chapter 6—Participants’ homebuyer education and counseling take-up rates and service

tracking data.

•  Chapter 7—Information collected from focus groups with study participants.

•  Chapter 8—Summary and discussion of future analysis and reports.

•  Appendix A—Previous studies of pre-purchase homebuyer education and counseling.

•  Appendix B—Data sources used for the report.

•  Appendix C—Process for study participant recruitment and enrollment.

•  Appendix D—HUD letter to potential study participants.

•  Appendix E—Study brochure.

•  Appendix F—Study participant consent agreement.

•  Appendix G—Study participant eligibility assessment.

•  Appendix H—Study participant baseline survey.

•  Appendix I—Welcome to the study materials.

•  Appendix J—Focus group recruitment and implementation.

The text box defines some key terms used throughout the report.

6

Terminology Used in This Report

Intervention: The intervention is the offer of free homebuyer education and counseling services that is given to treatment group members.

Homebuyer education and counseling: The education and counseling services examined in this study are homebuyer education and counseling services. These same services are sometimes called  pre-purchase services because clients usually participate in them prior to purchasing a home and to differentiate these services from  post-purchase services (such as foreclosure prevention counseling). Because this study’s participants were at various stages in the homebuyer process when they enrolled and because post-purchase services are not part of the study (and therefore there is no need to distinguish between pre-

purchase and post-purchase services), the study uses the broader “homebuyer” modifier.

Housing counseling agencies:  The agencies that provide the homebuyer education and counseling

services are commonly called  housing counseling agencies.

Office of Housing Counseling:  HUD’s office that provides support, funding, and oversight to housing counseling agencies.

Study participants: All individuals who are enrolled in the study, regardless of the experimental group to which they were assigned, are the  study participants.

Treatment group members:  Study participants who were offered access to free homebuyer education and counseling as part of study participation are the  treatment group members.

Control group members: Control group members are study participants who were not offered access to homebuyer education and counseling as part of study participation. They represent the “counterfactual,”

which is what happens in the absence of the intervention.

Modes of services:  Modes of services are the two means by which homebuyer education and counseling were offered to study participants, either in person, at a local housing counseling agency, or remotely, through the Internet and telephone.

Outcomes:  Outcomes refers to the specific constructs of interest that the intervention aims to influence.

Outcome domain: Each specific outcome is part of a category of outcomes referred to as a  domain. The three outcome domains are homeownership preparedness; financial literacy, capability, and

management; and homeownership sustainability.

Impact: The  impact  of an intervention is the  change in outcomes that arises  because of the intervention.

Recruitment:  Recruitment is the phase of the research project during which the study team, in partnership with national lenders, brought individuals into the study.

Enrollment:  Enrollment is the portion of the recruitment phase of the research project during which those individuals who met initial screening criteria and expressed interest in participating took steps to become study participants.

Take-up:  Take-up refers to treatment group members’ initiation of homebuyer education and counseling services. The  take-up rate is the proportion of each treatment group who initiated the services that they were offered.

Service recipients or  recipients: Members of a treatment group who took up the offer of homebuyer education and counseling services and received them are the  service recipients or recipients.

Baseline survey: At study enrollment, study participants completed a baseline survey that captured information about them and their households. This survey’s response rate is 100 percent: all study

participants completed the survey.

Interim survey: The study fielded a follow-up survey called the  interim survey 12 months after study participants enrolled in the study. The survey covers a wide variety of topics that are the outcomes of

interest to the study.

7

2.  Research Questions and Evaluation Design

The Demonstration aims to measure the impact of homebuyer education and counseling on low-,

moderate-, and middle-income first-time prospective homebuyers in 28 study sites. This chapter

presents the key research questions, outcomes selected for measurement, and the experimental

study design. The chapter ends with a discussion of the analysis design that will be used to

estimate the impact of the intervention.

Research Questions and Study Outcomes

The primary question guiding this evaluation is:  What impact do homebuyer education and

counseling have on low-, moderate-, and middle-income prospective first-time homebuyers?

From this question flow more specific questions that reflect three categories of outcomes

(or outcome domains) that homebuyer education and counseling should, in theory, affect—

•  Preparedness and search—Outcomes related to deciding to purchase a home or not,

selecting a home to purchase, and qualifying for and terms of mortgages.

•  Financial literacy, capability, and management—Outcomes related to participants’

financial health, including budget discipline, debt and savings, access to affordable credit,

and credit profile.

•  Homeownership sustainability—Outcomes related to mortgage performance, ability to

avoid foreclosure, and the accrual and protection of home equity.

The specific research questions for this evaluation are—

1.   To what extent do homebuyer education and counseling affect study participants’

homeownership preparedness or their home or mortgage search activities?

2.   To what extent do homebuyer education and counseling improve study participants’ financial

literacy, capability, and financial management?

3.   To what extent do homebuyer education and counseling improve study participants’ ability to

sustain homeownership following home purchase?

Intervention Logic

Exhibit 2.1 depicts the theoretical mechanisms through which homebuyer education and

counseling are expected to affect outcomes in these three domains.

Within the domain of  preparedness and search, the short-term and intermediate outcomes of

homebuyer education and counseling should be to increase service recipients’ awareness of and

knowledge about the pros and cons of homeownership, homeowners’ responsibilities, mortgage

products and terms, and underwriting criteria. Homebuyer education and counseling services

also should give recipients the skills needed to determine whether homes are affordable and

financing options are appropriate. The added knowledge and skills are expected to inform a host

of behaviors and decisions, starting with whether to purchase a home. Homebuyer education

should help service recipients who decide to purchase a home to search for and choose one they

can afford and to select and qualify for financing that is appropriate for them.

8

Exhibit 2.1:  Logic of Intervention’s Influence on Outcomes

In the domain of  financial literacy, capability, and management,  the short-term and intermediate outcomes of homebuyer education and counseling should be to improve service recipients’

understanding of financial terminology and the importance of good credit, and to give them the

skills needed to create budgets, track expenses, and correct credit reports. These outcomes should

translate to better financial behaviors such as improved budgeting practices, better money and

debt management, and increased savings.

Improvements in such behaviors and decisions also may increase knowledge and skills. For

example, in the homeownership preparedness and search domain, if service recipients shop more

critically for mortgage products as a result of homebuyer education and counseling, then the

shopping process may result in a more solid understanding of mortgage financing than the

recipients developed directly from the education and counseling. In the financial literacy,

capability, and management domain, if service recipients begin checking their credit reports

regularly, then their understanding of how their financial behavior affects their credit scores may

increase. Thus, first-time homebuyer education and counseling may catalyze a positive feedback

loop, in which increasing knowledge and skills improve behavior, which in turn enhances

knowledge and skills.

In the longer term, the central goal of homebuyer education and counseling is  homeownership

sustainability, with homeowners making timely mortgage payments, avoiding foreclosure, and

building wealth. If homebuyer education and counseling have improved home preparedness and

search decisions and financial literacy, capability, and management behaviors, then recipients of

these services will be more likely to meet their monthly payments and accrue home equity.

Recipients will be more likely to avoid foreclosure and build wealth.

9

Homeownership education and counseling services have another longer-term goal. For all

service recipients, regardless whether they decide to purchase a home, services are expected to

enhance long-term financial health by improving financial management, budgeting, and saving

decisions.

The study team will use data from the interim survey, credit bureau data, lender data, and Federal

Housing Administration (FHA) data to construct the study’s outcomes of interest. Exhibit 2.2

shows a selection of outcomes within each of the three outcome domains. The evaluation will

use one key outcome—the 60-day delinquency rate—as the single confirmatory outcome for the

study. 4 By prespecifying one variable as particularly central to the intervention’s success, the study will use impact analyses on this variable as the focal point for study findings. The

evaluation also will conduct analyses for a wide variety of other outcomes across all three

outcome domains.

Exhibit 2.2:  Outcome Domains and Illustrative Outcomes

Outcome Domain

Select Outcomes

•  Mortgage literacy

Homeownership

•  Affordability of home

preparedness and

•  Mortgage terms

search

•  Understanding of homeowner responsibilities

•  Ability to meet underwriting standards (for example, credit score)

Financial literacy,

•  Budgeting and money management practices

capability and

•

management

Levels of savings and debt

•  Mortgage performance (for example, ever 30 days delinquent, ever 60 days

Homeownership

delinquent)

sustainability

•  Accrual of home equity

Experimental Evaluation Design

To answer the study’s research questions, the study used a three-armed randomized experimental

design. Eligible prospective first-time homebuyers were randomly assigned to a control group or to

one of two treatment groups. 5 Those assigned to a treatment group were offered free homebuyer education and counseling services (“the intervention”). Members of the control group were not

offered services. The study’s treatment group members had up to 12 months to complete the free

homebuyer education and counseling services.

4   The study team will use interim survey data, credit bureau data, lender data, and FHA data to construct the confirmatory outcome of whether the study participant was ever 60 days delinquent. The outcome will be

constructed as a binary indicator that is set equal to 1 if the study participant was ever 60 days delinquent on a mortgage loan, home equity line of credit, or home equity loan and is set equal to 0 if the study participant was never 60 days delinquent or did not take on a mortgage loan.

5   Eligibility is discussed in detail in Section 4.2.

10

For participants in a treatment group, offered services were provided in one of two modes:

in person (on-site, face-to-face homebuyer education and counseling)   or  remotely (online homebuyer education and telephone homebuyer counseling). These two modes of services

reflect the models predominant in the homebuyer education and counseling field.

By creating treatment and control groups that are similar in all ways, the study ensures that both

measureable and unmeasurable, differences in the mean outcomes between the groups can be

attributable to the intervention. 6

Initial Study Design: Control Plus Remote and In-Person Treatment Groups

Initially, the study design randomly assigned eligible first-time prospective homebuyers into one

of three groups.

•  Control group—Not referred to homebuyer education or counseling services through the study.

•  Remote treatment group—Offered free online homebuyer education and telephone counseling.

•  In-person treatment group—Offered free in-person homebuyer education and counseling.

Study participants assigned to a treatment group were referred to a housing counseling agency

providing the mode of services to which the participant was randomized. Participants in the

control group were told that the study was not referring them to homebuyer education or

counseling services but the study team nevertheless would keep in touch with them and

encourage them to complete follow-up surveys. 7 The study team monitored the rate at which study participants engaged in the free homebuyer education and counseling services offered to

them (their  take-up rate).

In their first 6 months of being enrolled in the study, participants who had been offered in-person

homebuyer education and counseling had a take-up rate of about 26 percent; this proportion of

participants who initiated services in this period8 was significantly smaller than our target rate of at least 50 percent. This low take-up rate posed methodological challenges—in particular, the

risk of having insufficient power to detect the impact of offering in-person services.

Consequently, HUD and the study team decided to modify the study design.

Modified Design: Control Group Plus Remote and Choice Treatment Groups

Beginning in September 2014, the protocol for assignment to the treatment groups was modified,

replacing the in-person treatment group with a choice treatment group. As its name implies, the

choice treatment group would be permitted to choose how to access the offered services.

Participants in this group could choose to access services either remotely, through online

education and telephone counseling, or in person at a local housing counseling agency.

6   To validate that randomization of eligible individuals into the treatment and control groups was carried out with integrity, the balance of characteristics across the groups was tested. See Section 5.2 for more detail.

7

Control group members were not referred to the free services offered through the study, but they were not prevented from accessing homebuyer education and counseling on their own. A future report will document the extent to which control group members sought out such services on their own.

8

Chapter 6 describes the study’s take-up rates in detail.

11

Thus, study participants enrolled in the study on or after September 16, 2014, were randomly

assigned to one of these three groups. 9

•  Control group—Not referred to homebuyer education or counseling services through the study.

•  Remote treatment group—Offered free online homebuyer education and telephone counseling.

•  Choice treatment group—Offered their choice of free remote or free in-person homebuyer

education and counseling. 10

Exhibit 2.3 displays the timing of randomization to the control and treatment groups.

Exhibit 2.3:  Study Enrollment, by Group and Time Period

First

October 22,

Control

In-Person

Choice

Remote

participant

2013

Group

Treatment

Treatment

Treatment

randomized

Group

Group

Group

795

542

560

(789)

(517)

(549)

Study

September

redesign

16, 2014

1,663

294

862

1,138

(1,661)

(292

(856)

(1,125)

End study

February 1,

)a

b

enrollment

2016

Group total

2,458

542

1,156

1,698

(2,450)

(517)

(1,148)

(1,674)

Sample total

5,854 (5,789)

a Study participants who at enrollment chose in-person services.

b Study participants who at enrollment chose remote services.

Notes: The first values refer to the total number of enrolled study participants. Values in parentheses exclude participants who withdrew from the study (as of March 9, 2016).

Source:  Random assignment and service tracking system

9   The random assignment ratio was 42 percent control group; 29 percent remote treatment group; 29 percent in-person/choice treatment group. This ratio was chosen to balance the study’s ability to detect differences between (1) the pooled treatment group and the control group and (2) each treatment arm and the control group.

10   The in-person treatment group was changed to a choice treatment group in September 2014. After the study was redesigned the eligibility assessment asked  all study participants whether they would prefer to receive services remotely or in person. Importantly, these preferences did  not influence how participants were assigned to control and treatment groups. Preferences were only “activated” for study participants who were assigned to the choice group  after they were assigned. However, having preference data for all study participants will allow for an experimental comparison between participants in the choice treatment group with a preference for in-person services and those in the control group with a preference for in-person

services (and similarly for those with a preference for remote services). The study’s interim and final reports will use this information to estimate the impact of each service delivery mode by estimating the impact of homebuyer education and counseling on (1) those who were offered in-person services (including in-person treatment group members and choice treatment group members who stated a preference for in-person

services); (2) those who were offered remote services (including remote treatment group members and choice treatment group members who stated a preference for remote services); and (3) those who were offered the choice of in-person or remote services (including all choice treatment group members). More detail on these analyses will appear in the study’s interim report.

12

Impact Analysis

The unbiased estimated impact of being treated (offered in-person or remote homebuyer

education and counseling) is the difference between treatment and control group mean outcomes.

That is, if we find that study participants who were offered homebuyer education and counseling

have, for example, higher homeownership rates than do participants offered no services, the

difference in homeownership rates represents the causal impact of the intervention.

To operationalize this concept, the study uses multiple regression, which uses baseline variables as

covariates to increase the precision with which the treatment’s impact is estimated. The regression

model for estimating the impact of being offered homebuyer education and counseling is—

Yis = α + δTis + βXis + πTimeis + μs  + eis,

where—

Yis  is the outcome of interest for participant  i in service site  s. 11

Tis  is a dummy variable that equals 1 if participant  i in site  s is assigned to a treatment group, and equals 0 if the participant is assigned to the control group.

Xis  is a vector of individual background characteristics for participant  i in site  s. 12

Timeis  is a dummy variable equal to 1 if participant  i in site  s was randomly assigned prior to September 16, 2014, and equal to 0 if the participant was randomly assigned on or after this

date; this measure controls for differences across time that could influence the outcome.

μs is a set of site fixed effects.

eis  is a random error term.

The coefficient  δ provides an intent-to-treat (ITT) estimate of the impact of being offered

homebuyer education and counseling—compared with being in the control group—and is the

parameter of central interest. Analyses also will consider the effect of treatment on the treated

(TOT), which estimates the impact of taking up homebuyer education and counseling.

The distinction between the ITT and TOT impacts is important in this study. The ITT reflects the

effect of offering the services, which is relevant when policy would encourage—but not

require—prospective first-time homebuyers to take up homebuyer education and counseling

services. Embedded in the ITT effect is the behavioral response to take up or not, and the impact

reflects a blend of the impacts that accrue to homebuyers who take up services and those who do

not. In contrast, the TOT reflects the effect of taking up the offer of services. Therefore, the TOT

effect may be more relevant for policies that require homebuyers to take up services—for

example, in exchange for approving a mortgage loan.

11   Here,  site refers to the 28 large metropolitan areas where study participants enrolled.

12   Exhibits 5.19 and 5.20 list the baseline covariates to be included in the impact analysis model.

13

The study design does more than consider the overall impact of homebuyer education and

counseling services, however. By randomizing across intervention modes, it can produce

rigorous evidence of—

•  The impact of  in-person homebuyer education and counseling services.

•  The impact of  remote homebuyer education and counseling services.

•  The impact of the  choice of in-person or remote services.

•  The differential impact of  in-person versus  remote.

•  The differential impact of  choice versus  remote.

Future reports also will consider whether the intervention’s impacts vary for specific

demographic and socioeconomic groups, such as Spanish speakers or groups defined by traits

such as education, income, credit score, and stage in the homebuying process. These types of

analyses will provide deeper insights into how policymakers and homebuyer education and

counseling practitioners can target services toward particular populations.

The study also will consider the relative effects of variation in the  intensity of participants’

engagement with services. Those treatment group members who complete homebuyer education

and counseling might benefit more than those who do not complete all of the services. 13

13   Although the planned method for this analysis relies on experimental data, the method requires additional assumptions to produce estimated dosage effects. The estimated dosage effects therefore will be interpreted as nonexperimental.

14

3.  The Intervention: In-Person and Remote Homebuyer Education and

Counseling

The intervention in this evaluation reflects current homebuyer education and counseling

practices in the industry. In-person and remote homebuyer education and counseling services

have the same curriculum content, which follows the topics and guidelines of the National

Industry Standards for Homeownership Education and Counseling (Advisory Council, 2013).

This chapter begins by presenting those standards. It then provides a description of the agencies

providing the in-person services and the specific curricula and approaches they use, and a

description of the agencies providing remote services. The chapter then describes the study

team’s practices in training and monitoring the agencies. The chapter ends with a comparison of

the key features of the two modes of homebuyer education and counseling.

National Industry Standards for Homeownership Education and Counseling

The National Industry Standards were created in 2005 by a coalition of housing industry partners

with the goal of promoting consistent and high-quality homebuyer education and counseling

services across the country. In developing the National Industry Standards, the coalition drew on

a variety of sources, including existing standards used by HUD and local, regional, and national

housing counseling organizations. 14

For homebuyer education, the Standards do not dictate a specific curriculum; rather, they provide

core topic areas to be covered. Exhibit 3.1 displays these five core areas and elaborates on their

content. The Standards suggest that 8 hours of education are required to cover the content

adequately, although the minimum is 4 hours.

For homebuyer counseling, the Standards suggest 30 to 60 minutes of individualized counseling.

The Standards suggest that counseling include, at a minimum, the following activities.

•  Intake.

•  Needs assessment.

•  Review of income, expenses, debt, credit report, budget, and savings.

•  Housing affordability analysis.

•  Action plan.

•  Referrals as needed.

•  Delinquency prevention counseling.

•  Follow-up.

14   For more detail, visit the Standards website at http://www.homeownershipstandards.org.

15

Exhibit 3.1:  National Industry Standards, Homebuyer Education’s Core Content

Assessing Readiness To Buy a Home

•  Pros and cons of homeownership

•  Housing affordability

•  Home purchase process

•  “4 Cs” of credit

Budgeting and Credit

•  Importance of goal setting

•  Understanding credit and how to protect credit

•  Tracking expenses

ratings

•  Setting up a spending plan

•  Credit bureaus, reports, and scores

•  Budgeting and saving tips

•  How to fix credit problems

•  Importance of good credit

•  Debt management tips

Financing a Home

•  How a lender decides whether or not to lend

•  Special financing products

•  Housing affordability and qualification

•  Steps in the mortgage loan process

•  Sources for mortgage loans

•  Loan application and approval process

•  Predatory loans and how to avoid them

•  Common lending documents

•  Types of mortgage loans

•  What to do if the loan is denied

•  Closing process

Shopping for a Home

•  The homebuying team

•  Negotiating tips

•  Real estate professionals

•  The purchase contract

•  Types of homes and ownership

•  Inspections

•  How to select a home and neighborhood

•  Escrow and closing process

•  How to make an offer

Maintaining a Home and Finances

•  How to maintain and protect a home after

•  Community involvement

moving in

•  Record keeping

•  Home safety and security

•  Taxes

•  Energy efficiency

•  Insurance

•  Preventive maintenance

•  What to do if you can’t make a payment

•  Home repairs and improvements

•  Predatory lending and other financial pitfalls

•  Working with a contractor

Source: Advisory Council (2013)

All agencies in this study follow the National Industry Standards for Homeownership Education

and Counseling. Additionally, all the agencies are HUD approved, meaning they receive active

oversight and monitoring from HUD. This attention to the content of services delivered—through

both the Standards and HUD’s oversight—means that the homebuyer education and counseling

offered to treatment group participants in this study meet HUD’s standards for quality.

In-Person Homebuyer Education and Counseling Services

The study partnered with three national lenders to identify potential study participants from

among their customers and selected 28 metropolitan areas where those lenders do a large volume

of business and where local housing counseling agencies that follow the National Industry

Standards could be recruited to provide the in-person mode of homebuyer education and

16

counseling (exhibit 3.2). The study team partnered with 63 such local housing counseling

agencies across the 28 metropolitan areas. Study participants taking up in-person services could

attend homebuyer education workshops and counseling sessions offered by an agency in their

community. They had up to 1 year to complete services from the time of study enrollment. This

section describes the selection process for the study’s in-person housing counseling agencies, the

agencies, and the services they provide.

Exhibit 3.2:  The Study’s 28 Metropolitan Areas

Agency Selection and Recruitment

The study team worked with the housing counseling intermediary NeighborWorks America to

identify its affiliate agencies in the 28 study sites that provide homebuyer education and counseling

services aligned with study’s intervention and which had the reporting capacity to participate in the

study. NeighborWorks America provides support, training, technical assistance, and oversight to

more than 240 local housing counseling agencies across the country. Since 1993, NeighborWorks

America has created standards for the homeownership education and counseling offered by its

affiliates. These standards are consistent with the National Industry Standards. As such, this study

should be thought of as delivering services that align with the national standards.

The number of NeighborWorks-affiliated agencies varied across each study site, with some sites

having multiple affiliates and other sites having only one or none. In cases where a site did not

have any NeighborWorks-affiliated agencies or the agencies did not have the capacity to

participate in the study, the study team recruited additional, non-NeighborWorks, agencies with

help from HUD’s Office of Housing Counseling to identify agencies that were HUD approved,

adopted the National Industry Standards, and had the capacity to participate in the study. The

National Council of La Raza and ClearPoint, two additional intermediaries, also provided

support to the study team to help recruit local housing counseling agencies in their network of

agencies that provide homebuyer education and counseling.

17

Exhibit 3.3 lists, alphabetically by site, the agencies providing in-person homebuyer education

and counseling to study participants.

Exhibit 3.3:  Housing Counseling Agencies Providing the Study’s In-Person Services

Metropolitan Area

Agency

ClearPointc (1)

Atlanta-Sandy Springs-Marietta, GA

Resources for Residents and Communities of

Georgia, Inc. (1)

Lawrence CommunityWorks, Inc.a,b (1)

Neighborhood of Affordable Housing, Inc.a (1)

Boston-Cambridge-Quincy, MA-NH

NeighborWorks of Southern Massa (1)

Urban Edge Housing Corporationa (1)

Housing Opportunities (1)

NHS of Chicago, Inc.a (7)

Chicago-Naperville-Joliet, IL-IN-WI

Rodger’s Park CDC/Northside CDC (1)

Spanish Coalition for Housingb (3)

Will County Center for Community Concerns (1)

BCL of Texasa (1)

Dallas-Fort Worth-Arlington, TX

CCCS of Greater Dallas (1)

Lighthouse of Oakland Countya (1)

Detroit-Warren-Livonia, MI

Southwest Solutionsa,b (1)

Avenue CDCa (1)

Houston-Sugar Land-Baytown, TX

Tejano Center for Community Concernsa,b (1)

Community Services of Nevada (1)

Las Vegas, NV

NHS of Southern Nevadaa (1)

ClearPointc (4)

NeighborWorks Orange County, Inc.a,b (1)

Los Angeles-Long-Beach-Santa Ana, CA

New Economics for Womenb (2)

West Angeles Community Development Corp. (1)

Centro Campesino Farmworker Center, Inc.a,b (1)

Miami-Fort Lauderdale-Miami Beach, FL

Housing Partnership, Inc. (Community Partners)a (1)

NHS of South Florida, Inc.a (2)

Community Neighborhood Housing Services, Inc.a (1)

Minneapolis-St. Paul-Bloomington, MN-WI

Neighborhood Development Alliance (1)

Affordable Housing Alliancea (1)

CDC of Long Island, Inc.a (2)

New York-Northern New Jersey-Long Island,

Cypress Hills Local Development Corporationb (1)

NY-NJ-PA

Housing Partnership of Morris Countya (1)

NHS of New York City, Inc.a (2)

Westchester Residential Opportunities (1)

ClearPointc (1)

Orlando-Kissimmee, FL

HANDS of Central Florida (1)

18

Metropolitan Area

Agency

Philadelphia-Camden-Wilmington, PA-NJ-DE-MD

Clarifi (13)

Chicanos Por La Causaa,b (4)

Phoenix-Mesa-Scottsdale, AZ

Trellisa (2)

African American Alliance for Homeownership (1)

Portland-Vancouver-Hillsboro, OR-WA

Hacienda Community Development Corporationb (1)

Open Door Counseling Center (1)

Raleigh-Cary, NC

DHIC Inc.a (1)

Neighborhood Partnership Housing Servicesa (2)

Riverside-San Bernardino-Ontario, CA

NHS of the Inland Empire, Inc.a,b (1)

Sacramento-Arden-Arcade-Roseville, CA

Sacramento Home Loan Counseling (1)

Avenida Guadalupeb (1)

San Antonio-New Braunfels, TX

Our Casas Residential Council (1)

San Diego-Carlsbad-San Marcos, CA

Community HousingWorksa,b (2)

Project Sentinel (4)

San Francisco-Oakland-Fremont, CA

The Unity Councila,b (1)

San Jose-Sunnyvale-Santa Clara, CA

NHS of Silicon Valleya (1)

HomeSighta (1)

Seattle-Tacoma-Bellevue, WA

South Sound Outreach (1)

St. Louis, MO-IL

Beyond Housinga (1)

Stockton, CA

Visionary Homebuilders of Californiab (1)

Housing and Education Allianceb (1)

Tampa-St. Petersburg-Clearwater, FL

Tampa Bay CDCa (1)

Virginia Beach-Norfolk-Newport News, VA-NC

Urban League of Hampton Roads (3)

First Home Alliance (1)

Frederick Community Action Agency (1)

Washington, DC

Latino Economic Development Corporationb (2)

United Communities Against Poverty (1)

a NeighborWorks-affiliated agencies.

b National Council of La Raza-affiliated agencies.

c ClearPoint-affiliated agencies.

Notes: The number in parentheses after each agency’s name is the number of locations for each agency where study participants could receive services. Some agencies have more than one location in each study site and some agencies have only one physical office location but partner with other community organizations (for example, a library, the YMCA, community clubs) to host homebuyer workshops in different areas of the community.

19

In-Person Housing Counseling Agencies

The characteristics of the agencies involved in this study vary. Among the 48 agencies that provided

information on their budget, the average agency budget was $5,936,650 and the median agency

budget was $2,053,694. Most agencies (63 percent) listed government funding (federal, state, local)

as their primary funding source. About one-fourth (27 percent) listed other primary forms of funding,

such as rental income, management fees, and fees for services provided to clients. Many fewer listed

foundations (8 percent) or private donations (2 percent) as their primary funding source.

Each agency served, on average, 696 pre-purchase clients in 2012 and 660 clients in 2013. The

vast majority of the agencies stated that they broadly targeted all homebuyers in their

community, with 63 percent saying they also focused on helping a specific subpopulation such as

people who were poor, Latino, African-American, or homeless.

Some 50 percent of the agencies reported that they provided services in addition to in-person

homebuyer education and counseling. Of these agencies, 76 percent provided general financial

capability counseling and 66 percent provided foreclosure counseling. About one-fourth of

agencies stated that they provided post-purchase homeowner education.

Most of the agencies preferred that clients complete an in-person workshop first, followed by

homebuyer counseling. About one-third of the agencies stated that they did not have a preference

regarding the order of service completion, which depended on where the client was in the

homebuying process. Agencies stated that between 30 and 90 percent of their clients who

complete a homebuyer workshop continue to homebuyer counseling. According to agencies, the

variation depends on where the client is in the homebuying process, whether homebuyer

counseling is a requirement for that client, and whether the client received the information

needed by the client during the homebuyer workshop.

Agencies were asked their opinion of the overall benefits of attending homebuyer education and

counseling. Many stated that clients leave homebuyer education and counseling with a

foundation of information about the homebuying process and a plan for how to proceed.

Agencies reported that clients leave feeling empowered and prepared for homeownership

because they know more about the various downpayment assistance programs and mortgage

products. Most agencies believed that homebuyer education and counseling benefited clients at

all income levels, but many said that the services most benefited low- to middle-income clients.

This study’s participants may differ from the clients typically seen by the study’s participating

agencies. Agencies explained that the typical client finds the agency primarily through word of mouth,

local lenders, and real estate agents, as well as through local or statewide downpayment assistance

programs. During site visits, the study team was told that many of the agencies’ clients seek out

homebuyer education and counseling services because such services are required to qualify for a

program or loan product. The study’s screening process (described in chapter 4), however, excludes

any first-time prospective homebuyer who is participating in a downpayment assistance program or is

seeking a mortgage through a program that requires homebuyer education or counseling.

In-Person Homebuyer Education Workshops

In-person homebuyer education workshops offered in this study vary across the 28 sites. Most

agencies that participated in the study (71 percent) host 1-day homebuyer education workshops.

20

These 1-day workshops meet, on average, for 7.5 hours, with a median duration of 8 hours. Other

agencies conduct their homebuyer workshops on multiple days (for example, 2 days for 4 hours

each or 4 days for 2 hours each). These multiple-day workshops meet, on average, for 8.2 hours,

with a median duration of 8 hours. Some agencies offer a variety of days and times for workshops,

offering both 1-day and multiple-day schedules.

Most agencies hold workshops in both English and Spanish, and most workshops are held on

Saturdays. Some agencies offer childcare to help parents attend workshops on the weekend.

Depending on the location, the average class size is 29 people, with classes ranging from 10 to 71

people during the busy homebuyer season (usually May through September). The median workshop

size during this busy season is 25 people. During the slow homebuyer season (usually October

through April) the average class size is 13 people, with classes ranging from 1 to 57 people. The

median workshop size during this slow season is 10 people. The number of homebuyer workshops

held each month varies by agency, with most hosting one workshop each month.

Agencies in the study use a variety of workshop curricula, although most cover the same topic areas.

•  Assessing homeownership readiness.

•  Budgeting.

•  Mortgage products.

•  Housing affordability.

•  Credit issues.

•  Homebuying process.

•  Maintaining a home.

Some 58 percent of the agencies use the NeighborWorks America  Realizing the American

Dream curriculum and 15 percent of these agencies supplement the NeighborWorks’ curriculum

with additional materials. Several agencies (12 percent) have developed their own curricula to

meet their clients’ needs, and 8 percent use the Citizens Housing and Planning Association

curriculum by itself or with another curriculum. The remaining agencies (7 percent) use curricula

developed by various entities such as the New York Mortgage Coalition, the Virginia Housing

Development Authority, and MoneySmart from the Federal Deposit Insurance Corporation.

Homebuyer education workshops typically are interactive, use a variety of tools, and host guest

speakers on specific topics such as the role and services of lenders, real estate agents, insurance

agents, home inspectors, and closing attorneys. Some 96 percent of the agencies have lenders,

realtors, or housing inspectors teach part of their workshops. Most agencies require the guest

instructor to follow the set curriculum, and many have requirements concerning whether the

guest instructors can mention their own business, service, or product.

The NeighborWorks America  Realizing the American Dream workshop curriculum consists of

six chapters (exhibit 3.4).

21

Exhibit 3.4:  NeighborWorks America  Realizing the American Dream: In-Person

Homebuyer Workshop Curriculum

Chapter 1: Are You Ready To Buy a Home?

Chapter 1 provides on overview of the homebuying process, helps prospective homebuyers decide

whether homeownership is right for them, and lets prospective homebuyers know whether they can

afford to buy a home. This chapter also helps prospective homebuyers understand the advantages and

disadvantages of owning a home, the steps to buying a home, the key members of the homebuying

team, mortgage payments and other costs of homeownership, how lenders determine creditworthiness

and affordability, and homeownership readiness.

Chapter 2: Managing Your Money

Chapter 2 provides tips on how to manage money. This chapter includes information on how to

establish a realistic spending plan, setting goals and creating a spending plan to meet those goals, and trimming expenses and finding ways to save.

Chapter 3: Understanding Credit

Chapter 3 focuses on the importance of maintaining good credit and provides tips on improving credit

ratings. This chapter provides information on credit reporting agencies and credit reports, credit scoring, how to correct errors on a credit report, how to address common credit problems, how to establish credit, how to manage debt, how to reduce the risk of identity theft, and credit rights as a consumer.

Chapter 4: Obtaining a Mortgage Loan

Chapter 4 helps prospective homebuyers understand the steps involved in obtaining a mortgage loan.

The chapter explains how a lender decides whether to provide a mortgage loan, how to calculate how

much a homebuyer can borrow, who makes mortgage loans, the different types of loans that are

available, shopping for the best loan, the loan application, and the loan approval process.

Chapter 5: Shopping for a Home

Chapter 5 provides information on the homebuying team, types of homes and types of homeownership,

locating the right house to meet a homebuyer’s wants and needs, how much to pay for a home, writing

a winning offer, negotiating the best deal, and what happens from contract to closing.

Chapter 6: Protecting Your Investment

Chapter 6 focuses on steps a homebuyer can take to protect their investment. The chapter presents

information on making a home safe and energy efficient, keeping a home in good repair, deciding when

and how to remodel or make major repairs, getting involved in a neighborhood, managing money for

homeownership, keeping records and paying taxes, protecting equity, when to consider refinancing,

and what to do if a homeowner cannot make mortgage payments.

Source:  NeighborWorks America (2010)

In-Person Homebuyer Counseling

Housing counselors provide individualized, objective information and advice to clients about

homeownership. Housing counselors spend sessions reviewing budgeting, housing affordability,

and credit issues with clients. All housing counseling agencies in the study indicated that their

homebuyer counseling sessions are tailored to the client, focusing on the areas in which the client

needs or wants the most assistance and on where the client is in the homebuying process.

Most agencies meet with clients after they attend an in-person homebuyer workshop, but some

meet with clients before the workshop.

This study requires participants to have a one-on-one homebuyer counseling session. Approximately

50 percent of the agencies said that clients typically need one or two homebuyer counseling sessions.

22

Another 14 percent of agencies said that two or three sessions were needed, and 19 percent said

three or more sessions. Some 48 percent of the agencies said that the average length of their

homebuyer counseling session is 90 minutes; another 40 percent said that a session usually lasts

60 minutes. The remaining agencies (12 percent) said that a session lasts about 120 minutes.

At the end of most homebuyer counseling sessions, counselors and clients develop an action

plan. The action plan is specific to the client’s goals and outlines the steps involved to achieve

those goals.

The NeighborWorks America  Realizing the American Dream curriculum for its homebuyer

counseling consists of six activities (exhibit 3.5).

Exhibit 3.5:  NeighborWorks America  Realizing the American Dream: In-Person

Homebuyer Counseling Activities

Activity 1: Client intake and general needs assessment includes gathering information about a client’s

financial situation, identifying needs and options, and assessing homeownership readiness by

reviewing a credit report and calculating affordability.

Activity 2: Household budgeting includes assistance in creating a household budget and monitoring the

household’s progress in following it, tracking expenses, and establishing a financial plan to reduce

debts or implement and accomplish savings goals.

Activity 3: Credit analysis includes reviewing a client’s credit report and score and helping to address credit problems, establish or rebuild credit, improve credit score, and understand the importance of

good credit and how to protect a credit rating.

Activity 4: Corrective action planning follows the assessment of a client’s current status regarding

homeownership readiness and includes outlining the steps needed to overcome identified obstacles.

Activity 5: Prequalification includes calculating how much a client can afford for monthly mortgage

payments, assessing overall eligibility for a mortgage loan, and providing information regarding

available mortgage products and housing assistance programs.

Activity 6: Document review includes evaluating a client’s loan documents and purchase contract and

explaining the steps in the mortgage loan application, the home purchase process, and the roles of

various housing industry professionals.

Source: NeighborWorks America (2010)

Remote Homebuyer Education and Counseling Services

Remote services in the study included online homebuyer education and telephone homebuyer

counseling. Study participants taking up remote services could receive homebuyer education

online and homebuyer counseling by telephone. The study team partnered with eHome America

for online services and with ClearPoint for telephone services. This section describes the

selection process for the study’s remote education and counseling agencies, the agencies, and the

services each provides to study participants.

The study team’s goal was to ensure that remote homebuyer education and counseling provided

to study participants were as similar in curriculum as possible to the homebuyer education and

counseling provided in person. The study team determined that combining services from eHome

America and ClearPoint would achieve that goal. Additionally, each agency operated nationally

and was able to serve a high volume of clients, and thus had the capacity to provide services to

participants across the study’s 28 sites (see metropolitan areas in exhibit 3.2).

23

Agency Selection and Recruitment

Initially the study selected ClearPoint to provide both online homebuyer education and telephone

counseling. The study’s pilot period (beginning in September 2013), however, revealed

differences between ClearPoint’s Spanish-language online homebuyer education modules and its

English-language version. Because the study’s design prioritizes consistency across intervention

modes, the team replaced ClearPoint with eHome America for online services. Beginning in

January 2014, eHome America began providing the study’s online homebuyer education;

ClearPoint continued providing the homebuyer telephone counseling. This arrangement

remained in place for the balance of the study.

Online Homebuyer Education Through eHome America

eHome America formed in 2009 to provide an interactive, web-based educational program for

prospective homebuyers under the umbrella of its parent company, Community Ventures

Corporation (CVC). eHome America’s homebuyer education services are based on

NeighborWorks America’s  Realizing the American Dream curriculum and are available in both

English and Spanish. Endorsed by NeighborWorks America, numerous state housing finance

agencies, and the U.S. Department of Agriculture Rural Development Services, eHome America

is an adopter of the National Industry Standards for Homeownership Education and Counseling

(Advisory Council, 2013). eHome America currently partners with more than 450 housing

counseling agencies in all 50 states, Puerto Rico, and Guam. It has provided homebuyer

education to more than 180,000 clients.

Before the creation of eHome America’s online education, CVC offered in-person homebuyer

education and financial education classes. The impetus for creating eHome America was

CVC’s experience attempting to reach residents in rural Kentucky, where the organization is

based. The organization was having trouble getting clients, many of whom lived more than an

hour from its office, to attend in-person sessions. Clients were hampered by conflicts with

work schedules, difficulty arranging childcare, and car trouble. For its part, CVC struggled

with costs associated with offering in-person services. CVC leadership began exploring options

to make homebuyer education more accessible and less costly, which led to the creation of

eHome America. Initially CVC expected to offer the online homebuyer education curriculum

only to its own clients, but after recognizing that other providers of homebuyer education

services faced similar challenges, CVC decided to make eHome America available to other

service agencies.

eHome America’s typical clients are low- to moderate-income homebuyers who are required by

a downpayment assistance program to complete homebuyer education or who must complete the

education to qualify for a mortgage. eHome America has always targeted those of low to

moderate income, and increasingly it is targeting young buyers.

eHome America is an interactive curriculum. Study participants who take up its remote

homebuyer education services log in and log out at their leisure, enabling them to complete the

online course at their convenience. Throughout the online curriculum, participants are

encouraged to download resource materials and complete various activities in real time online.

In addition to providing informational text, the course features videos, worksheets, and quizzes

to engage participants in learning. The eHome America curriculum is divided into six modules,

24

each of which includes numerous quizzes and a test on the material covered. 15 Participants cannot proceed to subsequent modules without fully completing the quizzes and receiving a

grade of 80 percent or higher. 16

Each online module, described in exhibit 3.6, represents a stage in the process of preparing for

homeownership. Most users complete the course in 6 to 8 hours over a span of 3 to 5 days.

Younger, more computer-savvy users are on average able to complete the course more quickly

than older, less computer-savvy users.

Exhibit 3.6:  eHome America’s Online Homebuyer Education Curriculum

Module 1: Are You Ready To Buy a Home?

Module 1 begins with a pretest to gauge homebuyers’ understanding of the homebuying process. Next

it presents information on the advantages of homeownership, how to buy a home, costs associated

with homeownership, how much home can be afforded based on credit worthiness, and how much

home can be afforded based on income and expenses. This module explains how participants can

obtain their credit score and includes activities to develop a budget and to estimate how much

participants can borrow to purchase a home.

Module 2: Managing Your Money

Module 2 helps homebuyers establish spending goals and create a realistic spending plan to achieve

those goals as well as reduce expenses and find ways to save money.

Module 3: Understanding Credit

Module 3 helps homebuyers understand how credit affects their ability to purchase a home and

explains how to improve and protect their credit. The module includes sections on credit reporting

agencies, the contents of credit reports, how credit scores work, how to establish and improve credit

worthiness, how to correct errors on credit reports, and how to reduce the risk of identity theft.

Module 4: Getting a Mortgage Loan

Module 4 explains the steps involved in obtaining a mortgage. The module explains how a lender decides

whether to approve a loan, how much can be borrowed, the types of available loans, shopping for the best available loan, and the loan application and approval processes. The module includes a prequalification

worksheet for homebuyers to estimate how much they may qualify to borrow for a mortgage.

Module 5: Shopping for a Home

Module 5 walks homebuyers through the steps of finding and purchasing a home. It details the team of

professionals involved in the homebuying process, including the real estate agent, lender, housing

inspector, appraiser, and attorney. It explains the types of homes available, such as single family,

townhouse, and condominium, and how ownership varies for each. Module 5 also discusses how

homebuyers might conduct their search for the right neighborhood and the right home that fits their

budget and preferences, and how to make an offer and close on a home.

Module 6: Keeping Your Home and Managing Your Finances

Module 6 explains how homebuyers can protect their investment. The module discusses home repairs

and remodeling, how to maintain a safe and energy-efficient home, managing finances related to

homeownership, refinancing, and avoiding foreclosure.

Source: eHome America (n.d.)

15   During the study, eHome’s Spanish curriculum was divided into five modules but covered the same information as the English curriculum. Both curricula are expected to take the same amount of time, on average, depending on how the client moves through the online course.

16   Most in-person agencies in our study do not use quizzes in their homebuyer workshops, although some do, depending on the curriculum used or the activities agencies want to complete with participants.

25

Telephone Homebuyer Counseling Through ClearPoint

ClearPoint is a national nonprofit credit counseling and education organization that has been in

operation for more than 50 years. An affiliate of the National Foundation for Credit Counseling

and a housing counseling agency approved by HUD, ClearPoint is one of the largest providers of

housing counseling, with a staff of approximately 300. In 2015, ClearPoint conducted nearly

45,000 housing counseling sessions. In addition to pre-purchase services, ClearPoint offers

budget and credit counseling, bankruptcy counseling, foreclosure prevention, reverse mortgage

counseling, and debt management services. ClearPoint is headquartered in Atlanta and has 45

local offices in 15 states.

ClearPoint is a provider of both in-person and remote homebuyer counseling services. In-person

homebuyer counseling accounts only for 5 percent of ClearPoint’s total counseling sessions, with

older clients preferring in-person to remote services. Telephone homebuyer counseling is

provided from ClearPoint’s main Atlanta office and from local branches; the counseling offered

in Spanish is provided primarily from ClearPoint’s Orlando office. The Atlanta office has a call

center that receives incoming calls and routes clients to a housing counselor whose skills fit the

client’s needs.

ClearPoint attracts clients for homebuyer counseling through a variety of means. The majority of

clients take up services with ClearPoint through its partnerships with lenders that require

homebuyer counseling as a condition of receiving downpayment assistance. Other clients take up

homebuyer counseling services with ClearPoint after experiencing its other services, being

referred by a friend, or learning about ClearPoint online. On average, 350–400 homebuyer

counseling sessions are conducted each month with clients referred by lenders; another 20–30

sessions are with clients from other sources.

During the telephone homebuyer counseling session, ClearPoint’s staff educate clients about

establishing and maintaining credit, developing a budget, saving, and the cost of homeownership.

The counseling follows a protocol to cover the same core elements for each client. Discussions

about finances, budgeting, and the mortgage process are individualized to the homebuyer’s needs

and questions. A counseling summary package is sent to each client afterward. It contains a

complete budget that incorporates the information collected and analyzed during the session,

along with the housing counselor’s recommendations. A typical homebuyer counseling session

lasts about 1 hour, although sessions with Spanish-speaking clients tend to last longer because

many of these clients have additional questions about the homebuying process. ClearPoint’s

housing counselors encourage all clients to call back with questions after the initial session, but

few do. The vast majority of clients have only one session with a housing counselor.

Each homebuyer counseling session consists of three stages: (1) budget and personal financial

assessment, (2) loan qualification, and (3) closing. ClearPoint’s housing counselors emphasize

budgeting among the various topics covered during a session, and they remind clients that their

first home may not be their dream home. Exhibit 3.7 describes the three stages.

26

Exhibit 3.7:  Summary of Telephone Counseling Protocol

Stage 1: Assess the Client’s Budget and Personal Financial Situation

•  Review the client’s situation and discuss the advantages and disadvantages of homeownership.

•  Analyze the client’s budget; discuss savings and debt reduction options as applicable.

•  Create a “before and after homeownership” comparative budget, including an estimated cost of

housing expenses such as utilities and maintenance.

•  Review the client’s credit report; develop a written action plan for any potential barriers; and

suggest a timeframe for improvement.

•  Advise client to schedule a follow-up appointment in 3 to 6 months, if the client is not ready to

purchase a home.

•  Into the client management system (CMS), enter a brief summary of the client’s situation, goals,

and personalized recommendations, including annual income and beginning and ending credit

scores.

Stage 2: Discuss Whether the Client Is “Credit Ready” To Purchase a Home

•  Discuss the documents needed for a mortgage application.

•  Discuss the most popular types of mortgage loans available, including FHA—Federal Housing

Administration—and conventional.

•  Discuss the difference between prequalification and preapproval.

•  Discuss common ratios, such as expense-to-income and debt-to-income, used by lenders.

•  Provide an overview of mortgage terms, including  origination fee, lock-in rate, prepayment penalty, escrow account,  and  private mortgage insurance.

•  Discuss upfront costs, downpayments, and closing costs.

•  Into the CMS, document the lender, type of loan, interest rate, purchase price, and monthly

payment, if the client is set to close on a home immediately.

•  Inform client of the benefits of a third-party home inspection and its role in the negotiation process.

Stage 3: Review Closing and Loan Documents

•  Review sales contract contingencies for financing.

•  Review closing documents, including the HUD-1 Settlement Statement, Truth in Lending

Statement, Mortgage Note, and Mortgage Deed.

•  Advise on additional final steps such as scheduling a walkthrough of the property prior to closing.

•  Review settling in and home maintenance costs.

•  Develop a monthly spending plan; suggest starting an emergency fund and avoiding additional

debt.

•  Explain importance of timely mortgage payments; help to identify resources available if the client

were to be faced with a financial crisis in the future.

•  Explain steps to take to avoid foreclosure.

•  Schedule a follow-up session for 30 days from the closing date.

The Study’s Training and Monitoring of Agencies

The study team trained the housing counseling agencies on the various aspects of the study,

including what services to provide to study participants, methods of outreach to encourage

participants to complete the homebuyer education and counseling services, and the protocols for

entering or uploading study participant information into the study’s web-based data collection

system. The study team trained agency staff through webinars and conference calls.

27

The study team assigned a site liaison to each agency to monitor activities and report on—

•  Outreach activities conducted to encourage study participants to access and complete the

homebuyer education and counseling services offered.

•  Homebuyer education and counseling take-up and completion rates.

•  Service tracking data entered by housing counseling agencies for study participants who

initiate or complete homebuyer education or counseling.

Monitoring study sites was an ongoing activity during the study’s enrollment period and will

continue for 12 months after the last participant enrolls in the study. 17 The study team used monitoring calls to understand the patterns of homebuyer education and counseling take up, the

nature of the education and counseling, and the quality of reporting of service tracking data. In

addition to this monitoring, site liaisons assessed and recorded challenges or difficulties housing

counseling agencies faced during the implementation of study protocols and procedures.

Most agencies were able to implement the study easily, given the reporting flexibility the study

team provided. The study team worked with NeighborWorks to create a custom data report

within its existing data collection system, enabling agencies that were providing homebuyer

education and counseling to easily export information they collected on what services study

participants received. The study team created various tools and guidance to help agencies that

did not use the NeighborWorks’ data collection system provide the information needed.

In late 2014 and early 2015, the study’s site liaisons visited each of the participating housing

counseling agencies. The purpose of these visits was to document study implementation

procedures, gather input from agency staff about any implementation issues, and learn additional

details about the homebuyer education and counseling services provided at each agency. In

particular, the study’s site liaisons tried to identify any problems the counseling agencies were

experiencing and to provide technical assistance.

During each site visit, site liaisons interviewed agency staff involved in implementing the study

and providing homebuyer education and counseling services to study participants. Site liaisons

conducted interviews with agency staff in groups or separately, depending on the staff’s

availability and comfort. Agency staff reported on their agency’s services and offered their

opinion of the industry of homebuyer education and counseling.

Comparison of In-Person and Remote Services

Providing in-person services differs in format from providing remote services. Although the

content of services was comparable, the way in which they were provided differs between in-

person and remote homebuyer education and counseling. In response, the difference in the way

they were provided might affect the content that study participants experienced.

Both remote and in-person homebuyer education follow the topics outlined in the National

Industry Standards. However, in-person homebuyer education provides group instruction by an

17   The study’s treatment group members have up to 12 months to complete the free homebuyer education and counseling services offered through the study’s participating agencies.

28

in-person trainer who may be more responsive to participants in the room and who therefore may

emphasize one topic area over another. Additionally, group instruction enables participants to

learn from each other and hear about each other’s experiences in the homebuyer process. In

contrast, remote homebuyer education requires participants to complete prespecified online

modules without being able to expand on topics that may be of interest or to ask questions and

learn from others. Homebuyer counseling is less affected by the mode of delivery, as both face-

to-face and telephone counseling sessions should be tailored to the participant’s readiness for

home purchase and to specific issues or challenges. However, as described in chapter 7,

participants can experience varied levels of comfort while working with a housing counselor in

person versus over the telephone, which may affect what is discussed and shared with a housing

counselor.

The two modes of homebuyer education and counseling have significant potential differences in

transaction costs for the participants. The remote mode is likely to be more convenient in

scheduling and does not have costs associated with travel, but participants assigned to complete

remote homebuyer education and counseling may delay engaging in services and may be more

subject to distractions than participants who are engaged in an in-person workshop or are seated

across the table from a housing counselor (exhibit 3.8).

29

Exhibit 3.8:  Differences Between In-Person and Remote Homebuyer Education

and Counseling

Feature

In-Person

Remote

Education

•

•

Requires completion of fixed online

Based around instruction by an in-

modules.

person trainer.

•

•

Participants access the training

Participants attend one or several in-

online from a home or public

Format

person classroom sessions

computer.

(workshops) at a local HUD-

•

approved homebuyer counseling

Participants can complete training in

agency.

as few or as many sessions as

desired.

Duration

8+ hours

7–8 hours

Moderate—In-person providers cover

Variation in

generally similar topics but may vary

Low—All participants experience the

content

curricular materials and emphasize

same online learning environment.

different topics.

Lower—Participants must invest time

but can complete the course at their

Participant

Higher—Participants must schedule in

own pace, when and where they want.

transaction costs

advance and travel to sessions.

Some variation exists in effort expended

and time to complete.

Counseling

Participants attend one or more in-

Participants have one or more

person, one-on-one sessions with a

telephone conversations with a

Format

certified housing counselor at a HUD-

counselor from their home or a location

approved homebuyer counseling

of choice.

agency.

Duration

1+ hours

1+ hours

Moderate—The amount and content of

Moderate—The amount and content of

Variation in

counseling will vary depending on the

counseling will vary depending on the

content

client’s readiness for home purchase

client’s readiness for home purchase

and specific issues or challenges.

and specific issues or challenges.

Lower—Participants complete

Participant

Higher—Participants must schedule in

counseling via telephone at a time

transaction costs

advance and travel to sessions.

scheduled in advance but at their home

or a location of choice.

30

4.  Participant Recruitment, Enrollment, and Random Assignment

The study enrolled 5,854 first-time prospective homebuyers between September 2013 and

February 2016. This chapter describes the processes through which the study recruited

participants, enrolled them into the study, assigned them randomly to one of the study’s

interventions or the control group, and referred those assigned to receive free homebuyer

education and counseling to the appropriate agency.

The metropolitan areas selected for the study were those in which the three large national lenders

that had agreed to partner with HUD have a large volume of home loan applications. Estimates

of the number of potential study participants were based on estimates from each lender of the

number of study-eligible participants the lender interacted with during the course of a year in

each metropolitan area. Exhibit 4.1 shows the 28 metropolitan areas selected for the study and

the numbers of study participants ultimately recruited from each.

Exhibit 4.1:  Study Locations and Sample Sizes

Before full enrollment began in January 2014, the study team launched an 8-week pilot in three

cities. During this pilot period, study participants were recruited and enrolled in Los Angeles,

Miami, and Phoenix. The pilot tested the procedures for the recruitment, enrollment, and random

assignment of study participants. It also produced information about key assumptions that was

used to refine the study design.

•  Contact and referral volumes and rates for each lender.

•  Enrollment rate of study participants referred from each lender.

•  Study participants’ initiation and completion rates for homebuyer education and counseling

services.

•  Study participants’ income and credit score distribution.

31

After the pilot period, the study team stopped recruitment and enrollment to revise the processes

based on what was learned. For example, the pilot period revealed greater than expected

variation across lenders in terms of when during the homebuying process they referred potential

participants to the study. As a result, the study team and HUD worked with each lender to review

their referral process and identify study-eligible clients as close to their first contact with the

lender as possible.

The study’s full enrollment period began in January 2014 and lasted through February 2016.

Study Participant Recruitment

This section summarizes the procedures for identifying potential study participants and recruiting

them into the study.

Identification and Recruitment of Study-Eligible Customers

The identification and recruitment of study participants began with the study’s participating

lenders. The lenders identified and invited those customers who were low-, moderate-, or

middle-income first-time homebuyers who resided in 1 of the 28 metropolitan areas and were

contacting the lender regarding preapproval, prequalification, or application for a mortgage. Each

lender went through a four-step process for identifying study-eligible customers, contacting those

customers, and referring customers to the study team. Exhibit 4.2 displays each step, with

additional detail provided in the text that follows.

Exhibit 4.2:  Step-by-Step Process To Recruit Study Participants From Lenders

Step 1: Lenders Identify Study-Eligible Customers

Each participating lender has in-person branch locations within each metropolitan area selected

as a study site, but all three lenders opted to identify customers eligible for the study through

their centralized national home loan databases. These databases contain information on

customers who are interested in home loans, including those completing preapproval,

prequalification, application, and related inquiries online, in person, and over the telephone.

Each lender designed a process for identifying study-eligible customers that best fit with its

operations. For example, one lender identified study-eligible customers by filtering its database

32

for customers who submitted a prequalification or application for a home loan and then filtered

for study eligibility based on first-time homebuyer status, income, and addresses within 1 of the

28 study sites. Another lender filtered for similar eligibility variables but also screened out

customers applying for mortgage products that had a homebuyer education or counseling

requirement.

The study team requested that each lender introduce the study to customers as close to first

contact as possible. Because the lenders varied somewhat in their procedures and volumes for

prequalifications and other preapplication activities, the team worked with each lender to design

referral procedures that fit it. Customers might be referred to the study as early as preapproval

and as late as application if that was their first contact with the lender that provided the

information needed to screen them for study eligibility (for example, address and income).

Step 2: Lenders Mail Introductory Letters to Study-Eligible Customers

Lenders contacted customers who were eligible for the study first by mailing an introductory

letter. This letter explained the study and stated that someone from the lender would be calling

them within the next few days to discuss the opportunity to participate in the study. On average,

lenders waited about 1 week after the letter was mailed to contact the customer by telephone.

Step 3: Lenders Call Study-Eligible Customers

The list of customers mailed letters was sent to each lender’s call center team. These call center

teams contacted customers by telephone and delivered a short script describing the study and the

incentives customers could receive if they decided to participate. If customers were interested in

learning more about the study, the call center team requested permission to pass contact

information to the study team.

More than 136,000 customers were mailed an introductory letter and called by the three

participating lenders.

Calls to study-eligible customers varied by lender. Lenders trained between 5 and 16 call

center staff to contact these customers. Call center teams made between three and seven call

attempts to each customer and left several voicemails. Recruitment calls usually lasted between

3 and 5 minutes. Depending on the lender, between 9 and 32 percent of customers expressed

interest in study participation and agreed to have their contact information passed to the study

team.

The study team created a telephone script and a Frequently Asked Questions document for each

lender’s call center staff. During these calls, many customers asked questions about the privacy

of their information and the lender’s practice for sharing data with third parties. Staff explained

that their information would not be shared outside of the study team and that study reports would

not reveal their identity or mention them by name. Customers also asked about lenders sharing

their Social Security number or credit information with the study team. Staff assured them that

only their name and contact information would be shared. Some customers asked more specific

questions about study activities, such as incentive payments, activities associated with

participating in the study, and the duration of the study. If the call center staff could not answer

the questions, customers were referred to the study team’s telephone hotline or the study’s

website.

33

Step 4: Lenders Provide Contact Information on Customers to the Study Team

If customers consented to have their information shared with the study team, call center staff

collected and confirmed their mailing address, phone number, email, and date of birth (month

and day only). Lenders provided reports with this information to the study team weekly or

biweekly.

The lenders referred more than 18,000 customers to the study team during the study enrollment

period.

Study Participant Enrollment

The reports containing contact information on referred customers from each lender were

uploaded to the study’s data system. The contact information for the newest referrals was passed

in batches to the study’s data collection partner.

Study participant enrollment took five steps. Exhibit 4.3 identifies each step with additional

detail provided in the text that follows.

Exhibit 4.3:  Step-by-Step Process To Enroll Study Participants

Step 1: Mailing a Preenrollment Packet

The study’s data collection partner mailed a preenrollment information packet explaining the

study to each referred customer. This packet included an introductory letter from HUD

explaining the importance of the study (appendix D), a study brochure (appendix E), a copy of

the consent form (appendix F), and two dollars. The two-dollar incentive was included to

encourage customers to read the materials in the packet.

Step 2: Verifying Customers’ Identities

A week after the preenrollment packets were mailed, telephone interviewers called the

customers. Interviewers first ascertained whether the customer remained interested in learning

34

more about the study. If so, interviewers verified the customer’s identity by a series of

questions. 18 The study’s eligibility assessment was administered to verified customers.

Step 3: Conducting the Eligibility Assessment

The assessment (which can be found in appendix G) ensured that customers were still eligible to

participate in the study. Its eligibility questions covered—

•  Previous participation in homebuyer education or counseling.

•  Participation in downpayment assistance programs that require homebuyer education or

counseling.

•  Willingness to complete homebuyer education and counseling services.

•  English or Spanish language preference.

•  Transportation options.

•  Accessibility of a computer and the Internet.

The screening question “Customer has not completed homebuyer education and counseling

curriculum at any previous point in time” was worded to exclude homebuyer education and

formal counseling that required an investment of 30 minutes or more. Its purpose was to help the

study isolate the impact of receiving services relative to not receiving services. The question did

not exclude customers who completed a general financial literacy course or who referred to

educational materials outside the context of a formal course.

The eligibility assessment screened out customers participating in downpayment assistance

programs that required homebuyer education and counseling. If enrolled in the study, such

customers might have been randomly assigned to the control group, which was designed to

contain only participants who received no homebuyer education and counseling. The study

excluded such customers because they were likely to complete activities associated with

homebuyer education and counseling on their own despite being in the control group.

Questions asked about a customer’s needs, such as language preference, transportation options,

and online accessibility, were necessary to ensure that once enrolled in the study, the customer

could participate in either of the intervention’s two delivery modes.

The outcome of the eligibility assessment determined whether customers were eligible for study

participation. If they were not eligible, they were thanked for their interest in the study and the

call ended. If they were eligible, interviewers continued on to consent and the baseline survey.

Questions Added During Enrollment

In June 2014, the study team added a question to the initial eligibility assessment to gauge

potential study participants’ interest in completing homebuyer education and counseling:

18   Verifying each customer’s identity ensured that the study enrolled the customers who were referred by the lenders and that it protected customers’ contact information shared by the lenders. Some 100 customers

provided interviewers with information that did not match the information provided by the lenders. These customers were screened out of the study as ineligible.

35

The homebuyer education and counseling sessions offered through the study

together take about 6 to 10 hours to complete. You may be asked to complete them

either online and over the telephone or by attending sessions at a local agency in

your area. If asked, would you be willing to complete these activities?

The study added this question with the goal of increasing the rates at which treatment group

members initiated and completed homebuyer education and counseling. Adding this question to

the eligibility assessment may alter the composition of study participants by screening out

customers who were not interested in homebuyer education and counseling services. However,

this change should not affect the internal validity of the study, as this change was implemented

such that it affected treatment and control group members in an identical manner. After the

addition of this question, about 6 percent of customers were screened out of the study because

their responses to the question indicated that they were not willing to complete homebuyer

education and counseling services.

In September 2014, when the choice treatment group was created (see chapter 2), the study team

added a question to assess customers’ preferences for the mode of homebuyer education and

counseling. It asked customers whether they would prefer to complete homebuyer education and

counseling in person—at a local housing counseling agency—or remotely, over the Internet and

telephone. The question asked—

We also want to know whether you would prefer to complete the homebuyer

education and counseling sessions in person at a housing counseling agency in

your area or remotely over the Internet and telephone. Completing the sessions in

person at a local agency means that you would be asked to attend a homebuyer

workshop and a one-on-one session with a housing counselor at a local agency in

your area. Completing the sessions remotely means that you would be asked to

complete homebuyer education over the Internet and a one-on-one session with a

housing counselor over the telephone. If given the choice, would you prefer to

complete the homebuyer education and counseling in person or over the Internet

and telephone?

Approximately 75 percent of customers expressed a preference for remote services, and 25

percent expressed a preference for in-person services.

Questions Screening out Customers

Roughly 26 percent (4,825 customers) of all customers who were contacted and completed the

eligibility assessment were screened out. The eligibility items that had the highest screen-out

rates were—

•  Customer had previously completed 30 minutes or more of homebuyer education or

counseling: 8.4 percent (1,526 customers).

•  Customer was not willing to complete homebuyer education and counseling services if

assigned to one of the treatment groups: 5.5 percent (1,008 customers).

•  Customer had applied for loan or downpayment assistance program that required homebuyer

education course: 2.8 percent (517 customers).

•  Customer did not have access to the Internet: 2.8 percent (510 customers).

36

Step 4: Collecting Informed Consent

The informed consent process involved interviewers reviewing the consent agreement with the

study-eligible customer. The agreement described the study, the random assignment process, the

study participant’s role, the incentive structure, the risks associated with study participation and

actions to mitigate these risks, and what would be expected if the customer agreed to participate

in the study. Customers who agreed to participate in the study provided verbal consent that was

audiorecorded.

The informed consent agreement explained that study participants may be assigned to a

treatment group or to the control group. This explanation made it clear to customers that

participants assigned to a treatment group would be asked to complete homebuyer education and

counseling and that all services were free. It also clarified that participants assigned to the control

group would not be offered those services through the study. 19

Step 5: Administering the Baseline Survey

Customers who gave their consent to participate in the study were administered the baseline

survey (appendix H) by the interviewer. The baseline survey was the primary source of

information on study participants’ characteristics prior to random assignment. The baseline

survey had several purposes.

•  Describe study participants’ mortgage preparedness and characteristics at baseline.  The

baseline survey collected information that reflected the study participant’s stage in the

homebuying process and preparedness for home purchase. It also collected a range of

demographic attributes and other baseline participant characteristics to support the

descriptive and impact analyses.

•  Affirm random assignment.  The baseline participant characteristics included the measures

used to affirm that assignment of study participants to a treatment group or to the control

group is random. (See chapter 5.)

•  Define covariates to increase precision of the impact estimates.  Baseline participant

characteristics are used to construct the covariates included in the models used to estimate the

impact of offering free homebuyer education and counseling services. Including covariates in

the impact model increases the precision of the impact estimates, which increases the study’s

ability to detect effects of interest.

•  Define subgroups for analysis.  Future reports will use baseline participant characteristics to define exogenous subgroups, which will increase understanding of whether the intervention’s

impacts vary for specific demographic and socioeconomic groups such as Spanish speakers

or groups defined by traits such as education, income, and credit score. These subgroup

analyses will provide deeper insights into how policymakers and homebuyer education and

counseling practitioners can target services toward particular populations. Additionally,

impacts might be expected to be greater among those treatment group members who

experience more education and counseling versus less. Thus, future analyses will examine

the relative effectiveness of the offered education and counseling activities for homebuyers in

19   Not only were homebuyer education and counseling services free, but treatment group participants were compensated for engaging in and completing study-related activities. Those in the control group were not offered services, but they did receive $50.

37

a treatment group who completed some but not all of the activities. The first stage of

estimating these dosage effects requires using baseline participant characteristics to predict

service receipt.

•  Adjust for differential survey response rates for treatment and control group members.

The baseline participant characteristics include the measures that can be used to adjust for

differential survey nonresponse (or item nonresponse) between the treatment groups and

control group, if necessary.

After study participants completed the baseline survey, they were enrolled in the study.

Random Assignment

After customers completed the eligibility assessment, gave informed consent, and responded to

the baseline survey, they became enrolled participants in the study. Next, study participants were

randomly assigned to one of three study groups.

•  Control group.  Study participants assigned to this group were not offered homebuyer

education or counseling services. Study participants assigned to this group numbered 2,458.

•  Remote treatment group.  Study participants assigned to this group were offered online

homebuyer education and telephone counseling. Because these services are provided

remotely, the study team referred these treatment group members, regardless of location, to

eHome America for online education and to ClearPoint for telephone counseling. Study

participants assigned to this group numbered 1,698.

•  Choice treatment group.  Some study participants in this group initially had been assigned

to in-person homebuyer education and counseling, before the study was redesigned in

September 2014. After the redesign, study participants assigned to this group could choose

between in-person and remote services. As a result—

−  In-person group education and one-on-one counseling. Study participants in this

group were offered in-person homebuyer education and counseling from an agency in

their area participating in the study. Study participants assigned to this group numbered

542, all randomized into it before September 16, 2014.

−  Remote online education and telephone counseling or in-person group education

and one-on-one counseling.  Study participants in this group were offered their choice.

Of the 1,156 participants in this group, all randomized into it on or after September 16,

2014, 862 participants chose remote services and 294 chose in-person services.

This section briefly describes the random assignment process and the materials and incentive

payments distributed to participants.

Process

Three times weekly, the study team used the study’s data system to randomly assign study

participants who had been enrolled in the study recently. Exhibit 4.4 displays the number of

customers at each stage of the study’s processes.

38

Exhibit 4.4:  Study Recruitment and Enrollment Process by the Numbers

Number of

Step

Customers

Customers contacted by participating lenders

136,874

Customers consenting to be referred to the study team

18,279

Duplicate records or insufficient data

(79)

Customers contacted

18,200

Screened out of the study

(4,825)

Unreachable

(5,702)

Refused

(1,819)

Total number of study participants

5,854

Control group

2,458

Remote treatment group

1,698

In-person treatment groupa

542

Choice treatment groupb

1,156

a Those randomized before September 16, 2014.

b Those randomized on or after September 16, 2014. Includes 862 who chose remote services and 294 who chose in-person services.

Sources: lender referrals; Abt SRBI disposition reports; random assignment and service tracking system Materials

Next, the study team mailed a  Welcome to the Study  packet (appendix I) and sent an introductory email message. The study team created materials in English and Spanish and mailed the

Welcome to the Study packets to participants in their preferred language.

The  Welcome to the Study  packet contained a letter indicating the study participant’s group

assignment and describing the study’s next steps, along with a copy of the consent form (for the

participant’s records). If the participant was assigned to a treatment group, the packet contained

step-by-step instructions for signing up for and completing the free homebuyer education and

counseling offered. Study participants assigned to the control group were informed that they

would not be offered homebuyer education and counseling services through the study.

If the study participant had been assigned to the in-person mode of the intervention or had

chosen to receive in-person services, the  Welcome to the Study packet contained a list of nearby participating housing counseling agencies, along with instructions for contacting them and

answers to questions the participant might have about homebuyer education and counseling.

If the study participant had been assigned to the remote mode of the intervention or had chosen

to receive services remotely, the  Welcome to the Study packet contained contact information for

eHome and ClearPoint, instructions with screenshots on how to access eHome’s online

homebuyer education and instructions for initiating ClearPoint’s telephone homebuyer

counseling. It also included answers to questions the participant might have about homebuyer

education and counseling.

39

Compensation

All study participants were compensated for completing the baseline survey and for participating

in their study-related activities. The compensation varied by study activity and was based on the

level of effort requested of the study participant. All participants received $30 for completing the

baseline survey.

Following random assignment, participants who were assigned to a treatment group received

$150 to compensate them for the time required to participate in homebuyer education and

counseling. The payment was made in two parts. First, participants received $50 when they

initiated services with their assigned housing counseling agency. Second, they received $100

when they completed homebuyer education and counseling activities. In addition, they received

these education and counseling services free of charge.

Participants who were assigned to the control group were not offered free homebuyer education

and counseling services, but they did receive $50 for participating in the study.

In total, study participants could receive between $150 and $250 for completing study activities.

Exhibit 4.5 outlines the incentive payment for each study activity.

Exhibit 4.5:  Study Participant Compensation for Study Activities

Study Activity

Timing of Payment

Control

Treatment

Treatment

Group

Group 1

Group 2

Baseline survey

Complete baseline telephone survey

$30

$30

$30

Study enrollment

Control Group: Receive group assignment

$50

$50

$50

and group

letter

assignment

Treatment Group 1: Contact local agency

and complete first session or complete the

first online education module

Treatment Group 2: Complete the first

online educational module

Requested study

Complete all homebuyer education and

N/A

$100

$100

activities

counseling

Follow-up telephone

Complete the first telephone survey 1 year

$35

$35

$35

survey #1

after enrollment

Follow-up telephone

Complete the second telephone survey 3–

$35

$35

$35

survey #2

4 years after enrollment

Total

$150

$250

$250

40

5.  Baseline Characteristics and Representativeness of the Sample

This chapter describes the baseline characteristics of the study sample, including their

demographic and financial characteristics, measures of their financial capability, and their

housing situation and homebuying expectations and priorities at the time of enrollment.

The chapter also documents that baseline characteristics are balanced across treatment and

control groups and compares the sample with select national datasets to provide a context for

considering the external validity of the study’s findings.

The Study Sample at Baseline

Overall, the participants are diverse in their sociodemographic characteristics. They largely

displayed positive financial and savings behaviors at the time of enrollment, with those who had

already purchased a home having a more favorable financial profile than those in the earlier

stages of the homebuying process. In general, participants anticipated paying more for housing

after their home purchase and prioritized the number of bedrooms and bathrooms and repairs

needed among home factors, and neighborhood safety among neighborhood factors, in their

housing search.

Sociodemographic Characteristics and Stage in the Homebuyer Process

The study sample is racially and ethnically diverse, with 12.1 percent self-identifying as Asian,

20.4 percent as African-American, 25.0 percent as Hispanic, and 38.5 percent as White non-

Hispanic, (see exhibit 5.1). Approximately three-fifths (60.2 percent) of study participants are

men and two-fifths (39.8 percent) are women. The study participants reflect a wide range of

educational attainment, with a slight majority of participants holding a bachelor’s degree (53.5

percent vs. 46.5 percent without a bachelor’s degree). Most participants (89.9 percent) work full

time (at least 30 hours per week). The median combined income for study participants and their

co-borrowers was $54,000 in the 12 months prior to enrollment, with 10 percent making more

than $100,00020 and 10 percent making less than $26,000 (see exhibit 5.2). Relatedly, as shown in exhibit 5.3, more than one-half (55.0 percent) of the study sample were low income (having

incomes at or below 50 percent of Area Median Income) or moderate income (having incomes of

between 50 and 80 percent of Area Median Income).

About one-third (39.4 percent) of the study sample are single and do not plan to have children

living with them when they purchase their home (see exhibit 5.4). Another one-third (26.9

percent) are married or living with a partner and will have children living with them. About one-

fourth (21.8 percent) are married or living with a partner and will not have children with them.

The smallest proportion (11.8 percent) are single with children.

20   For four metropolitan statistical areas in the study, 120 percent of Area Median Income (the income eligibility cutoff for the study participation) is $100,000 or more.

41

Exhibit 5.1:  Baseline Sociodemographic Characteristics, Full Sample

Notes: All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item

nonresponse. Due to rounding, not all reported percentages precisely equal 100.0 percent.

Source: Baseline survey of study participants

Exhibit 5.2:  Baseline Income Distribution, Full Sample

Sample size:  5,755.

Note: Excludes study participants who withdrew from the study (as of March 9, 2016) and those missing measure-specific data.

Source: Baseline survey of study participants

42

Exhibit 5.3:  Percent of Study Participants With Low, Moderate, Middle, and High

Income, Full Sample

Sample size:  5,632.

Notes: Excludes study participants who withdrew from the study (as of March 9, 2016) and those missing measure-specific data. The Area Median Income is from the Federal Financial Institutions Examination Council 2013 Median Family Income Report. The address used to determine the Area Median Income is the address reported by study participants in the baseline survey. Study participant income is the income received by the study participant and any co-borrowers in past 12 months, as reported in the baseline survey. This income may differ from the income used for the study’s income eligibility screen, so some study participants may have reported participant income-to-Area Median Income ratios above the 1.20 eligibility cut-off. Income categories are based on the income-to-Area Median Income ratio and are aligned with those used to classify tracts in the Home Mortgage Disclosure Act and Community Reinvestment Act regulations. The categories are as follows: low income (less than 0.50); moderate income (0.50-0.80); middle income (0.80-1.20); and high income (greater than 1.20).   Income categories are based on the income-to-Area Median Income ratio and are aligned with those used to classify tracts in the Home Mortgage Disclosure Act and Community Reinvestment Act regulations. The categories are as follows: low income (less than 0.50); moderate income (0.50-0.80); middle income (0.80-1.20); and high income (greater than 1.20).

Sources: Baseline survey of study participants; Federal Financial Institutions Examination Council 2013 Median Family Income Report

Overall, 73.7 percent of participants did not plan to have a co-borrower. More than one-half

(52.0%) of married participants did not plan on having a co-borrower at the time of the baseline

survey (exhibit 5.5). Their decision possibly reflects an understanding that the only advantages

of having a co-borrower are the additional income and assets that he or she brings to the

mortgage application. If a participant’s spouse does not have additional income or financial

43

assets, he or she may not enhance a loan application. Indeed, a co-borrower’s credit score (if

lower than the primary borrower’s score) or debts could undermine a loan application. 21

Exhibit 5.4:  Baseline Household Composition, Full Sample

Sample size:  5,744.

Notes: Excludes study participants who withdrew from the study (as of March 9, 2016) and those missing measure-specific data. Study participants were not asked explicitly whether they had children living with them at the time of enrollment, but they were asked whether they planned to have any household members under the age of 18 living with them after the purchase of a home. The household composition shown in this exhibit is based on the assumption that plans after home purchase reflect the study participant’s baseline household composition. Due to rounding, not all reported percentages precisely equal 100.0 percent.

Source: Baseline survey of study participants

21   The overall proportion of study participants who plan to purchase with a co-borrower is consistent with other data on the prevalence of co-borrowers on mortgage applications for low- and moderate-income potential

homeowners. Data from the 2014 Home Mortgage Disclosure Act show that 29.8 percent of home mortgage

purchase applicants with incomes under 120 percent of Area Median Income had co-borrowers.

44

Male and female study participants have distinctly different household compositions, however,

as shown in exhibit 5.4. The men are much more likely to be married or living with a partner

(57.6 percent) than are the women (35.3 percent). The women are more than three times as likely

to be single with children than are their male counterparts (20.0 vs. 6.5 percent).

Exhibit 5.5:  Proportion of Borrowers Who Plan To Purchase With a Co-Borrower,

by Marital Status, Full Sample

Presence of a Co-Borrower (%)

No

Yes

Marital status

Married

52.0

48.0

Divorced, widowed, or separated

91.7

8.3

Single and never married

85.6

14.4

Sample size

5,712

Note: Excludes study participants who withdrew from the study (as of March 9, 2016) and those missing measure-specific data.

Source: Baseline survey of study participants

Although the study targeted customers early in the homebuying process, it enrolled participants

at every stage. As shown in exhibit 5.6, some 13 percent of study participants had already

purchased a home at the time of enrollment, and another 25 percent had signed a purchase

agreement. That participants enter the study through a referral by lenders likely explains why

many participants were fairly far along at enrollment. 22

Exhibit 5.6:  Stage in the Homebuyer Process at Baseline, Full Sample

Sample size: 5,698.

Note: Excludes study participants who withdrew from the study (as of March 9, 2016) and those missing measure-specific data.

Source: Baseline survey of study participants

22   As a point of comparison, Turnham and Jefferson (2012) focused on pre-purchase counseling service clients and found that 15 percent of their study sample signed a purchase agreement, 23 percent planned to purchase within 3 months of study enrollment (but did not sign a purchase agreement), 36 percent planned to purchase 3 months to 1 year from study enrollment, 8 percent planned to purchase but not at least for 1 year, and 19

percent did not specify a timeframe or were undecided on whether to purchase.

45

The stage at which participants entered the study has implications for the potential impacts of

homebuyer education and counseling. The later in the homebuying process participants are, the

more decisions they have already made and, consequently, the less influential education and

counseling will be on outcomes related to those decisions. For example, for study participants

who received homebuyer education and counseling after they had chosen a home and secured

financing, the intervention would not be expected to affect certain “preparedness and search”

outcomes such as tenure decision, home affordability, or mortgage product appropriateness. Such

treatment group members would still be expected, however, to experience changes in their

financial literacy, capability, and management outcomes and, ultimately, in their homeownership

sustainability outcomes.

Future reports will include subgroup analyses to gain insight into whether the impacts of

homebuyer education and counseling differ for participants who enrolled at earlier and later

stages of the homebuying process.

Financial Capability

Overall the study sample exhibited favorable financial management and savings behaviors at

time of study enrollment (exhibits 5.7, 5.8, and 5.9).

Three-fourths of participants used a written budget (74.7 percent) and reported paying their

credit card balance in full most of the time (77.4 percent). Nearly all (91.1 percent) regularly set

aside money for retirement, education, or a financial cushion. Some 70.3 percent stated that they

shop around when choosing credit cards, and 77.7 percent had enough savings to cover 3 months

of expenses.

According to credit bureau data, the study sample had a median credit score of 712, with a mean

of 707. As reference points, the average credit scores for loans guaranteed by the Federal

Housing Administration (FHA) Single-Family Mutual Mortgage Insurance Fund was 685 in the

first quarter of 2014 and 677 in the first quarter of 2015 (HUD, 2014 and 2015). The average

credit score for all purchase originations was 734 in January 2014 and 744 in December 2015

(Goodman, 2014 and 2016). At enrollment, about 90 percent of study participants had credit

scores of at least 620, a rough proxy for the minimum score needed to qualify for a conventional

mortgage in 2015. 23

The majority also had financial products generally associated with financial health, such as

checking accounts (99.5 percent), savings accounts (87.6 percent), and retirement accounts (65.3

percent). One-half of study participants had at least $15,000 available for a downpayment and

closing costs, and one-half had at least $21,000 in total savings and investments. The median

amount of nonmortgage debt at enrollment was less than $10,000.

23   See, for example, Fannie Mae (2016).

46

Exhibit 5.7:  Baseline Measures of Financial Behaviors, Full Sample

Entire Sample

Baseline Variable

(%)

Financial behaviors

Respondent has a budget or spending plan for monthly household expenses

74.7

Usually pays credit card balance in full to avoid interest charges

77.4

I occasionally overdraw my checking accounta

8.8

I occasionally don’t have enough money to cover all of my bills at the end of the montha

5.6

I never use payday lendersa

85.2

I usually shop around when choosing a new credit carda

70.3

Everyone in household has health insurance

88.3

Previously lost a home or other property to foreclosure

4.3

Budgeting and savings

Over the past year, respondent was short on money sometimes or often

16.4

Respondent sets aside extra money for retirement, education, or to build a financial

91.1

cushion sometimes or often

I usually have enough savings set aside to cover 3 months of expensesa

77.7

I’ve tried to figure out how much I need to save for retirementa

78.9

Checking, savings, and retirement accounts

Respondent has a checking account

99.5

Respondent has a savings account

87.6

Respondent has any retirement accounts (for example, 401(k) or 403(b), IRA, or

65.3

pension account)

Aside from retirement accounts, respondent has other money market accounts,

22.6

certificates of deposit, mutual funds, stocks, or brokerage accounts

a Percent of respondents who agree or strongly agree.

Notes: All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item nonresponse.

Source: Baseline survey of study participants

Exhibit 5.8:  Baseline Credit Score, Full Sample

Sample size:  5,017.

Percent of study participants with a credit score greater than 620:  89.3 percent.  Note: Excludes study participants who withdrew from the study (as of March 9, 2016) and those missing measure-specific data.

Source: Credit bureau data

47

Exhibit 5.9:  Baseline Savings, Cash for Downpayment, and Nonmortgage Debt,

Full Sample

Notes: All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item nonresponse.

Cash on hand for downpayment and closing costs is also self-reported in the baseline survey and may be less than total savings and investments (if the former is a subset of the latter) or more than total savings and investments (if study participants have access to outside funds for downpayment and closing costs, for example, from a family member). For participants who had already purchased a home at the time of enrollment, cash on hand for downpayment and closing costs refer to the funds that were available at the time of purchase. Total savings and investments are self-reported in the baseline survey and include balances in all checking, savings, retirement, and other investment accounts. Nonmortgage debt is provided by credit bureau data and includes student loan, automobile, and credit card debt.

Sources: Baseline survey of study participants; credit bureau data

Nonetheless, indications of financial vulnerabilities were identified within the study sample.

About one in six participants (16.4 percent) was short on money sometimes or often, and 8.8

percent occasionally overdrew their checking account. Some 15 percent sometimes used a

payday lender. About one-third (34.7 percent) did not have a retirement account. As shown in

exhibits 5.8 and 5.10, 10 percent of the sample had credit scores under about 620 at baseline.

Further, as shown in exhibit 5.10, about 4 percent of the sample had previously lost a home or

another property to foreclosure, and 10 percent had nonmortgage debt of more than $48,000.

Study participants who had already purchased a home had a different financial profile at

enrollment from those who had not yet purchased, as shown in exhibit 5.10. Participants who

had purchased homes had higher incomes, credit scores, and cash on hand for downpayment

and closing costs. Their circumstances are not surprising, given that they had already met

lender underwriting standards, whereas those earlier in the homebuying process had not.

48

Exhibit 5.10: Financial Characteristics at Baseline: Home Purchasers vs.

Nonpurchasers

Purchasers

Nonpurchasers

Significant

Difference

Income received by participant and any co-borrowers in past 12 months

$24,999 or less (%)

3.6

8.7

*

$25,000 to $49,999 (%)

21.4

36.1

*

$50,000 to $74,999 (%)

33.3

32.5

$75,000 to $99,999 (%)

21.4

13.6

*

$100,000 or more (%)

20.2

9.2

*

Mean

$74,648

$57,719

*

Credit worthiness

Credit scorea

Less than 580 (%)

0.2

4.6

*

580 to 619 (%)

2.2

7.4

*

620 to 659 (%)

8.0

16.3

*

660 to 699 (%)

15.9

17.8

700 to 739 (%)

23.6

19.3

*

740 or more (%)

50.1

34.7

*

Mean

734

703

*

Cash on hand for downpayment and closing costsb

$55,210

$30,448

*

Nonmortgage debta, c

$18,712

$19,750

Monthly payment nonhousing debta

$355

$355

Measures of financial responsibility

Uses a written budget (%)

75.9

74.8

Usually pays credit card balance in full to avoid

85.6

76.2

*

interest charges (%)

During the past year, was short on money sometimes

10.1

17.2

*

or often (%)

Sets aside extra money for retirement, education, or

93.1

90.9

*

to build a financial cushion sometimes or often (%)

Everyone in household has health insurance (%)

92.7

87.7

*

Total savings and investments

$69,338

$53,021

*

Sample Size

752

4,946

* Purchasers statistically significantly different from nonpurchasers at the p < 0.05 level.

a Measure was constructed using credit bureau data, which covers 5,087 of the 5,789 study participants who did not withdraw from the study (87.8 percent). Measure-specific sample sizes may vary due to item nonresponse. Credit bureau data capture study participant credit information zero to two months prior to random assignment.

b Cash on hand for downpayment costs refers to the funds that were available at the time of purchase for participants who already purchased at the time of enrollment.

c Total savings and investments is self-reported in the baseline survey and includes balances in all checking, savings, retirement, and other investment accounts.

Notes:  All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item nonresponse.

Sources: Baseline survey of study participants; credit bureau data

49

Those who already had purchased a home also displayed higher levels of financial capability

along several measures, such as paying off credit card balances in full and setting aside money.

These significant differences may reflect the relatively higher incomes of purchasers (for

example, it is easier to pay off credit card balances when you have more income). In contrast,

using a written budget, which is not dependent on income, is not statistically different between

purchasers and nonpurchasers.

Housing Arrangements, Preferences, and Expectations

The housing arrangement of a study participant is defined as either (1) the housing arrangement at

enrollment (for those who had not yet purchased a home) or (2) the pre-purchase housing

arrangement (for those who had purchased). The most common pre-purchase housing arrangement

was renting (82.3 percent), followed by living with a family member (15.1 percent). 24 About two-thirds (68 percent) of study participants were satisfied with their pre-purchase housing

arrangements (exhibit 5.11).

Exhibit 5.11: Pre-purchase Housing Arrangements, Full Sample

Baseline Variable

Percent (%)

Pre-purchase housing arrangementsa

Rent

82.3

Living at family member’s house

15.1

Other living arrangement (for example, living at friend’s house)

2.6

Satisfaction with pre-purchase housing arrangements

Satisfied or very satisfied

68.0

a For study participants who had already purchased a home as of enrollment, housing arrangements refer to pre-purchase housing arrangements.

Notes: All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item

nonresponse.

Source: Baseline survey of study participants

Median rent paid for their pre-purchase rentals by study participants was $950 per month plus

$150 for utilities (exhibit 5.12). The median  monthly rental  cost-to-income ratio (defined as monthly rent plus utilities divided by monthly income) was 0.25 (exhibit 5.13). In other words,

one-half of study participants who were renting prior to home purchase were spending one-

fourth or less of their income on housing costs. 25 HUD defines a  housing cost burden as 24   For comparison, a 2014 survey by the National Association of Realtors® found, for first-time homebuyers, that 77 percent had rented prior to purchase and 19 percent lived with family or friends (National Association of Realtors®, 2014).

25   The income variable used for the monthly cost-to-income ratio while the participant was renting includes the income of co-borrowers. Therefore, if a participant was not living with a co-borrower when he or she was renting (that is, their co-borrower’s income was not part of their household income), the participant’s actual monthly rental cost-to-income ratio could be higher than the calculated ratio. If, on the other hand, a

participant’s household received income from a source other than the participant or co-borrower while renting, then the monthly rental cost-to-income ratio could be less than the calculated ratio.

50

spending more than 30 percent of household income on housing costs, and a  severe cost burden

as spending more than 50 percent of household income on housing costs. 26 These thresholds are used by HUD and other housing policy stakeholders as proxies for identifying households that

may be having difficulties meeting daily living expenses (for example, food, clothing,

transportation, medical expenses) due to housing costs. Based on the rental cost-to-income ratio,

more than one-third (36.1 percent) of study participants who were renting prior to home purchase

had a housing cost burden at baseline, and 10.2 percent had a severe burden. Study participants

with lower incomes (relative to Area Median Income) were more likely than those with higher

incomes to have a housing cost burden. As shown in exhibit 5.13, 78.2 percent of study

participants with low incomes who were renting prior to home purchase had a housing cost

burden at baseline, whereas only 5.1 percent of study participants with high incomes had a

housing cost burden at baseline.

Exhibit 5.12: Pre-purchase Rental Costs and Expected Home Purchase Costs

Expected Home Purchase Costs,

Pre-purchase Rental Costs, Rentersa

Full Sampleb

Home

Monthly Housing

Monthly Rent

Monthly Utilities

Purchase

Expenses

(%)

(%)

Price

(excluding utilities)

(%)

(%)

10th percentile

500

20

90,000

750

25th percentile

710

80

125,000

950

50th percentile

950

150

180,000

1,250

75th percentile

1,250

250

264,500

1,700

90th percentile

1,600

400

400,000

2,300

Mean

1,027

184

215,601

1,407

Sample size

4,756

4,735

5,774

5,739

a Monthly rent and utilities are based on the sample of study participants who were either renting at the time of enrollment or had already purchased a home as of enrollment but who had rented prior to the home purchase.

b Expected home purchase price and expected monthly housing expenses are defined for the entire sample using baseline survey data. For study participants who had already purchased a home as of enrollment, expected home purchase price and expected monthly housing expenses reflect how much they had expected to pay when they were looking for a home. Participants were asked how much they were willing to spend on their monthly housing expense.

We use their answer as a proxy for expected post-purchase monthly housing expense.

Note: Excludes study participants who withdrew from the study (as of March 9, 2016) and those missing measure-specific data.

Source: Baseline survey of study participants

The median price that study participants expected to pay for their home was $180,000, 27

although expectations ranged widely. As shown in exhibit 5.12, about 10 percent of participants

expected to spend $90,000 or less for the purchase price of a home, whereas another 10 percent

26  https://portal.hud.gov/hudportal/HUD?src=/program_offices/comm_planning/affordablehousing

27   In comparison, the median sales price of existing homes sold in the United States was approximately $223,000

in 2015. This estimate was computed by taking the average of the median monthly sales price of existing homes for March 2015, June 2015, September 2015, and December 2015. These data are published by the National

Association of Realtors for the past 12 months and were retrieved from https://research.stlouisfed.org.

51

expected to spend at least $400,000. Many participants were willing to pay more per month for a

home than their current rent. The median expected monthly housing expense (defined as the

amount a participant was willing to spend each month on a home, excluding utilities) was

$1,250. 28 The median  expected monthly housing cost-to-income ratio (the total amount a participant is willing to spend each month on housing, including mortgage payment, taxes, and

insurance, divided by monthly income) was 0.29. 29

Exhibit 5.13: Estimated Housing Cost Burden

Full

Low

Moderate

Middle

High

Sample

Income

Income

Income

Income

Panel A: Pre-purchase monthly rental cost-to-income ratio, rentersa

50th percentile

0.25

0.42

0.27

0.20

0.16

Proportion at or above 0.30

36.1

78.2

41.5

14.3

5.1

Proportion at or above 0.50

10.2

36.0

5.7

0.7

0.7

Sample size

4,706

958

1529

1549

572

Panel B: Expected monthly housing cost-to-income ratio, full sampleb

50th percentile

0.29

0.42

0.30

0.26

0.20

Proportion at or above 0.30

47.7

82.9

52.2

32.0

12.8

Proportion at or above 0.50

10.5

33.8

6.1

1.9

1.2

Sample size

5,710

1185

1877

1859

671

a  Monthly rental  cost-to-income ratio is equal to monthly rent plus utilities divided by monthly income. Monthly rent and utilities are based on the sample of study participants who were either renting at the time of enrollment or had already purchased a home as of enrollment but had rented prior to the home purchase. Study participant income is the income received by the study participant and any co-borrowers in the past 12 months, as reported in the baseline survey.

b  Expected monthly housing cost-to-income ratio is equal to expected monthly housing expenses divided by monthly income. This measure is defined for the entire sample using baseline survey data. Participants were asked how much they were willing to spend on their monthly housing expense. We use their answer as a proxy for expected post-purchase monthly housing expense. For study participants who had already purchased a home as of enrollment, expected monthly housing expenses reflect how much they had expected to pay when they were looking for a home.

Expected monthly housing costs include mortgage payments, insurance, and taxes but not utilities.

Notes: Excludes study participants who withdrew from the study (as of March 9, 2016) and those missing measure-specific data. Income categories are based on the income-to-Area Median Income ratio and are aligned with those used to classify tracts in the Home Mortgage Disclosure Act and Community Reinvestment Act regulations. The categories are as follows: low income (less than 0.50); moderate income (0.50–0.80); middle income (0.80–1.20); and high income (greater than 1.20).

Source: Baseline survey of study participants

Based on their expected monthly housing cost-to-income ratio, nearly one-half (47.7 percent)

would spend more than 30 percent of their income on housing and 10.5 percent would spend

more than 50 percent of their income. Study participants with lower incomes were more likely

than those with higher incomes to expect to pay monthly housing costs that would lead to

28   Participants were asked how much they were willing to spend on their monthly housing expense, not including utilities. We use this as a proxy for expected post-purchase monthly housing expense (excluding utilities).

29   Importantly, utilities are included in the calculation of the  monthly rental  cost-to-income ratio but are not included in the calculation of the  expected monthly housing cost-to-income ratio.  If utilities were included, the proportion of participants whose  expected monthly housing cost-to-income ratio exceeded 0.3 and 0.5 would be higher.

52

housing cost burdens or severe cost burdens. As shown in exhibit 5.13, 82.9 percent of low-

income study participants expected to spend an amount greater than 30 percent of their income

on housing, whereas only 12.8 percent of high-income study participants expected to spend more

than 30 percent of their income on housing. However, again, these cost burdens are based on the

amount that participants said they would be  willing to pay, which does not mean they would

qualify for mortgages that would lead to such costs. 30

When asked about the most important neighborhood feature, study participants reported that

safety was by far the most important concern, with 94.6 percent of study participants listing

safety as important or very important and 32.1 percent citing it as the most important feature

(exhibits 5.14 and 5.15). 31 These findings are consistent with recent data and literature. For example, the 2013 American Housing Survey (AHS) found that 69 percent of first-time

homebuyers cited safety as a reason for choosing their neighborhood, a higher proportion than

any other feature (Taylor, 2015). Relatedly, a 2013 qualitative study on the tenure decisions of

lower-income households revealed a “significant consensus about the importance of buying in a

neighborhood with low levels of violence” (Reid, 2013).

Study participants also considered neighborhood appearance and amenities (76.9 percent),

convenience for work (69.3 percent), and school quality (59.6 percent) to be important or very

important. 32 Perhaps unsurprisingly, the proportion of participants with children who considered school quality to be important or very important was much higher (89.5 percent) than the

proportion of those without children (40.8 percent).

30   When underwriting mortgages, lenders rely on two metrics to determine housing affordability: the front-end and back-end debt-to-income (DTI) ratios. The front-end DTI is the monthly housing costs (mortgage payments, taxes, and insurance) divided by the borrower’s monthly income. The back-end DTI is the total recurring

monthly debt (housing costs plus car payments, credit card, student loans, etc.) divided by monthly income.

Placing limits on these DTI ratios helps ensure that borrowers can afford to pay back their mortgages while meeting other necessary living expenses. For example, in 2015, the FHA placed limits on the front-end and back-end DTIs of 0.31 and 0.43 percent, respectively. That is, for mortgages insured by FHA, the total monthly mortgage payment (including insurance and interest) could not exceed 31 percent of the borrower’s income, and the total mortgage payment plus any non-mortgage debt payments could not exceed 43 percent of the

borrower’s income. Fannie Mae and Freddie Mac prefer loans with a back-end ratio under 0.36 (although

compensating factors may increase it). Lenders also have regulatory incentives under the 2010 Dodd-Frank Wall Street Reform Act.

31   For participants with and participants without children, safety was ranked as the most important concern and was cited as important or very important more than 90 percent of the time.

32   As a point of comparison, the 2013 American Homebuyer Survey found that the following were reasons given by first-time homebuyers for choosing a neighborhood: safety (69 percent); looks/design of the neighborhood (61 percent); proximity to friends/family (57 percent); convenience to work (54 percent); and schools (42

percent).

53

Exhibit 5.14: Importance of Neighborhood Features at Baseline, Full Sample

Notes: All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item nonresponse.

Source: Baseline survey of study participants

Exhibit 5.15: Most Important Home or Neighborhood Feature at Baseline, Full

Sample

a Based on the following question from the baseline survey:  What is the most important home or neighborhood feature to you in selecting a home?

Notes: All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item

nonresponse.

Source: Baseline survey of study participants

54

The amount of home repair needed and the number of bedrooms and bathrooms tied as an

important home features, with about 85 percent of study participants rating each as important or

very important (exhibit 5.16). Most participants (64.9 percent) also cited the total square footage

of a home as important or very important. These findings are consistent with recent data from the

National Association of Home Builders on homebuyer preferences. 33

Exhibit 5.16: Importance of Home Features at Baseline, Full Sample

Notes: All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item

nonresponse.

Source: Baseline survey of study participants

The relative importance given to characteristics of the neighborhood and the housing unit did not

vary with the income of the study participant. For example, 95 percent of those with incomes at

or below 80 percent of the area median said that safety was important or very important, as did

94 percent of those with incomes greater than 80 percent of the area median.

Asked how long they expected to live in a home they purchase, about one-half of study

participants said 10 years or less (53 percent) and about one-half said more than 10 years

(47 percent) (exhibit 5.17).

33   A 2012 survey (NAHB, 2013) suggested that, for 65 percent of buyers, the most important feature in a home was “living space and number of rooms that meet their needs.”

55

Exhibit 5.17: Years Planned To Live in the Home They Purchased or Plan To

Purchase, Full Sample

Baseline Variable

Entire Sample (%)

Less than 5 years

18.5

6 to 10 years

34.6

11 to 20 years

17.1

More than 20 years

29.9

Notes: All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item nonresponse.

Source: Baseline survey of study participants

Baseline Balance Testing

By randomly assigning study participants to treatment and control groups, this study will be able

to isolate the unbiased experimental impact of the offer of free homebuyer education and

counseling. Baseline “balance testing” tests whether random assignment worked as intended and

discovers whether there are any systematic differences in baseline characteristics between

treatment and control groups (although differences can emerge due to chance). This section

describes the baseline balance testing. Overall, baseline characteristics are well-balanced across

the treatment and control groups, demonstrating that random assignment was performed in a

valid manner and that analysis will be able to confidently interpret impact estimates as the causal

effect of homebuyer education and counseling.

To conduct the baseline balance testing, we compared three groups: the control group; the

remote treatment group; and the combined in-person treatment and choice treatment groups. The

in-person and choice treatment groups were pooled together because these two groups were part

of random assignment during different, mutually exclusive, phases of the study. The in-person

group was part of the early, pre-redesign, phase, whereas the choice group was part of the post-

redesign phase. The pooled sample of in-person and choice treatment group participants are

expected to be balanced with both the control and remote groups.

A summary test finds that the two treatment groups (in-person or choice and remote) are the same

across all baseline characteristics, as is each treatment group and the control group. The omnibus

statistical test of the null hypothesis that two treatment groups were the same across all baseline

characteristics uses the methodology outlined in Gubits et al. (2013). The omnibus test involves

estimating a regression model that predicts treatment group membership (for example, remote

treatment group vs. control group). The F-test on the joint significance of all covariates included in

this model serves as the omnibus statistical test for differences between the two treatment arms.

Rejection of the null hypothesis indicates that the joint distributions of the baseline characteristics

for the two treatment arms differ in a manner that has less than a 5 percent probability of occurring

by chance. The findings from this analysis appear in exhibit 5.18.

No evidence was found that the set of baseline characteristics is jointly statistically different

between each pairwise combination of control and treatment groups, as the  p-values

corresponding to the three omnibus F-tests are all well above the 0.05 significance threshold.

This evidence confirms that random assignment was performed in a valid manner and that

impact estimates can confidently be interpreted in future reports as the causal effect of offering

homebuyer education and counseling.

56

Exhibit 5.18: Summary of Baseline Balance Tests

Treatment Arm Comparison

p-Value of Omnibus

Number of Baseline

F-Test

Characteristics With Significant

Differences (Out of 50; α = 0.05)

Remote vs. control

0.687

1

In-person or choice vs. control

0.138

3

Remote vs. in-person or choice

0.860

2

Sources:  Baseline survey of study participants; credit bureau data

Although this omnibus F-test is sufficient to demonstrate that there are no systematic between-

group differences, it is also common to report each group’s value on baseline measures (for

readers interested in the specific values of each measure, by experimental group). Exhibits 5.19

and 5.20 report these descriptive sample statistics for a number of key baseline measures for the

entire sample and for each of the three treatment arms. Those exhibits report results of a

statistical test of whether baseline characteristics are different across each pairwise combination:

remote vs. control; in-person and choice vs. control; and remote vs. in-person and choice. Each

row of exhibits 5.19 and 5.20 shows three separate tests of baseline balance.

•  A test of whether the remote treatment group is statistically different from the control group,

where a “*” indicates a difference at the 5 percent significance level.

•  A test of whether the in-person and choice treatment group is statistically different from the

control group, where a “#” indicates a difference at the 5 percent significance level.

•  A test of whether the remote treatment group is statistically different from the in-person and

choice treatment group, where a “~” indicates a difference at the 5 percent significance

level. 34

Exhibit 5.19 presents tests of baseline balance on demographic measures, including race or

ethnicity, gender, marital status, household size, education, employment, and income. Exhibit

5.20 presents tests of baseline balance on measures related to stage in homebuying, financial

responsibility, and creditworthiness. These measures reflect key demographic measures and

determinants of study participant outcomes. The set of baseline characteristics included in these

two tables aligns with the set of baseline characteristics that will be included as covariates in the

study’s future impact analyses. The study will control for these observed chance differences in

baseline measures in order to improve the precision with which program impacts are estimated.

The results of the statistical tests presented in exhibits 5.19 and 5.20 are summarized in exhibit

5.18. For the remote vs. control comparison, differences were observed for 1 of the 50 baseline

variables (at the 5 percent level); for the in-person/choice vs. control comparison, differences

were observed for 3 of the 50 variables; and for the remote vs. in-person/choice comparison,

differences were observed for 2 of the 50 variables. These totals are in line with the number of

differences to be expected due to random chance, and they provide further evidence that random

assignment was performed in a valid manner.

34   Statistically significant differences do not indicate a failure of randomization. Differences between groups would be expected in about 5 percent (at the 5 percent significance level) of the variables due to random chance.

57

Exhibit 5.19: Baseline Balance Testing, Demographic Characteristics of Study

Participants

Baseline Variable

Entire

Remote

In-Person

Control

Statistically

Sample

Treatment  and Choice

Group

Significant

(%)

Group

Treatment

Difference

Group

Race/ethnicity

Hispanic

25.0

23.7

25.9

25.3

White non-Hispanic

38.5

37.3

39.3

38.8

African-American non-Hispanic

20.4

21.1

20.3

20.1

Asian non-Hispanic

12.1

13.1

11.1

12.2

Other race

3.9

4.8

3.5

3.6

Gender

Male

60.2

61.4

57.7

61.1

# ~

Marital status

Married

38.1

38.3

37.0

38.8

Divorced, widowed, or separated

14.8

15.3

14.8

14.4

Single and never married

47.1

46.4

48.2

46.8

Plans to purchase the home with a co-borrower

Co-borrower

26.3

25.6

24.8

27.7

#

Household size

One

22.8

23.0

23.8

22.0

Two

32.0

31.5

31.4

32.6

Three

19.8

20.1

20.2

19.3

Four

15.2

15.1

14.3

15.9

Five

6.7

6.8

6.6

6.7

Six or more

3.6

3.5

3.7

3.5

Education

Bachelor’s degree or higher

53.5

53.8

55.1

52.3

Associate’s degree

12.9

12.5

13.1

13.0

Some college, but no degree

16.1

15.9

17.0

15.6

High school diploma or less

17.5

17.8

14.8

19.1

# ~

Employment

Full-time employment (30+ hours per

89.9

90.6

89.7

89.4

week)

Part-time employment (1–29 hours

4.1

3.3

4.3

4.5

per week)

Unemployed and looking for work

0.5

0.6

0.4

0.4

Not working, homemaker, retired,

5.5

5.4

5.5

5.6

student, or other

Income received by participant and any co-borrowers in past 12 months

$24,999 or less

8.1

8.2

8.2

8.0

$25,000 to $49,999

34.0

34.4

34.4

33.6

$50,000 to $74,999

32.6

31.9

32.3

33.3

$75,000 to $99,999

14.6

15.1

15.0

13.9

$100,000 or more

10.7

10.4

10.1

11.2

* Remote treatment group statistically significantly different from control group at the p < 0.05 level.

# In-person and choice treatment groups statistically significantly different from control group at the p < 0.05 level.

~ Remote treatment group and in-person and choice treatment groups statistically significantly different from each other at the p < 0.05 level.

Notes:  All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item

nonresponse.

Source:  Baseline survey of study participants

58

Exhibit 5.20: Baseline Balance Testing, Measures of Homebuying Stage, Financial

Responsibility and Creditworthiness of Study Participants

Baseline Variable

Entire

Remote

In-Person

Control  Statistically

Sample

Treatment  and Choice

Group

Significant

Group

Treatment

Difference

Group

Stage in the homebuying process (%)

Not yet started home search

11.2

11.0

10.9

11.6

Started home search but no visits

13.2

14.1

12.2

13.3

Visited homes but no offer

23.9

24.0

24.4

23.5

Made an offer on a home but no

13.2

13.2

12.8

13.4

purchase agreement

Signed a purchase agreement

25.3

24.5

26.9

24.8

Purchased a home

13.2

13.2

12.8

13.4

Measure of financial responsibility

(%)a

Uses a written budget

74.7

73.9

74.0

75.7

Usually pays credit card balance in full to

77.4

77.5

78.3

76.8

avoid interest charges

During the past year, was short on

16.4

16.0

15.4

17.3

money sometimes or often

Sets aside extra money for retirement,

91.1

91.4

92.0

90.3

education, or to build a financial cushion

sometimes or often

Everyone in household has health

88.3

87.6

89.4

88.2

insurance

Level of total savings and investments

$55,139

$48,879

$53,283

$60,699

*

(mean)

Creditworthiness

Credit scoreb (%)

Less than 580

3.9

3.6

3.7

4.3

580 to 619

6.8

7.2

6.9

6.4

620 to 659

15.3

14.8

14.6

16.1

660 to 699

17.6

18.0

17.4

17.5

700 to 739

19.9

20.7

18.9

20.1

740 or more

36.5

35.8

38.4

35.6

Cash on hand for downpayment and

$33,755

$32,173

$32,538

$35,664

closing costs (mean)

Amount of nonhousing debt (mean)b

$19,622

$19,359

$19,492

$19,888

Monthly payment nonhousing debt

$355

$350

$349

$363

(mean)b

* Remote treatment group statistically significantly different from control group at the p < 0.05 level.

# In-person and choice treatment groups statistically significantly different from control group at the p < 0.05 level.

~ Remote treatment group and in-person and choice treatment groups statistically significantly different from each other at the p < 0.05 level.

a Percentages except where noted.

b Measure was constructed using credit bureau data, which cover 5,087 of the 5,789 study participants who did not withdraw from the study (87.8 percent). Measure-specific sample sizes may vary due to item nonresponse. Credit bureau data capture study participant credit information 0 to 2 months prior to random assignment.

Notes:  All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item

nonresponse.

Sources:  Baseline survey of study participants; credit bureau data

59

External Validity of the Study’s Sample

This section discusses the relevance of the findings in this study for drawing conclusions about

the impacts of homebuyer education and counseling beyond the population and setting of the

study. It considers what this study’s results say about the impacts of homebuyer education and

counseling (1) during housing and credit market conditions different from those prevailing at the

time of the study and (2) on low-, moderate-, and middle-income (LMMI) first-time homebuyers

in general (not only on the study’s specific population).

No set of housing and credit market conditions represents a historical “normal” against which the

conditions that prevailed during this study can be compared. Nor are there data on a well-defined

population of prospective LMMI first-time homebuyers. It is possible, however, to characterize

prevailing economic, housing, and credit market conditions during the study period and to place

the study sample within the context of what is known about the broader populations of renters

and recent homebuyers. Relying on published reports and summaries of existing data to provide

the context for understanding the study’s sample, this section highlights where differences may

necessitate caution in extrapolating the study’s future findings to broader populations and to

settings with different market conditions.

External Validity and Housing and Credit Market Conditions

Some of the key outcomes considered in this study, including housing purchase decisions and

successful mortgage payments, are sensitive to prevailing economic, housing, and credit market

conditions. Strong labor markets and rising housing values make default less likely; low

mortgage interest rates make purchase easier; and strict underwriting or loan qualification

standards make purchase more difficult. Market conditions also influence which LMMI

households are prospective homebuyers. For example, if loan qualification standards are

generally perceived to be strict, then it may be that only households with sufficient savings and

strong credit histories would consider purchasing a home and therefore would consider taking up

homebuyer education and counseling. Market conditions also may influence the effectiveness of

homebuyer education and counseling in improving financial capability by, for example,

increasing the salience and perceived benefit of the services.

This section provides a brief overview of market conditions in the recent past, which includes

this study’s sample enrollment period. It focuses on employment trends, housing price trends,

mortgage interest rates, and credit availability. Each of these indicators of market conditions is

greatly influenced by the roughly 5-year housing market downturn of 2007–12. In this period,

housing prices fell by an average of 40 percent across the nation, accompanied by equally

precipitous declines in home sales. Meanwhile, during 2007–09, the unemployment rate more

than doubled, to more than 10 percent, triggering rates of mortgage default and foreclosure not

seen since the advent of the modern mortgage market.

Highlighting these factors is important in part because the shadow of the market downturn

continues to influence housing purchase decisions and attendant mortgage decisions, both

through prospective homebuyers’ attitudes toward homeownership and through ongoing market

and regulatory responses to the downturn and budding recovery. 35

35   Much has been written about responses to the market downturn. See, for example, Belsky et al. (2014) .

60

In four panels, exhibit 5.21 presents these context indicators: employment trends, housing price

trends, mortgage interest rates, and credit availability.

Exhibit 5.21: Four Indicators of Economic, Housing Market, and Mortgage Market

Conditions (4 Panels)

Panel A: Unemployment Among 25- to 34-Year-Olds for Two Education Groups: With at Least a

Bachelor’s Degree and With Some College

12

)(% 10

8

t rate en 6

4

ploymem 2

Un 02000 2002 2004 2006 2008 2010 2012 2014 2016

25- to 34-Year-Olds with at Least a Beachelor's Degree

25- to 34- Year-Olds with Some College or an Associate's Degree

Panel B: Federal Housing Finance Agency Housing Price Index (Adjusted for Inflation) and

Months Supply of Houses

150

12

140

10

x 130

y

8

ice inde 120

6

pr 110

hs suppl

ng

4

ont

100

M

Housi

2

90

80

0

1991 1993 1995 1997 1999 2001 2003 2005 2007 2009 2011 2013 2015

FHFA housing price index

Months supply of houses for sale

61

Panel C: Average 30-Year Fixed-Rate Mortgage for Conforming Loans

20

)(% 15

rate  10

r fixed

-yea 5

30

0

71

73

75

77

79

81

83

85

87

89

91

93

95

97

99

01

03

05

07

09

11

13

15

19

19

19

19

19

19

19

19

19

19

19

19

19

19

19

20

20

20

20

20

20

20

20

Panel D: CoreLogic Housing Credit Index

Notes: As detailed by the St. Louis Federal Reserve, the months supply is the ratio of houses for sale to houses sold.

This statistic provides an indication of the size of the for sale inventory in relation to the number of houses currently being sold. The months supply indicates how long the current for sale inventory would last given the current sales rate if no additional new houses were built (see https://research.stlouisfed.org/fred2/series/MSACSR).

Sources: Panel A—U.S. Bureau of Labor Statistics (n.d.); Panel B—FHFA (n.d.) and U.S. Bureau of the Census (n.d.); Panel C—Freddie Mac (n.d.); Panel D—Pradhan (2016)

Employment Trends

Panel A charts the unemployment rate among two groups that proxy for the study’s population of

LMMI prospective homebuyers: 25- to 34-year-olds with a bachelor’s degree or higher and 25- to

34-year-olds with some college or an associate’s degree. These two education categories make up

more than 80 percent of the study sample, with most of the participants having completed at least a

bachelor’s degree. The graph depicts that recovery from the 2008–09 recession has been gradual,

with employment only recently returning to the levels seen after the 2001–02 recession.

Unemployment rates for both groups are still at least a full percentage point above prerecession lows.

62

As shown in exhibit 5.1, unemployment rates among the study participants (0.5 percent) are far

below these levels. While overall economic conditions were improving, they were still in a slow

recovery during the sample recruitment period, which may have led LMMI renters who may

have been inclined to purchase a home in a more robust economy to hesitate or be cautious.

Housing Price Trends

Panel B plots the Federal Housing Finance Agency housing price index and months supply of

houses for sale, which is a combined measure of housing inventory on the market and the pace of

home sales. Rapid price declines from a 2006-07 peak resulted in a market where home prices

were relatively affordable for low-income buyers, with the caveats (explored in the following)

that mortgage financing was not readily available and uncertainty about future prices was high.

Nationwide, real housing prices have increased dramatically during the past 3 years, turning

upward approximately when housing supply dropped below 6 months. Rising prices typically

encourage homebuyers to enter a market, and prices are still about 15 percent below the 2007

high after adjusting for inflation. Potential homebuyers may remain cautious about entering the

market, given recent experience demonstrating the possibility of housing price declines.

Mortgage Interest Rates

Panel C presents 30-year fixed mortgage interest rates from 1971 through 2015. Rates continued

to be at historically low levels in recent years. These trends are driven by Federal Reserve policy

and domestic and international economic and financial market conditions. 36 Consumers have responded to the low mortgage rates depicted in Panel C. 37

Credit Availability

Panel D plots CoreLogic, Inc.’s Housing Credit Index, which measures how easy it is to obtain

mortgage financing based on six underwriting factors. The index has remained relatively low

since 2010, indicating that it is more difficult to obtain a mortgage in the 2010s than it was in the

2000s, with only a small uptick beginning in 2015.

Together, these two panels indicate that mortgages are inexpensive in comparison with historic

rates but also difficult to obtain by historical comparison. Such conditions may be an incentive

for potential homebuyers to increase their financial capability so they are better able to qualify

for a mortgage and purchase a home. However, some potential homebuyers may become

discouraged by the tight credit market and therefore may be less interested in homebuyer

education and counseling.

Looking at these indicators during the past few decades also highlights the reality that there is no

“normal” for economic, housing, and credit market conditions. The late 1970s and early 1980s

were a period of relatively high mortgage interest rates, whereas the 1990s saw a decline in

36   Examples include the Federal Reserve’s mortgage-backed securities purchase program, which included $1.25

trillion of agency mortgage-backed securities (Federal Reserve Bank of New York, n.d.). Hancock and

Passmore (2011) document that the program put “significant downward pressure on mortgage rates.”

37   As illustrated by, for example, the Mortgage Bankers Association’s Market Composite Index, a measure of mortgage loan application volume which historically increases inversely with drops in interest rates.

63

available housing inventory that preceded the historic boom and bust of the 2000s, which

preceded a historic labor market downturn in the late 2000s and early 2010s. The upshot is that

the impacts of homebuyer education and counseling inevitably will be mediated by current

market conditions, regardless of when the effects are measured.

The mediating effect of market conditions should be kept in mind when translating research

findings from a specific period to periods with markedly different market settings. Still, the study

findings represent experimental evidence that will improve on available evidence about the

impacts of homebuyer education and counseling.

External Validity and the Study Sample

The study’s sample recruitment and enrollment design did not allow for strictly representative

sampling from a well-defined population of prospective LMMI first-time homebuyers. Instead,

three major lenders permitted recruitment of their customers. Because the study sample is

distinctive to those lenders and to the 28 large metropolitan areas within which recruiting took

place, the sample is not designed to produce a statistically representative sample of the general

population of LMMI prospective first-time homebuyers. Two additional factors also may have

resulted in the idiosyncrasy of the sample. First, the sample is self-selected, because study

participants both contacted the partner lenders about a mortgage and participated in the study

voluntarily. Second, a number of eligibility screens were necessary to facilitate successful data

collection. 38

No published source documents nationally representative characteristics of LMMI potential or

prospective first-time homebuyers (published statistics instead describe actual first-time

homebuyers who have completed a purchase). To provide context regarding how the study’s

sample compares to these broader populations, the following analysis compares the

characteristics of the study participants with published characterizations of relevant segments of

the population. Subsequent subgroup analyses will explore the extent to which the study’s impact

estimates vary across such key characteristics as participants’ baseline credit scores,

race/ethnicity, and education levels. These analyses may reveal variation in impacts based on

sample members’ observable characteristics. Such variation, together with context about how our

study sample compares with relevant segments of the population, may be helpful in applying this

evaluation’s findings beyond the study sample.

The first comparison is with a representative sample of renters as reported in the Current

Population Survey (CPS) analyzed by the Joint Center for Housing Studies of Harvard

38   The study team enrolled participants who were recruited by partner lenders and who passed a number of eligibility screens. Lenders recruited customers who (1) resided in 1 of the study’s 28 locations, (2) had requested preapproval or prequalification for a home loan, (3) would be first-time homebuyers, and (4) were LMMI. The team enrolled referred customers who met minimal additional eligibility criteria: that they (5) had not previously completed homebuyer education and counseling and (6) were not participating in a

downpayment assistance program that required homebuyer education and counseling. Participants also had to be able to complete the work of receiving homebuyer education and counseling services offered through the study, which meant (7) they were willing to participate in the services (this eligibility screen was implemented in June 2014), (8) they spoke English or Spanish, (9) they had access to transportation for in-person services, and (10) they had computer and Internet access for online services.

64

University (JCHS, 2015). This analysis provides a comparison between the study sample and

current or recent renters for race/ethnicity, education, and employment. Because the Joint Center

for Housing Studies of Harvard University reports income categories in a way that does not align

well with the study’s data collection, published tables from the 2014 American Community

Survey (ACS) 5-year estimates were used to report income categories for all renters. The all-

renter population likely contains many members who are not contemplating or nearing a home

purchase, however. Neither are these all-renter statistics restricted to LMMI households.

A closer comparison group for those in the study who have purchased or will purchase homes

comes from Taylor and Fu (2015), who use 2013 American Housing Survey microdata to present

characteristics of homebuyers, including recent first-time homebuyers. This source enables

comparison of race/ethnicity and income of study participants who at enrollment had recently

purchased a home to recent first-time homebuyers in general. This sample differs from the study

sample because the study sample includes people who may not purchase a home, including

possibly a result of counseling.

Neither the CPS nor the AHS report information on credit scores, an important baseline measure

for this study sample. Scores of the study sample can be placed in context using work by Li and

Goodman (2015), which reports VantageScore credit score breakdowns by housing tenure status.

Finally, we compare the study sample to the population of pre-purchase homebuyer education

and counseling clients served by three national homebuyer education and counseling providers.

To align with the study’s enrollment period, these service providers restricted their pre-purchase

client pool to those who completed services from January 2014 through January 2016. These

comparisons highlight the extent to which the study sample is similar to or different from the

population of clients served by national homebuyer education and counseling service providers

during the study’s enrollment period.

Comparison With Renters

Exhibit 5.22 juxtaposes select baseline characteristics for both the full study sample and the

subpopulation of the study sample that had not purchased a home at the time of study enrollment

with characteristics of all renters from the CPS and ACS. The study sample contains a higher

share of Hispanics and Asians relative to the national population of renters. Some fraction of this

difference may be related to the study’s exclusion of high-income individuals, who are more

likely to be White non-Hispanic. The study sample is also better educated and has substantially

higher employment rates than the national population of renters. Again, planned subgroup

analyses may be helpful in thinking about the study’s findings for selected populations.

65

Exhibit 5.22: Comparison of Study Sample at Baseline and Renters (2015)

Study Sample,

Study Sample,

Excluding

Baseline Variable

All Rentersc

Alla

Baseline

Homeownersb

Race/ethnicity (%)

Hispanic

25.0

26.7

19.8

White non-Hispanic

38.5

36.6

52.2

African-American non-Hispanic

20.4

22.3

19.7

Asian non-Hispanic/other race

16.0

14.4

8.2

Education (%)

Bachelor’s degree or higher

53.5

51.4

24.6

Associate’s degree

12.9

13.0

-

Some college, but no degree

16.1

16.7

-

Some college

-

-

30.2

High school diploma or less

17.5

18.9

45.2

Past 12

Employment (%)

At enrollment

At enrollment

months

Full-time employment (30+ hours per week)

89.9

89.5

-

Part-time employment (1–29 hours per week)

4.1

4.4

-

Unemployed and looking for work

0.5

0.5

-

Not working, homemaker, retired, student, or other

5.5

5.6

-

Fully employed

-

-

42.4

Short-term unemployed

-

-

9.4

Long-term unemployed

-

-

9.2

Fully unemployed

-

-

3.4

Not in labor force

-

-

35.6

Income received in past 12 months

$24,999 or less (%)

8.1

8.7

38.8

$25,000 to $49,999 (%)

34.0

36.1

28.5

$50,000 to $74,999 (%)

32.6

32.5

15.6

$75,000 to $99,999 (%)

14.6

13.6

7.9

$100,000 or more (%)

10.7

9.2

9.2

Mean

$59,941

$57,719

$46,451

Median

$54,000

$51,700

$33,219

Credit score

Credit score

Credit score

VantageScore

Less than 580 (%)

3.9

4.6

-

580 to 619 (%)

6.8

7.4

-

620 to 659 (%)

15.3

16.3

-

660 to 699 (%)

17.6

17.8

-

700 to 739 (%)

19.9

19.3

-

740 or more (%)

36.5

34.7

-

Mean

707

703

-

Median

712

707

-

66

Study Sample,

Study Sample,

Excluding

Baseline Variable

All Rentersc

Alla

Baseline

Homeownersb

Credit score

Credit score

Credit score

VantageScore

Less than 550 (%)

-

-

29.9

551 to 600 (%)

-

-

14.6

601 to 650 (%)

-

-

12.8

651 to 700 (%)

-

-

15.5

701 to 750 (%)

-

-

13.1

751 or more (%)

-

-

14.0

Mean

-

-

-

Median

-

-

619

a All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item

nonresponse. Credit bureau data capture study participant credit scores 0 to 2 months prior to random assignment.

All other measures are defined using data from the baseline survey.

b All measures are shown for the 4,946 study participants who had not purchased a home at the time of study enrollment (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item nonresponse. Credit bureau data capture study participant credit scores 0 to 2 months prior to random assignment. All other measures are defined using data from the baseline survey.

c Information on renters’ race/ethnicity, education, and employment in the past 12 months comes from Joint Center for Housing Studies of Harvard University (JCHS, 2015). Information on renters’ income comes from the 2014 ACS 5-year estimates. The reported VantageScore is for those who never had a mortgage and comes from Li and Goodman (2016).

Note:  Due to rounding, not all reported percentages precisely equal 100.0 percent.

Sources:  Baseline survey of study participants; credit bureau data; JCHS (2015); the 2014 ACS 5-year estimates; Li and Goodman (2016)

Although study eligibility required participants’ income to be less than 120 percent of the Area

Median Income, the resulting distribution of income among participants is nonetheless higher than

among renters at large. As shown in exhibit 5.22, the study sample has a higher share of

participants in all but the lowest of the income categories relative to all renters in the ACS. The

study sample also has relatively high rates of employment, with only 0.5 percent unemployed. The

national unemployment rate, by contrast, rate fell from 8 percent to 5 percent from the beginning of

2013 to the end of 2015, with a rate for renters of more than 10 percent in the 2015 CPS. The study

sample also has better credit on average than the population at large. Most of the sample have

credit score scores above 700, but most renters have VantageScore credit scores below 650. 39

Comparison With First-Time Homeowners

Exhibit 5.23 presents average baseline characteristics of study participants who at enrollment had

recently purchased a home, comparing them with recent homebuyers as observed in the AHS and

with credit scores of recent homebuyers from Li and Goodman (2015). Here the study sample

and the comparison consist of roughly the same proportions of Hispanic and African-American

homebuyers, but the study sample has a higher share of Asian homebuyers.

39   The credit scores reported for the study sample are not directly comparable with VantageScores, but the general credit risk ordering of the scores permits high-level comparisons.

67

That the study sample has a larger share of households with annual income in the range of

$60,000 to $80,000, with a correspondingly smaller share of households with annual income

below $40,000, is likely because the study sample is drawn exclusively from metropolitan areas

(as opposed to including some rural areas). 40 Credit scores for study participants who had purchased a home recently are similar to those of recent homebuyers, except that a higher share

of recent homebuyers nationally have low scores. Some 10 percent of this comparison group

have VantageScore credit scores below 600.

Comparison With the Population of Pre-purchase Homebuyer Education and Counseling

Clients

Exhibit 5.24 presents average baseline characteristics of the full sample of study participants,

comparing them with the characteristics of pre-purchase homebuyer education and counseling

clients served by three national homebuyer education and counseling providers. The study

sample contains a comparatively large share of men relative to the population of pre-purchase

homebuyer education and counseling clients. The study sample is also better educated and has

higher income than the population of pre-purchase homebuyer education and counseling clients.

This study’s findings will be most relevant to populations that are similar to the study sample at

baseline: LMMI households that have contacted a mortgage lender about acquiring a mortgage

for a first-time home purchase. Differences in the demographic makeup of the sample and other

groups, such as all renters, established homeowners, or homeowners in default, indicate that this

study’s eventual findings on the effectiveness of homebuyer education and counseling may not

fully carry over to the other groups. Still, the study sample includes a large number of

participants who vary in their sociodemographic composition across 28 large metropolitan areas.

The study findings will represent important evidence on the effectiveness of homeowner

education and counseling for a robust sample with characteristics that reflect a sizable share of

the population of LMMI prospective first-time homebuyers.

40   No analysis was found that determines the share of first-time home buyers who are LMMI. The demographic profile in the 2013 AHS suggests that the share is substantial.

68

Exhibit 5.23: Comparison of Study Homeowners at Baseline and Recent Homebuyers

Study Homeowners

Baseline Variable

Recent Homebuyersb

at Baselinea

Race/ethnicity (%)

Hispanic

13.8

13.9

White non-Hispanic

51.5

68.8

African-American non-Hispanic

8.5

8.9

Asian non-Hispanic

21.8

6.7

Other race

4.4

1.7

Income received by study participant and any co-borrowers in past 12 months

$19,999 or less (%)

2.0

9.4

$20,000 to $39,999 (%)

11.6

19.4

$40,000 to $59,999 (%)

21.7

21.7

$60,000 to $79,999 (%)

29.2

15.5

$80,000 to $99,999 (%)

15.3

12.0

$100,000 or more (%)

20.2

22.0

Mean

$74,648

$74,961

Median

$69,000

$59,987

Credit score

Credit score

VantageScore

Less than 580 (%)

0.2

—

580 to 619 (%)

2.2

—

620 to 659 (%)

8.0

—

660 to 699 (%)

15.9

—

700 to 739 (%)

23.6

—

740 or more (%)

50.1

—

Mean

734

—

Median

740

—

Less than 550 (%)

—

3.9

551 to 600 (%)

—

4.8

601 to 650 (%)

—

9.1

651 to 700 (%)

—

13.3

701 to 750 (%)

—

18.6

751 or more (%)

—

50.4

Mean

—

—

Median

—

751

a All measures are shown for the 752 study participants who had purchased a home at the time of study enrollment.

Measure-specific sample sizes may vary due to item nonresponse. Credit bureau data capture study participant credit scores 0 to 2 months prior to random assignment. All other measures are defined using data from the baseline survey.

Study participants who withdrew from the study on or before March 9, 2016 are excluded from this analysis.

b Information on recent homebuyers’ race/ethnicity and income comes from Taylor and Fu (2015). The reported VantageScore is for homeowners with current mortgages and comes from Li and Goodman (2016).

Note:  Due to rounding, not all reported percentages precisely equal 100.0 percent.

Sources:  Baseline survey of study participants; credit bureau data; Taylor and Fu (2015); and Li and Goodman (2016)

69

Exhibit 5.24: Comparison of Study Sample to Population of Pre-purchase Clients

Served by Three National Homebuyer Education and Counseling

Providers

HUD First-

National

National

National

Time

Homebuyer

Homebuyer

Homebuyer

Homebuyer

Education and  Education and  Education and

Baseline Variable

Study

Counseling

Counseling

Counseling

Samplea

Provider #1b

Provider #2b

Provider #3b

(%)

(%)

(%)

(%)

Race/ethnicity

Hispanic

25.0

22.5

25.4

19.8

White non-Hispanic

38.5

54.3

54.7

34.6

African-American non-

36.5

20.4

17.7

12.3

Hispanic

Asian non-Hispanic

12.1

4.5

5.2

3.0

Other race

3.9

1.0

2.4

6.2

Gender

Male

60.2

50.5

53.3

49.8

Marital status

Married

38.1

-

40.5

35.3

Divorced, widowed, or

23.6

14.8

-

8.8

separated

Single and never married

47.1

-

50.7

41.0

Household size

One

22.8

30.5

21.8

33.0

Two

32.0

25.6

26.0

23.7

Three

19.8

18.6

20.6

15.7

Four

15.2

14.5

17.3

14.7

Five

6.7

6.9

8.8

8.2

Six or more

3.6

3.9

5.5

4.8

Education

Bachelor’s degree or higher

53.5

-

30.7

17.4

Associate’s degree

12.9

-

17.5

9.1

Some college, but no degree;

73.6

33.6

-

51.7

High school diploma; or less

Income received by participant and any co-borrowers in past 12 months

$24,999 or less

8.1

12.1

11.0

22.3

$25,000 to $49,999

34.0

54.2

44.1

57.6

$50,000 to $74,999

32.6

24.9

30.6

15.7

$75,000 to $99,999

14.6

6.2

10.7

2.8

$100,000 or more

10.7

2.7

3.6

1.6

a All measures are shown for the full sample of 5,789 study participants (after excluding study participants who withdrew from the study on or before March 9, 2016). Measure-specific sample sizes may vary due to item

nonresponse. All measures are defined using data from the baseline survey.

b Data provided by a national homebuyer education and counseling provider.

Note:  Due to rounding, not all reported percentages precisely equal 100.0 percent.

Sources:  Baseline survey of study participants; national homebuyer education and counseling providers 70

6.  Take-up Rates and Service Tracking Data

The housing counseling agencies provided the study team with data on how many study

participants in a treatment group initiated or completed the homebuyer education and counseling

services offered to them (the  take-up rate) and to what degree (the  intensity). This chapter describes how that rate and intensity differed for services delivered in person versus remotely—

that is, by the treatment modes that differentiated the study’s intervention. Understanding

participants’ experiences of homebuyer education and counseling services is central to

interpreting the evaluation’s outcomes and the impacts that will be estimated and presented in

future reports. This chapter also describes the outreach activities that the study team and

participating housing counseling agencies conducted to try to encourage study participants to

initiate and complete homebuyer education and counseling.

Treatment Group Take-up Rates

The study’s impact analyses will consider the impact of  being offered  free homebuyer education

and counseling. Not everyone assigned to a treatment group that was offered free services took

up the services. Overall, 55 percent of participants offered homebuyer education and counseling

initiated services.

Study participants have up to 1 year to complete services from the time they enroll in the study.

For this reason, the rates for the entire sample of study participants assigned to a treatment group

presented in Panel A of exhibit 6.1 are  initial take-up and completion rates. Those rates will

change during the next year as participants who entered the study later in the enrollment period

(which ended in February 2016) continue to initiate services. 41, 42

Is this take-up rate what might be expected? Most prior studies are based on individuals who

received homebuyer education and counseling, rather than on a treatment group  offered the

opportunity to take up services, making comparisons between this study and other research

imperfect. That said, the rates of service take-up for the participants in this study are in line with

findings from the limited research available. For example, Smith et al. (2014) report that about

one-half of participants who were offered education and counseling through their study initiated

services. Similarly, Theodos et al. (2015) conducted a recent randomized experiment on in-

person financial coaching and had take-up rates ranging between 37 and 56 percent.

41   For comparison, Panel B of exhibit 6.1 presents final service initiation and completion rates for the subsample of treatment group members who had had 12 months to take up services (the sample is limited to treatment group members who were randomly assigned prior to August 1, 2015). For the choice treatment group (across both remote and in-person preference) and remote treatment group, initiation rates for the subsample of

treatment group members who had had 12 months to take up services are about 2 to 3 percentage points higher than the corresponding initiation rates for the full sample. The final initiation rates for these groups therefore can be expected to be about 2 to 3 percentage points higher than the initial initiation rates reported in Panel A of exhibit 6.1.

42   The subsample of treatment group members who were randomly assigned prior to August 1, 2015, contains a comparatively large share of in-person treatment group members (who experienced a comparatively low 25.9

percent initiation rate), so the overall initiation rate for the subsample of treatment group members who had had 12 months to take up services (55.5 percent) is similar to the overall initiation rate for the full sample (55.0

percent).

71

The take-up rates in this study varied according to the mode of intervention. As shown in Panel A of

exhibit 6.1, about two-thirds (63.3 percent) of study participants who were offered remote homebuyer

education and counseling had initiated those services as of August 2016. In contrast, only one-fourth

(25.9 percent) of those offered in-person homebuyer education and counseling had done so.

Furthermore, not all study participants assigned to a treatment group who started services completed

them: about one-fourth (26.8 percent) of those who were offered remote services had completed all

services as of August 2016, but only 14.1 percent of those offered in-person services had.

Exhibit 6.1:  Take-up Rates, by Mode of Treatment Offered, as of August 2016

In-Person

Choice

Choice

Remote

Full Sample

Treatment

Treatment

Treatment

Treatment

Group

Group

Group

Group

(In-Person

(Remote

Preference)a  Preference)b

Panel A: Initial take-up rates for full treatment group sample

Initiated any services (%)

25.9

31.5

64.3

63.3

55.0

Completed education (%)

23.6

25.7

34.9

31.1

30.4

Completed counseling (%)

16.1

17.5

43.8

43.1

36.8

Completed any services (%)

25.5

28.1

47.8

47.3

42.4

Completed all services (%)

14.1

15.1

31.0

26.8

24.9

Sample size

517

292

856

1,674

3,339

Panel B: Final take-up rates for subsample of treatment group members who had had 12

months to take up servicesc

Initiated any services (%)

25.9

34.0

67.4

65.1

55.5

Completed education (%)

23.6

27.9

36.7

32.3

31.2

Completed counseling (%)

16.1

18.3

46.1

44.5

37.2

Completed any services (%)

25.5

29.4

50.1

48.7

42.9

Completed all services (%)

14.1

16.8

32.8

28.1

25.5

Sample size

517

197

583

1,302

2,599

a Includes choice treatment group members who stated a baseline preference for in-person services. Choice treatment group members were permitted to change their preference after random assignment, however. In total, 39

choice group members changed preference from in-person to remote after random assignment. Of the 39 choice group members who changed preference from in-person to remote after random assignment, 25 initiated remote services and 9 completed all remote services.

b Includes choice treatment group members who stated a baseline preference for remote services. Choice treatment group members were permitted to change their preference after random assignment, however. In total, 1 choice group member changed preference from remote to in-person after random assignment. The choice group member who changed preference from remote to in-person after random assignment initiated in-person services but did not complete all in-person services.

c The sample is limited to treatment group members who were randomly assigned prior to August 1, 2015.

Note: Treatment group members who withdrew from the study are excluded.

Source:  Study participant data from eHome America, ClearPoint, and local housing counseling agencies 72

As explained in chapter 2, the low take-up and completion rates for in-person services as of

September 2014 led the study team to redesign the original in-person treatment group as a choice

treatment group; study participants assigned to this group could choose in-person or remote

services. Exhibit 6.1 presents take-up rates for the choice treatment group—separately for those

who expressed a preference at baseline for receiving in-person services and for those who

expressed a preference at baseline for receiving remote services (second and third columns of the

exhibit).

Some patterns are apparent from looking at the choice treatment group by the expressed

preference for mode of service. First, study participants clearly preferred remote services: three-

fourths (75 percent) of the sample stated a preference for receiving remote services at study

enrollment, based on the sample sizes of 856 vs. 292 for choice treatment group members with

remote and in-person preferences. This finding is consistent with prior research, which has found

that people prefer online education and telephone counseling over in-person services (Barron and

Staten, 2012). Furthermore, choice treatment group study participants who expressed a

preference for in-person services had a take-up rate of 31.5 percent, notably less than the 64.3

percent take-up rate for those who expressed a preference for remote services.

As described in chapter 5, the treatment group members were at all stages of the homebuying

process at the time of enrollment, including those who were only beginning and those who had

already purchased a home or signed a purchase agreement. The stage in the homebuying process

of treatment group members has implications for the possible impacts of homebuyer education

and counseling. Treatment group members who at the time of enrollment already had purchased

a home or signed a purchase agreement might be more likely to take up services if they viewed

homebuyer education and counseling as valuable, given that they were (or were likely soon to

be) homeowners. Alternatively, treatment group members at these later stages of homebuying

might be less likely to take up services if they viewed homebuyer education and counseling as

less valuable, given that they had already made many of the homebuying decisions.

Exhibit 6.2 reports take-up rates separately for treatment group members who were at the later

stages of the homebuying process when they enrolled in the study and for those who were

comparatively early in the process. Service take-up and completion rates are similar across study

participants in these two groups. For instance, the service initiation rate is 54.6 percent for late-

stage study participants and 54.9 percent for early-stage study participants. Similarly, the service

completion rate is 24.1 percent for late-stage study participants and 25.2 percent for early-stage

study participants, indicating that late-stage and early-stage treatment group members found

similar value in initiating and completing homebuyer education and counseling services.

73

Exhibit 6.2:  Take-up Rates, by Mode of Treatment Offered and Stage in

Homebuying Process, as of August 2016

In-Person

Choice

Choice

Remote

All

Treatment

Treatment

Treatment

Treatment  Treatment

Group

Group

Group

Group

Groups

(In-Person

(Remote

Preference)a  Preference)b

Panel A: Initial take-up rates for treatment group members who purchased a home or signed a

purchase agreement prior to enrolling in the study

Initiated any services (%)

18.3

32.1

62.4

64.4

54.6

Completed education (%)

15.6

26.4

34.7

31.1

29.3

Completed counseling (%)

10.1

11.3

41.8

44.9

36.6

Completed any services (%)

17.4

28.3

45.8

49.1

41.8

Completed all services (%)

8.3

9.4

30.8

26.9

24.1

Sample size

218

53

380

621

1,272

Panel B: Initial take-up rates for treatment group members who are at the early stages in

homebuyingc

Initiated any services (%)

30.9

31.5

65.2

62.5

54.9

Completed education (%)

28.9

26.0

34.6

30.8

30.8

Completed counseling (%)

20.6

19.1

44.8

41.6

36.7

Completed any services (%)

30.9

28.5

48.7

45.9

42.3

Completed all services (%)

18.6

16.6

30.7

26.5

25.2

Sample size

291

235

462

1,025

2,013

a Includes choice treatment group members who stated a baseline preference for in-person services. Choice treatment group members were permitted to change their preference after random assignment, however. In total, 39

choice group members changed preference from in-person to remote after random assignment. Of the 39 choice group members who changed preference from in-person to remote after random assignment, 25 initiated remote services and 9 completed all remote services.

b Includes choice treatment group members who stated a baseline preference for remote services. Choice treatment group members were permitted to change their preference after random assignment, however. In total, 1 choice group member changed preference from remote to in-person after random assignment. The choice group member who changed preference from remote to in-person after random assignment initiated in-person services, but did not complete all in-person services.

c The sample is limited to treatment group members who are at the early stages in homebuying prior to enrolling in the study: those who did not yet start home search, started home search but have not visited any homes, visited homes but made no offers, and made an offer on a home but did not sign a purchase agreement.

Note: Treatment group members who withdrew from the study are excluded.

Source:  Study participant data from eHome America, ClearPoint, and local housing counseling agencies

74

Intensity of Education and Counseling Service Received

Service tracking data from the housing counseling agencies created a detailed record of the

homebuyer education and counseling services received by study participants, including dates and

duration of homebuyer education and counseling sessions, participants’ completion status, and

the recommendations or action steps provided.

Duration and Completion of Services

This section first describes the duration and completion of homebuyer education services

provided remotely (online) by eHome America and in person by local housing counseling

agencies. The section then describes the duration and completion of homebuyer   counseling

services provided remotely (by telephone) by ClearPoint and in person by local housing

counseling agencies.

Homebuyer Education

Among those who started the online homebuyer education curriculum (both the remote treatment

groups and the choice group with a remote preference), more than one-half (55.1 percent)

completed the full six modules, whereas about one-fourth (24.2 percent) started the curriculum

but did not complete the first module (exhibit 6.3). On average study participants spent 6.8 hours

working through the curriculum, but the time spent varied widely. One-half of all study

participants who initiated online homebuyer education spent 5.1 hours or less working through

the curriculum, and roughly 10 percent spent more than 15 hours.

For those who initiated in-person homebuyer education, numbers of sessions attended and the

total duration of the course were fairly standard across participants (exhibit 6.4). Nearly nine-

tenths (86.3 percent) of study participants who initiated in-person homebuyer education

completed exactly one session, and 90 percent of study participants who initiated in-person

homebuyer education spent between 7.0 and 8.5 hours (exhibit 6.5). This finding is consistent

with information from the housing counseling agencies participating in the study, who report that

they usually host 1-day homebuyer workshops lasting approximately 8 hours.

Of those who initiated in-person homebuyer education, the vast majority completed homebuyer

education. Of the 183 treatment group members who initiated in-person education (and

completed at least one session), 176 completed the full education curriculum (96 percent), which

consisted of one, two, or three or more sessions.

75

Exhibit 6.3:  Completion and Duration of Remote Homebuyer Education

Choice

Treatment

Remote

All Remote

Group

Treatment

Education

(Remote

Group

Preference)a

Panel A: Sample size

Post-pilot period treatment group sizeb

856

1,646

2,502

Number who initiated English language version

470

858

1,328

Number who initiated Spanish language version

25

55

80

Panel B: Completed each module, among those who initiated English language versionc (%) Initiated services, but completed no modules

21.5

25.6

24.2

Completed Module 1: Are You Ready to Buy a Home?

70.6

67.1

68.4

Completed Module 2: Managing Your Money

64.0

62.5

63.0

Completed Module 3: Understanding Credit

59.6

57.0

57.9

Completed Module 4: Getting a Mortgage Loan

57.7

55.2

56.1

Completed Module 5: Shopping for a Home

56.0

54.7

55.1

Completed Module 6: Keeping Your Home and

56.0

54.7

55.1

Managing Your Finances

Panel C: Total duration, among those who initiated English language version (hrs.)

10th percentile

0.6

0.6

0.6

25th percentile

2.0

1.8

1.9

50th percentile

5.3

4.9

5.1

75th percentile

9.4

9.7

9.6

90th percentile

16.1

14.8

15.3

Mean

6.9

6.8

6.8

a Includes choice treatment group members who stated a baseline preference for remote services. Choice treatment group members were permitted to change their preference after random assignment, however. In total, 1 choice group member changed preference from remote to in-person services after random assignment and therefore did not initiate remote education.

b Those assigned to the remote treatment group during the pilot period were excluded because ClearPoint’s online curriculum (used during the pilot) is different from eHome America’s curriculum (used after the pilot).

c To be marked as completing a module, participant must have initiated the next module in the sequence or completed education. Restricted to English only because the Spanish online curriculum is structured with five (not six) modules.

Notes: Excludes treatment group members who withdrew from the study. Calculation excludes education sessions that participants revisited after education was completed.

Source: Random assignment and service tracking system

76

Exhibit 6.4:  Completion and Duration of In-Person Homebuyer Education

Choice

In-Person

All In-Person

Treatment Group

Treatment

Education

(In-Person

Group

Preference)a

Panel A: Sample size

Treatment group size

292

517

809

Number who initiated in-person education

61

122

183

Number who completed in-person education

58

118

176

Panel B: Number of sessions completed, among those who initiated in-person education (%)

One in-person education session

78.7

90.2

86.3

Two in-person education sessions

19.7

8.2

12.0

Three or more in-person education sessions

1.6

1.6

1.6

Panel C: Total duration, among those who initiated in-person education (hrs.)

10th percentile

5.0

8.0

7.0

25th percentile

8.0

8.0

8.0

50th percentile

8.0

8.0

8.0

75th percentile

8.0

8.0

8.0

90th percentile

8.0

8.5

8.5

Mean

7.3

8.0

7.8

a Includes choice treatment group members who stated a baseline preference for in-person services. Choice treatment group members were permitted to change their preference after random assignment, however. In total, 39

choice group members changed preference from in-person to remote after random assignment and therefore did not initiate in-person education.

Notes:  Excludes treatment group members who withdrew from the study. Calculations exclude education sessions that occurred after education was completed and study participants with missing education session and duration data.

Source:  Random assignment and service tracking system

Homebuyer Counseling

Exhibit 6.5 describes how long participants in each treatment group engaged in homebuyer

counseling. If study participants had more than one counseling session or follow-up appointment

with a housing counselor, then all homebuyer counseling sessions were summed to get the total

duration.

Notable is how little the duration of remote (telephone) homebuyer counseling varies. Both the

10th and 90th percentiles of the distribution of remote homebuyer counseling duration are 60

minutes (Column 4). The duration of in-person homebuyer counseling varied slightly more. For

instance, 25 percent of the in-person treatment group who completed homebuyer counseling

spent at least 120 minutes with their housing counselor, compared with a median of 78 minutes.

This variation is typical with in-person homebuyer counseling because some clients have follow-

up sessions after their first, face-to-face, connection with a housing counselor at a local housing

counseling agency.

77

Exhibit 6.5:  Duration of Homebuyer Counseling, Among Counseling Completers

In-Person

Choice

Choice

Remote

All

Treatment

Treatment

Treatment

Treatment  Counseling

Group

Group

Group

Group

(In-Person

(Remote

Preference)a Preference)b

Panel A: Sample size

Treatment group size

517

292

856

1,674

3,339

Number who completed

counselingc

80

34

357

706

1,188

Panel B: Total duration of counseling, among those who completed counseling (minutes)

10th percentile

60

45

60

60

60

25th percentile

60

60

60

60

60

50th percentile

78

90

60

60

60

75th percentile

120

120

60

60

60

90th percentile

120

120

60

60

60

Mean

87

92

62

61

64

a Includes choice treatment group members who stated a baseline preference for in-person services. Choice treatment group members were permitted to change their preference after random assignment, however. In total, 39

choice group members changed preference from in-person to remote after random assignment and therefore did not complete in-person counseling (and are not given credit for counseling completion in this column).

b Includes choice treatment group members who stated a baseline preference for remote services. Choice treatment group members were permitted to change their preference after random assignment, however. In total, 1 choice group member changed preference from remote to in-person services after random assignment and therefore did not complete remote counseling (and is not given credit for counseling completion in this column).

c Treatment group members with dates of counseling completion but no session information are not included in the calculation of number completed. As of March 15, 2016, the service tracking data indicate that 22 treatment group members completed counseling but session duration data have not yet been received. These participants will be included in subsequent reports after session duration data are received.

Notes: Sample is limited to treatment group members who completed counseling. Treatment group members who withdrew from the study are excluded. If participant has more than one counseling session, the sum of counseling sessions is reported.

Source: Random assignment and service tracking system

Time to Complete Services

Study participants assigned to a treatment group have 1 year from enrollment to initiate

homebuyer education and counseling services. Exhibit 6.6 shows the amount of time from study

participants’ date of random assignment until the date of completing homebuyer education

(Panel B), completing homebuyer counseling (Panel C), and completing both homebuyer

education and counseling (Panel D).

The median homebuyer education completer took 39 days to complete education; 10 percent of

education completers took 157 days or more (Panel B). The time it took for the median study

participant to complete in-person services was slightly longer than the time it took for the median

study participant to complete online services, possibly because it took study participants some

time to find a local in-person homebuyer workshop with a housing counseling agency that met

their scheduling and language needs. In contrast, participants assigned to online education were

able to start services immediately once they received the  Welcome to the Study packet (described in chapter 4), which provides registration and log-in information.

78

Exhibit 6.6:  Time From Random Assignment to Completion of Homebuyer

Education, Homebuyer Counseling, or Both

In-Person

Choice

Choice

Remote

All

Treatment

Treatment

Treatment

Treatment  Completers

Group

Group

Group

Group

(In-Person

(Remote

Preference)a Preference)b

Panel A: Sample size

Treatment group size

517

292

856

1,674

3,339

Number who completed education

121

61

276

500

971

Number who completed counseling

83

36

364

714

1,209

Number who completed education

73

34

244

430

789

and counseling

Panel B: Time (in days) from random assignment to completion of education, among those who

completed educationc

10th percentile

17

19

10

12

12

25th percentile

33

33

21

20

22

50th percentile

57

44

35

37

39

75th percentile

96

69

61

75

74

90th percentile

166

136

125

167

157

Mean

74

61

58

69

66

Panel C: Time (in days) from random assignment to completion of counseling, among those who

completed counselingd

10th percentile

27

43

22

25

25

25th percentile

45

53

36

38

38

50th percentile

79

76

49

49

50

75th percentile

119

121

64

64

69

90th percentile

179

171

86

93

106

Mean

100

93

57

60

63

Panel D: Time (in days) from random assignment to completion of education and counseling,

among those who completed both

10th percentile

35

45

19

21

21

25th percentile

57

60

33

32

34

50th percentile

84

78

50

50

54

75th percentile

127

133

82

82

90

90th percentile

217

171

147

190

174

Mean

113

98

71

79

81

a Includes choice treatment group members who stated a baseline preference for in-person services. Choice treatment group members were permitted to change their preference after random assignment, however. In total, 39

choice group members changed preference from in-person to remote after random assignment and therefore did not complete in-person counseling (and are not given credit for counseling completion in this column).

b Includes choice treatment group members who stated a baseline preference for remote services. Choice treatment group members were permitted to change preference after random assignment, however. In total, 1 choice group member changed preference from remote to in-person services after random assignment and therefore did not complete remote counseling (and is not given credit for counseling completion in this column).

c One participant excluded due to completing education before study enrollment.

d One participant removed due to incorrect counseling date. Treatment group members who withdrew from the study are excluded.

Source: Random assignment and service tracking system

79

As shown in Panel C of exhibit 6.6, the median homebuyer counseling completer took 50 days to

complete counseling services. Again, study participants took more time to complete in-person

services than remote services. Study participants typically completed remote (telephone)

homebuyer counseling within about 50 days of random assignment, but study participants

completed in-person counseling within about 80 days of random assignment.

Panel D of exhibit 6.6 shows the time from study participants’ date of random assignment until

the date of completing both homebuyer education and homebuyer counseling. Overall, 75

percent of study participants who completed both did so within the first 90 days after random

assignment. For those who completed both homebuyer education and homebuyer counseling, the

duration from date of random assignment again varied depending on whether they completed

services in person at a local housing counseling agency or remotely through online homebuyer

education and telephone homebuyer counseling. The typical study participant who completed

online homebuyer education and telephone homebuyer counseling did so within 71 to 79 days of

random assignment. The typical study participant who completed in-person homebuyer

education and homebuyer counseling did so within 98 to 113 days of random assignment.

Action Items and Goals Set for Clients of Counseling Sessions

Housing counselors and clients often develop a list of action items and goals for clients to work

toward once they have completed homebuyer counseling sessions. Action items might include

preparing a housing budget, reviewing a credit report, repairing credit, beginning to save toward

home purchase, following a financial management or debt plan, and beginning the house search.

Goals might include achieving readiness to assume a mortgage within a certain timeframe or

continuing to receive homebuyer counseling for a longer period.

Panel B of exhibit 6.7 shows which action items housing counselors and study participants agreed to

during counseling sessions. Telephone housing counselors and study participants who completed

remote counseling sessions commonly agreed to the following three action items: (1) preparing a

household budget; (2) reviewing their credit report; and (3) beginning to save toward the amount

needed to purchase a home. In-person housing counselors and study participants who completed in-

person counseling agreed to a greater variety of action items. Additional action items for in-person

clients include (4) taking steps to repair credit and (5) following a debt management plan.

Panel C of exhibit 6.7 shows the goals set by housing counselors and study participants based on

the information reviewed together during the homebuyer counseling session. Depending on the

group, some 20 or 30 percent of study participants had already purchased a home by the time

they completed homebuyer counseling. Housing counselors judged that an additional 36 percent

of all study participants who completed counseling would be mortgage ready within 90 days and

22 percent would either be mortgage ready within 90 to 180 days of counseling session or

needed to create some other type of long-term financial plan. Housing counselors noted that

about 8 percent of all study participants who completed counseling would need long-term

homebuyer counseling (180 or more days).

80

Exhibit 6.7:  Homebuyer Counseling Action Items and Goals Provided to

Counseling Completers

In-Person

Choice

Choice

Remote

All

Treatment

Treatment

Treatment

Treatment  Counseling

Group

Group

Group

Group

Completers

(In-Person

(Remote

Preference)a Preference)b

Panel A: Sample size

Treatment group size

517

292

856

1,674

3,339

Number who completed counseling

83

36

364

715

1,210

Panel B: Action items (%)

Prepare household budget

49.4

61.1

98.1

98.6

93.9

Review credit report

32.5

41.7

41.8

52.6

47.9

Take steps to repair credit

19.3

22.2

2.5

2.9

4.5

Begin saving toward amount needed

26.5

47.2

33.2

48.0

41.9

to purchase home

Follow debt management plan or other

14.5

19.4

2.7

9.4

7.9

type of financial plan

Begin housing search process

18.1

36.1

3.6

9.8

9.2

Panel C: Goals (%)

Client had purchased housing prior to

22.9

22.2

30.5

35.2

32.3

counseling session

Client will be mortgage ready within 90

26.5

25.0

41.2

34.7

35.7

days of counseling session

Client will be mortgage ready within 90

9.6

13.9

22.0

23.6

22.1

to 180 days of counseling session;

client entered debt management plan

or some other type of long-term

financial plan

Client receiving long-term (greater

26.5

22.2

6.3

6.4

8.3

than 180 days) homebuyer counseling

a Includes choice treatment group members who stated a baseline preference for in-person services. Choice treatment group members were permitted to change preference after random assignment, however. In total, 39

choice group members changed preference from in-person to remote after random assignment and therefore did not complete in-person counseling (and are excluded).

b Includes choice treatment group members who stated a baseline preference for remote services. Choice treatment group members were permitted to change preference after random assignment, however. In total, 1 choice group member changed preference from remote to in-person services after random assignment and therefore did not complete remote counseling (and is excluded).

Note: Treatment group members who withdrew from the study are excluded.

Source: Random assignment and service tracking system

81

Encouraging Study Participants To Take Up Homebuyer Education and

Counseling Services

The study team developed two approaches to encourage study participants assigned to a

treatment group to initiate and complete services: incentive payments and outreach. Each of

these methods is described in this section.

Incentive Payments for Initiating and Completing Services

Following random assignment, participants assigned to one of the treatment groups (rather than

the control group) were offered free homebuyer education and counseling and also received $150

to compensate them for the time required to participate in services. Offering these incentive

payments was deemed necessary to encourage initiation and completion of the intervention’s

offered services. 43

The payment was made in two parts, as noted earlier. First, participants received $50 when they

initiated services with their assigned housing counseling agency—meaning when they completed

the first online module, a homebuyer education workshop, or a homebuyer counseling session.

Second, participants received $100 after completing services. The incentive payments took into

account expenses that study participants might incur for childcare, transportation, parking,

Internet service, and phone charges. The incentives provided to the treatment group members

were intended to help offset some of these expenses. In addition, participants in a treatment

group received the homebuyer education and counseling services free.

Outreach to Study Participants

During the study’s enrollment period, the study team contacted study participants who had been

assigned to receive an offer of free homebuyer education and counseling. The purpose of the

contact was to give participants information and encourage them to initiate and complete

services. The study team communicated with those study participants primarily through

telephone and email, following a systematic outreach process developed by the study team as

displayed in exhibit 6.8. The outreach team sent more than 10,000 emails and made nearly

15,000 telephone calls. This section outlines that outreach process, as conducted by the study

team and the participating housing counseling agencies.

43   As described in chapter 4, incentives also were offered simply for participating in the study. All participants received $30 for completing the baseline survey. Participants assigned to the control group received $50.

82

Exhibit 6.8:  Outreach Process for Treatment Group Members

Outreach 1: Random Assignment Referral Calls

Approximately 8 days after the study team mailed the  Welcome to the Study packet (as described in chapter 4) to study participants, the study team began making random assignment (RA) referral calls

to members of the remote and in-person treatment groups. The purpose of these calls was to—

•  Ensure treatment group members received their  Welcome to the Study packet.

•  Review the content of the packet and answer any questions.

•  Assist study participants assigned to remote services in setting up their eHome America

account for online homebuyer education.

•  Assist study participants assigned to in-person services in identifying a housing counseling

agency they would like to work with and registering for services.

The study team conducted three RA referral calls during the course of a week.

•  If participants answered the phone, the study team asked whether they had received the

Welcome to the Study  packet. Although most participants had not reviewed the packet

materials by the time they received this call from the study team, they generally understood

that they were receiving the call as participants in the study.

−  If they had not received a packet, the study team confirmed their address and mailed

another packet, if needed.

−  After confirming receipt of the  Welcome to the Study packet, the study team gave

participants an overview of their next steps in taking up the homebuyer education and

counseling services offered.

•  If participants did not answer the phone, the study team left a standardized message.

83

During the course of the study, the study team made more than 6,000 RA referral calls to those

who were assigned to either the in-person or the remote treatment (up to 3 attempts were made to

reach each participant). Approximately 39 percent of the calls made succeeded in making direct

contact with the study participants. Another 55 percent of calls made ended in voicemails or

went unanswered. Exhibit 6.9 shows these results.

Exhibit 6.9:  Results of Random Assignment Referral Calls

Source: Random assignment and service tracking system

Outreach 2: Post–Random Assignment Outreach

Depending on the outcome of the RA referral calls, the calls were followed by the appropriate email.

•  Remote services. If participants who were randomly assigned to remote services did not initiate online homebuyer education or telephone homebuyer counseling within 10 days of the most

recent RA referral call, then the outreach team sent a reminder email. This email provided the

information needed to access the free remote homebuyer services offered: eHome America’s

homebuyer education website address and the study participant’s registration and log-in

information, as well as ClearPoint’s telephone homebuyer counseling contact information.

•  In-person services. If participants who were randomly assigned to in-person services did not

contact a housing counseling agency to initiate services within 1 week of the most recent RA

referral call, then the outreach team sent a reminder email, followed by another three follow-

up phone call attempts.

Because study participants were at various stages of homebuying at the time they were enrolled

in the study, the study team was met with various levels of interest from the study participants

they called. Most study participants the team made contact with were willing and eager to initiate

and complete the homebuyer services offered. Some of these study participants provided

specifics about when they would start services; others reported they already had begun services

or had completed services.

84

Other study participants were not interested in initiating or completing the free services offered.

Several told the study team they were too busy with the activities required to buy a home and did

not have time to complete 8 to 10 hours of homebuyer education and counseling. Others reported

they had already purchased a home or they were at the final stages in the homebuying process

and did not believe the services would be valuable to them.

Some study participants were pleased to hear from the study team and learn about next steps.

Others quickly ended the call or simply hung up.

Outreach 3: Outreach by Housing Counseling Agencies

In-Person Housing Counseling Agencies

For study participants who were randomly assigned to the in-person treatment group or the

choice group with an in-person preference, local housing counseling agencies conducted

additional outreach by making telephone calls and sending emails.

Once the referral to the housing counseling agency was made, agency staff attempted to call

study participants to help them register for in-person homebuyer education and counseling.

Outreach conducted by local housing counseling agencies was particularly important for making

a connection between the study participant and the local agency. Agencies were able to call

participants from a local area code, which could make a participant more likely to answer the

telephone than they would be if the call came from an unfamiliar area code.

Because agencies had up-to-date information about their upcoming homebuyer education

workshops and homebuyer counseling session availability, it often was easier for study

participants to register for services directly with the agency rather than through the study team.

Many agencies had established intake processes for registering first-time homebuyers for

services. They were able to tell participants what documents they needed to complete or prepare

before attending a homebuyer workshop or counseling session.

After registering study participants for homebuyer education or counseling, some agencies sent

emails or made phone calls to remind participants about their appointments.

Remote Housing Counseling Agencies

ClearPoint, the agency providing remote counseling services by telephone, conducted outreach

to study participants who were randomly assigned to the remote treatment group, to encourage

them to schedule the free telephone homebuyer counseling offered. ClearPoint’s outreach

protocol consisted of three to five call attempts, with messages left if the housing counselors did

not reach the participants.

Study participants first received a call from ClearPoint approximately 1 month after random

assignment, which gave them 1 month to decide on their own which service to initiate first:

homebuyer education with eHome America or homebuyer counseling with ClearPoint. If the

ClearPoint housing counselor made contact with the participant, the counselor and the participant

worked together to find a date and time to schedule a counseling session.

85

ClearPoint made a total of 4,408 telephone calls to 2,204 study participants. ClearPoint

successfully contacted (directly spoke to) 1,221 participants. Of the participants who were

successfully contacted by ClearPoint, 887 (72.6 percent) scheduled a telephone counseling session.

eHome America, the study’s provider of online homebuyer education, sent study participants

emails encouraging completion of the online homebuyer curriculum. Emails were sent to study

participants who initially registered and created an account in eHome America but who had not

signed into their account in the past 30 days, thereby becoming inactive. Emails are sent once a

month to participants who become inactive within eHome’s online system.

Outreach 4: Post–Housing Counseling Agency Outreach

If counseling agencies were unsuccessful in reaching study participants or scheduling their

homebuyer education and counseling, they referred the participants back to the study team for

additional outreach. During the course of a week, the study team then made three additional call

attempts to participants. If they made contact—

•  They addressed any questions participants had about completing services. If participants said

they did not expect to have time to complete services, the team told them the study could

contact them at a more convenient time.

•  If participants said they were interested in initiating homebuyer education and counseling,

the team coordinated with the appropriate participating agencies to schedule the participants

for services or to plan for follow-up outreach.

Outreach 5: Long-Term Outreach

The study team set up an email process for contacting study participants who still had not

completed services 6 and 9 months after being randomized into a treatment group. These emails

were meant to remind participants about their enrollment in the study, the services they were

offered at no cost, and the study’s incentive payments for completing services. These emails

included information on how to complete any homebuyer services the participants had not yet

completed and the study’s hotline telephone number in case of questions.

•  For a participant assigned to the remote treatment group who had not completed online

homebuyer education, the email included eHome America’s website address and the study

participant’s registration and log-in information. If a participant had not completed telephone

homebuyer counseling, the email included ClearPoint’s telephone homebuyer counseling

contact information.

•  For a participant assigned to the in-person treatment group who had not attended a

homebuyer education workshop or completed face-to-face homebuyer counseling with a

local housing counseling agency, the email provided the study’s telephone hotline number to

discuss completing services with an agency participating in the study.

To encourage service take-up and completion, the study team made, in addition to the 6,000 RA

referral calls, more than 7,500 additional calls and sent more than 10,000 emails to study

participants assigned to receive homebuyer education and counseling services.

86

7.  Focus Groups

During the final 5 months of the study enrollment period, the study team conducted 14 focus

groups in four study sites. The focus groups were made up of study participants who were

assigned to a treatment group and either had or had not completed homebuyer education and

counseling. The three purposes of the focus groups were—

1. Learning about study participants’ experiences with completing homebuyer education and

counseling and interacting with participating agencies.

2. Exploring study participants’ decisions about whether to complete homebuyer education and

counseling and discussing obstacles participants faced with initiating or completing services.

3. Learning about study participants’ experiences with the study.

In total, 64 study participants attended the focus groups. They were arranged by treatment group

and service completion status, so attendees could discuss their experiences of having been

offered or having received similar services. 44

The four focus group sites (Atlanta, Boston, Chicago, and Dallas) were selected based on volume

of enrolled study participants and number of study participants who completed homebuyer

education and counseling in each. Exhibit 7.1 shows the mode and status of the members of each

focus group.

Exhibit 7.1:  Distribution of Focus Group Attendees (N = 64)

Composition

Atlanta

Boston

Chicago

Dallas

Total

Remote completers

7

4

5

7

19

Remote noncompleters

4

3

2

1

7

In-person completers

6

3

7

1

14

In-person noncompleters

3

4

5

2

10

Total

20

14

19

11

64

Of the 64 focus group attendees, 25 participants were in the process of purchasing a home, 36

had already purchased a home, and 3 had decided not to purchase a home at that time.

The focus groups discussed various topics related to study participants’ decisions to engage in or

not engage in the free homebuyer education and counseling offered by the study. The discussions

also explored the content of both the homebuyer education workshop and the homebuyer

counseling sessions. The purpose of the discussions was to collect information on which topics

participants found or might find useful while purchasing a home. Because the study offered

homebuyer education and counseling remotely (online) and by telephone and in person at local

housing counseling agencies, focus group moderators also probed to discover which mode of

service delivery the study participants preferred and why.

44   Appendix J discusses the recruitment process and implementation of the focus groups.

87

These focus groups were vital in understanding why some study participants decided to complete

or not complete homebuyer education and counseling.

This chapter explores the findings from the focus groups, including study participants’

engagement in services, the value of the homebuyer education and counseling experienced, the

effects and influences on participants of completing services, how services can save homebuyers

money, and how to disseminate information about services to future homebuyers. This chapter

concludes by highlighting information shared by study participants about their enrollment and

participation in the study.

Prior Knowledge About Homebuyer Education and Counseling

To begin each focus group, the moderator asked attendees about their familiarity with,

experience with, and knowledge of homebuyer education and counseling before they agreed to

enroll in the study. Most focus group attendees stated that they had not known that these types of

services were available to prospective homebuyers. Gabriel, 45 in Chicago, stated—

Personally, I came into the process blind. I had no idea of any, you know, any services or things like that ever offered for folks that were going to buy a home.

Gabriel, Chicago

A handful of focus group attendees explained that they knew about such services but thought the

services usually targeted people seeking to qualify for grant assistance. One focus group attendee

in Chicago explained that he had looked into these services and grant assistance but thought he

did not qualify for them because of his income. Another focus group attendee, also in Chicago,

told the group that he went to the HUD website, which referred him to other programs that

offered services and downpayment assistance. When he researched the homebuyer education

services in his area, he found they cost $125, which he thought was too expensive. Beth, a focus

group attendee in Boston, explained that many of her peers had taken courses for first-time

homebuyers and found the information helpful.

The focus group moderators asked attendees where they looked for or found information on the

homebuying process. Most who responded to this question said they generally searched the

Internet for materials or tools. Some stated that a parent, family member, or friends had gone

through the process of homebuying, and attendees relied on them for information. One focus

group attendee in Atlanta, however, described receiving inaccurate information about

homebuying from friends and said she trusted the homebuyer education more.

Homebuyer Education and Counseling

The study asked participants assigned to a treatment group to complete both homebuyer education

and homebuyer counseling. Depending on their treatment group assignment, study participants were

offered either in-person services provided at a local housing counseling agency or remote services

provided through online homebuyer education and telephone homebuyer counseling. This section

discusses what focus group attendees had to say about the content covered during the homebuyer

education and counseling, along with their experiences in completing the services.

45   All names cited in this chapter are pseudonyms.

88

Content of Homebuyer Education

In-Person Homebuyer Education Workshops

Among the 64 focus group attendees, 30 study participants were offered in-person homebuyer

education at a local housing counseling agency. Of them, 17 completed it and 13 did not. The

homebuyer education workshops covered the steps in shopping for a home, including the various

professionals involved, types of homes and ownership, how to select a home and neighborhood,

and how to make an offer. Of the 30 focus group attendees, 10 used phrases such as “knowing

what to be ready for” and “understanding the process” to describe what they learned from the

workshop.

Moderators asked these attendees to elaborate, and they described gaining a better understanding

of the steps in homebuying and the roles of real estate agents, lenders, inspectors, and so on. A

focus group attendee in Chicago said—

For me, it was definitely understanding the process as a whole. I didn’t think it would be as complicated to purchase a place in Chicago as it actually was. So really knowing all the different pieces and what you legally have to do and different hurdles you have to jump before actually being able to buy that place—

that was the most helpful.

Ethan, Chicago

Focus group attendees also explained that learning about home financing options was important

to them. Homebuyer education workshops offered study participants information about housing

affordability, how to qualify for a loan, types of mortgages, how to avoid predatory loans, steps

in the mortgage process, loan application, and approval and closing. Participants who had

completed a workshop said that the information they learned about the closing process was very

helpful. Others highlighted the importance of learning how to make an offer on a home,

negotiate with the seller, and enter into a contract.

You know what, first-time homebuyer, I was just glad to learn what I learned in the class. Because I was actually illiterate on trying to get a house.… Renting all your life, or when you move out of your parent’s or your grandparent’s house…, I didn’t know anything. And that first class really helped me.

Walter, Dallas

Across focus groups, attendees discussed the importance of learning homebuying terminology.

They described the process as “confusing” and said that being able to understand the “language”

helped them navigate successfully. Walter, an attendee in Dallas, described himself as feeling

illiterate prior to completing his homebuyer education. He spoke frankly about his initial lack of

understanding, and he credited the workshop with giving him the knowledge he needs to prepare

to purchase a home.

In Atlanta, two focus group attendees discussed why what they learned about maintaining a

home was the most valuable aspect of homebuyer education for them. Topics covered in their

homebuyer education workshops included protecting a home, energy efficiency, preventive

maintenance, home repairs and improvements, taxes and insurance, and making timely mortgage

payments. Both attendees had attended homebuyer workshops after they closed on a home, so

the workshops’ post-purchase topics were more timely and relevant to them.

89

Focus group attendees also highlighted the benefits of having homebuying professionals

(inspector, real estate agent, insurance agent, lender, and others) attend the workshops. They

reported that they asked questions of and networked with these professionals, who provided

study participants with different perspectives about the homebuying process. A few focus group

attendees used these professionals during their own home searches. Focus group attendees

generally believed that these professionals could be trusted because they were invited to the

workshop and vetted by the local housing agency.

What I found extremely helpful with the in-person was that they were bringing in professionals through each step, especially for like the homebuying team. They brought in their real estate agent; they brought in an insurance agent. They brought somebody who could talk about getting the inspection. So that was extremely helpful, just understanding what you really need to put together a team.

Gabriel, Chicago

Focus group attendees cited the ability to ask questions in person as an important factor when

they decided to complete homebuyer education. Of study participants who completed in-person

services, 11 mentioned the benefit of asking questions in person to industry professionals. A few

attendees, including Yong, in Boston, discussed how researching the homebuying process online

before going to the agency enabled her to bring questions with her to the workshop. She was

grateful that she had the opportunity to ask professionals those questions face-to-face.

Several focus group attendees who completed in-person homebuyer education mentioned

enjoying being surrounded by other prospective homebuyers during the workshop because they

could hear perspectives and questions from others who were in a similar situation. Focus group

attendees explained that workshop participants came with varying degrees of knowledge and

were at different points in the homebuying process.

A focus group attendee in Atlanta said that having other prospective homebuyers in the

workshop learning at the same time helped him engage more fully with the workshop content.

He mentioned being able to compare his experience with others’ and learning from the questions

and comments others raised .  Another attendee, Adam, who was in the same focus group and who

also had completed in-person homebuyer education, disagreed. Adam said that questions from

the other people in his workshop may have hindered his own learning, especially when he felt

knowledgeable about a topic and others were not.

Online Homebuyer Education

Of the 34 focus group attendees offered online homebuyer education, 22 had completed it, and

12 had not. Participants who completed the online homebuyer education course found its format

and setup intuitive and easy to understand. An Atlanta attendee commented that the curriculum

was “straightforward” and “easy to navigate.”

Although focus group attendees generally reported being able to complete the course with ease,

some said it was a “chore” to get through the online course modules. Of those who completed the

course, a few chose to complete the online course in one sitting, but most completed it over a

period ranging from a week to several months.

Most focus group attendees commented on the “mix” of text, visuals, and audio used by the

course to explain the homebuying process. Most Atlanta attendees spoke positively about the

90

course design. One attendee noted that this mix ensured that study participants would not “get

bored like reading or just watching all videos.” Focus group attendees in Boston also had

positive comments about the videos. Beth experienced a “decent balance” of text and video clips.

Another Boston attendee, Vinny, liked that the videos were not so long that he lost interest or

found himself “zoning out.” Chicago focus group attendees were more critical. One attendee,

Jessica, said the content was too simple and geared toward someone with a low level of

knowledge. A few reported skipping the videos, and they suggested adding a fast-forward option.

I’m glad that I was assigned to the online. Just the modality, because it, just for what was going on in my life, it worked better. I could just do parts here and there and go through it bit by bit.

Beth, Boston

Focus group attendees who completed remote homebuyer education courses appreciated that

they were able to complete them over time according to their preferences and as their schedules

allowed. An attendee in Chicago, Bianca, pointed out that being able to “work at your own pace”

was a useful feature of the online course, and the rest of the focus group agreed. With the ability

to log back in and resume working on the course, study participants such as Kelly from Atlanta

noted it was “easy” to “pick up where you left off” in the course. For some focus group

attendees, this flexibility was ideal for their schedules because they could work on the course for

short periods. A Boston attendee explained that the setup of the course was an ideal arrangement

for her schedule.

The online homebuyer education course provides an overview of the homebuying process, from

assessing home readiness to managing finances after closing. In each module, the course defines

key words and terms that homebuyers are likely to encounter when interacting with real estate

agents, mortgage lenders, and other professionals. Focus group attendees reported that they

gained a better sense of how to navigate the homebuying process because the overview covered

important steps and key terms. They also pointed out, however, that people could be at different

points in the homebuying process or have different levels of knowledge about the process. A

Chicago focus group suggested that the online course administer a pretest before directing

participants to relevant course modules.

Focus group attendees in Dallas discussed learning terminology that helped them in their

homebuying process. One completed both online homebuyer education and telephone

homebuyer counseling during the final stages of his home purchase. He found the online

homebuyer education helpful because it covered the terminology that his lender and realtor used.

For Dallas attendee Arturo, initial meetings with his lender were stressful because he felt like

they were using a “different language.” The course provided the background he needed to

understand that terminology.

Taking the class and knowing what it means—what the steps are—it just really [eliminated] unnecessary stress. There is going to be plenty of stress with other things trying to find a house in the right location that doesn’t have too many problems, and it definitely helped take away that unnecessary stress of not knowing the lingo. So it helped.

Arturo, Dallas

Focus group attendees who completed the online homebuyer education course during the final

stages of buying a home reported that the course was useful. They used what they learned to

91

reevaluate the initial steps they took. The online course focuses on pre-purchase topics, but study

participants also were introduced to post-purchase topics such as preventive maintenance, taxes,

and insurance. These post-purchase topics were reported to be particularly useful to focus group

attendees as they began to project the future, long-term costs of homeownership.

A Chicago attendee, Edwin, who completed services after purchasing a home, said having the

information “all in one place” would have been especially useful at an earlier point in his

homebuying process. He “pieced together” information from different sources, including friends

and online resources. He said the online education served as a “good reinforcement” of the steps

he had taken, however. A Boston attendee, Vinny, who completed online homebuyer education

around the time he closed on a home, spent a lot of time “Googling” information. Vinny

explained that the online homebuyer education was useful because it outlined “in what order

everything happens” and the logistics involved. He also found the post-purchase topics helpful,

because he believed he had underestimated the long-term costs of homeownership.

The online homebuyer education course includes budgeting modules that study participants

could use to assess and evaluate their homeownership readiness and their assets and debt. Focus

group attendees reported that they had the opportunity to complete a monthly income and

expenses worksheet and a discretionary income worksheet. Attendees across all focus group sites

spoke favorably about their experiences with these budgeting tools. A Chicago attendee found

the budgeting worksheets “more useful” than other parts of the online homebuyer education

course. After completing the course, this study participant used what she learned and created a

spreadsheet to keep better track of her expenses. An Atlanta attendee who did not regularly

maintain a household budget found it easy to complete the budgeting worksheets. She also saved

these tools so she could refer to them in the future.

A few of the focus group attendees in Dallas said they gained a better understanding of their

earnings and spending after completing the budgeting modules. These modules also revealed

additional costs that study participants had not previously budgeted. Learning about these

additional costs and taking a closer look at their budgets pushed these attendees to rethink the

cost of homeownership.

We didn’t know there were all those other costs that we didn’t even think about before we looked at

houses. Like we didn’t realize that we need to pretty much save more to be able to afford it.

Yang, Dallas

For focus group attendees in the initial stages of the homebuying process, the online homebuyer

education provided an introduction to homebuying terminology and steps. For those attendees further

along, the online curriculum was an opportunity to review the steps study participants had completed

during their process. Most focus group attendees agreed that completing the online homebuyer

education would be more valuable to prospective homebuyers who were in the initial stages.

Experiences With Homebuyer Education

Most focus group attendees were satisfied with the in-person homebuyer education workshop

and thought the curriculum covered the homebuying process extensively. A few attendees

highlighted additional topics they wished had been covered during the workshop, including the

process of purchasing a condominium and information on Homeowner Association fees. Five

92

attendees suggested that the workshops should provide more information about taxes and

insurance, one attendee suggested emphasizing the benefits of buying versus renting, and one

attendee said that it would have been helpful if the curriculum had walked through a typical

lender’s underwriting process.

It was needed information. You just, you need it. It is not about oh do I do it because I have to do it? You just need to do it. It was just something that you needed to read and learn about and it just opened my eyes. No one really told me anything about it.

Jenna, Atlanta

Generally, study participants who completed homebuyer education suggested more additional

topics that the workshop curriculum could cover than did participants who had not completed

homebuyer education. A few attendees who did not complete the workshop suggested ways to

augment the curriculum, including providing information on how to purchase HUD homes,

addressing student loans, learning more about neighborhoods in the city, and navigating the

home inspection and warranty processes.

Focus group attendees reported varying levels of engagement with the online homebuyer

education. Study participants’ level of engagement depended on a number of factors, including

their point in the homebuying process and self-assessed level of knowledge.

A Dallas attendee, Arturo, explained that after completing the first online module, he knew it

was “good information. It was important for me to know.” Arturo also stated that he turned off

his cell phone and took notes while completing the course. An Atlanta attendee who was

shopping for a mortgage when she enrolled in the study felt motivated to complete the online

curriculum because she knew that the information was valuable.

Focus group attendees’ level of engagement with the online curriculum decreased if they

encountered information they already knew. An Atlanta attendee, Kelly, explained that she

wanted the option to skim through the videos on information she already knew. Focus group

attendees who were further along in the homebuying process also reported being able to

complete the online curriculum more quickly. A Boston attendee who completed homebuyer

education during closing admitted he rushed through the online course. Likewise, a Chicago

attendee who had already purchased a condominium when he completed services admitted that

he did not watch the videos and only skimmed some of the online modules.

Similar to the in-person services focus groups, the remote services attendees wanted more

information on condo-specific fees and terms. These attendees highlighted that some modules,

such as those on home maintenance, were not as useful for condominium owners. Remote

services participants in Atlanta talked more about this topic than participants at the other sites

did. Three attendees spoke about the differences between purchasing a single family home and

purchasing a condo. Kelly, from Atlanta, explained—

I think it was a lot geared toward house buying and so, yeah, if they could add like a whole another section or separate it out…. I was not even considering a house. And so if they could say, like, “If you are looking at condos, maybe read this.” Or “if you are looking at townhouses, look at this,” because there are so many—they touched on it. Like they touched on things like oh yeah, you have HOAs, but it was like there is so much more than that.

Kelly, Atlanta

93

A few attendees in Dallas and Chicago wanted more information on finding and selecting a

realtor, as well as managing the realtor-buyer relationship. A Chicago attendee, Edwin, said the

process of finding a realtor was not clear. He explained that he needed more information on how

to determine whether he should work with a particular realtor.

Content of Homebuyer Counseling

In-Person Counseling

Of the 30 focus group attendees assigned to be offered in-person homebuyer counseling, 17

completed it and 13 did not. Focus group attendees who completed the in-person homebuyer

counseling usually spent 1 hour with a housing counselor at a local counseling agency. During

these sessions, some study participants spoke with the same counselor who led the education

workshop, and others spoke with a different counselor.

Many focus group attendees who completed in-person homebuyer counseling emphasized the

benefits of speaking to an experienced housing counselor about their financial situation. Of the

30 attendees, 7 stressed that discussing their budget and credit were the most valuable aspects of

the homebuyer counseling session. For these study participants, the counselor provided them

important information about developing and maintaining a budget as well as reviewing and

improving their credit. Using information specific to each participant, the counselors provided

financial advice and tools to participants during the session. These sessions changed the financial

behavior and spending habits of some participants. For example, one attendee described how his

housing counselor walked through his budget, pointing out easy ways for him to save money

(such as eating out less often) and suggesting ways to improve his credit score. Focus group

attendees reported that after homebuyer counseling sessions, they had a better sense of what type

of home they could afford and were able to identify next steps for managing their finances.

Other focus group attendees stated that meeting with a housing counselor confirmed and

reinforced good financial and credit monitoring habits that they already practiced. Even study

participants who kept a budget and tracked their credit score before their session said that

reviewing this information with a housing counselor was beneficial. When reflecting on his

homebuyer counseling session, an attendee in Atlanta said that he works hard to manage his

finances closely, and he was happy to have a housing counselor validate his budget and his

tracking methods.

Three study participants who did not complete homebuyer counseling thought that a housing

counselor could help them better plan for their homebuying experience. These attendees said that

having a housing counselor help develop a written action plan was appealing. Of note, only study

participants who had not completed a homebuyer counseling session highlighted that a written

action plan would be valuable. An attendee in Dallas explained that she would like to develop a

written action plan with a housing counselor because she likes to have “a plan or a map to

follow.”

Telephone Counseling

Of the 34 focus group attendees assigned to be offered homebuyer counseling over the

telephone, 23 attendees completed it and 11 did not. Completing homebuyer counseling on the

telephone appealed to most focus group attendees for flexibility and convenience. They

appreciated the flexibility of scheduling the homebuyer counseling session according to their

94

availability. For most focus group attendees, this mode of homebuyer counseling did not seem to

be a significant burden of time. In fact, a few Boston attendees suggested that first-time

homebuyers should have a series of telephone sessions or should have access to a housing

counseling hotline to be able to ask questions as they go through the homebuying process.

Attendees from all focus groups shared positive comments about the personalized aspect of

homebuyer counseling. The telephone counseling session’s format and length depended on each

study participant’s personal situation. Telephone counselors focused on different aspects of the

homebuying process depending on the participant. For Dallas attendee Yang, the counselor

“[brought] out the most important part for us to work on.” The counselor told her to focus on

building her credit and suggested strategies for doing so. Another Dallas attendee, Ansel,

discussed his credit situation with his housing counselor.

Other focus group attendees received guidance about their household budgets. For an Atlanta

attendee, the housing counselor recommended adding additional homeowner expenses to his

budget that he had not considered. A Chicago attendee, Bianca, said her homebuyer counseling

session was very helpful because her housing counselor was able to help assess her home

readiness based on her budget. Bianca explained—

We didn’t have to go over my credit, because my credit was good, so we didn’t go over the credit report, so I put that on the sheet. But just talking to the young lady, it made me realize, ’cause we were going through like, you know, what I could afford and—well, what I was preapproved for, and then just actually she was adding on other expenses that I had totally forgot to add, you know, ’cause I thought I had it all together.

And I hadn’t. So it really made me look like, okay, let me just step back real quick. So then it made me start looking at houses that were a little bit, you know, cheaper than what I was preapproved for.

Bianca, Chicago

For most focus group attendees, the homebuyer counseling session served as an opportunity to

clarify topics they did not understand. For Boston attendee Albert, the online homebuyer

education course was “redundant” based on the information he already knew, but he “definitely

got a lot more value out of the one-on-one call just ’cause you can ask about the things you don’t

know.”

Experiences With Homebuyer Counseling

Focus group attendees (both those who did and did not complete counseling) mentioned that the

timing of the counseling session was important. A few attendees who completed the in-person

homebuyer education workshop did not complete the counseling session because of their stage in

the homebuying process. David, an attendee from Chicago, told the moderator that he thought

the information would no longer be relevant because he had already purchased a home and that if

he “would have had it a little sooner, it would have been very helpful.”

An attendee from Atlanta echoed David’s sentiments and explained that, because he had already

navigated the homebuying process, he did not know what additional information he would gain

from homebuyer counseling. After learning more about the homebuyer counseling sessions from

the focus group discussions, however, both attendees better understood the benefits of

homebuyer counseling and thought it could be useful at most stages.

95

Whereas most housing agencies encourage clients to attend a homebuyer education workshop

prior to completing homebuyer counseling, two attendees in Chicago said that they would have

preferred to complete the homebuyer counseling before the workshop. These attendees said that

because the homebuyer counseling session focused more on their financials, it made sense to

complete homebuyer counseling before attending a homebuyer education workshop. One

attendee explained that talking about your credit report and budgeting needed to come first, in his

opinion, because participants could apply what they learned in homebuyer counseling to the

content covered in the workshop.

Although focus group attendees agreed that having a homebuyer counseling session over the

telephone was convenient, they had mixed feelings about the connection between the study

participant and the housing counselor. Some attendees, such as Yang, in Dallas, felt comfortable

asking any type of question over the telephone.

And also this counseling opportunity is really where I feel very comfortable asking some questions. I feel that is kind of dumb questions that I normally would not want to ask, but I feel comfortable asking the lady on the phone.

Yang, Dallas

A Chicago attendee, Jessica, felt similarly. In her case, she was more at ease sharing details

about her financial standing over the telephone.

This is kind of strange, but so like I feel like I was hiding behind the phone. You know? Like it’s easier for me to talk about my financial things with somebody on the phone because I talk to my bank people about it, you know, on the phone. And, I don’t know, I feel like there’s less judgment, you know, over the phone than there would be in person.

Jessica, Chicago

Whereas most focus group attendees who completed homebuyer counseling over the telephone

had favorable experiences, a small number of study participants had less favorable feelings

toward it. For example, one Atlanta attendee described her homebuyer counseling session as

“impersonal.” Boston attendee Beth also said that the one-time session felt like a “drive-by,” and

she did not feel trust or rapport between her and the housing counselor.

Experiencing a sense of trust and rapport played an important role in shaping the focus group

attendees’ views of the homebuyer counseling session. A few focus group attendees spoke about

their experiences in terms of their interactions with their housing counselor. One Dallas attendee,

Molly, described her counselor as “very, very kind and very sweet.” A Chicago attendee, Edwin,

said he was “real appreciative that the counselor was very in-depth in going over the budget and

talking about all of those sorts of expenses with me.” Another Chicago attendee, Jessica,

described her housing counselor as “very friendly.”

Focus group attendees appreciated having access to a qualified housing counselor who could

provide informed advice and actionable steps. An Atlanta attendee, Alan, explained that he liked

the “counselor’s expertise” and the opportunity to ask specific questions about homebuyer

terminology. Another Atlanta attendee appreciated talking to someone “who knows what they

are doing.” A Chicago attendee said that having access to someone “knowledgeable, who is an

unbiased third party,” was a valuable resource for homebuyers.

96

A few Boston attendees reported that adding further homebuyer counseling services could be

useful to establishing a relationship with a housing counselor and helping homebuyers through

the process. Beth and Vinny suggested adding more homebuyer counseling sessions or

developing follow-up procedures for all participants.

Obstacles and Challenges to Completing Homebuyer Education and Counseling

During the focus groups, attendees also were asked to describe any obstacles or barriers they

encountered to taking up homebuyer education or counseling. These findings help explain the

study participants’ decisions about whether to complete or not complete homebuyer education

and counseling. This section focuses on issues participants encountered when engaging or

attempting to engage in homebuyer education and counseling. It also describes the unique

obstacles encountered for each mode of service (in person and remote).

In-Person Services

To complete homebuyer education and counseling in person, study participants were required to

travel to a local housing counseling agency at least twice (and sometimes more often). This

section examines the most common issues that focus group attendees faced when engaging or

considering engaging with in-person services, including education workshop schedules, distance

to the local agency, cancelled sessions, and language preferences.

Time is a, you’re giving up a Saturday that—if you have two young children it’s tough to give up 8 hours on a Saturday and—especially if you’ve been, like personally for me we’ve been looking for a while already.

Leo, Chicago

Scheduling Experiences and Preferences

Of the 13 focus group attendees who did not complete either the in-person homebuyer education

workshop or in-person homebuyer counseling, 4 said that the schedule of available workshops at

the local agency was a barrier to their ability to attend.

In-person homebuyer workshops typically span 8 hours and are offered as a single Saturday

session or as a few hours across two or three weeknights. Focus group attendees who work on

weekends or have irregularly scheduled shifts reported that it was difficult to identify a workshop

that aligned with their own schedule. Of the 13 attendees, 8 would have preferred to complete

these services remotely, if given the chance, or to complete homebuyer education online and

counseling in person. The other 5 preferred to complete both the homebuyer education workshop

and homebuyer counseling session in person, but they reported that they did not have the time

based on the agencies’ schedules .

Relatedly, a few focus group attendees voiced their concern about the length of the homebuyer

education workshop. They expressed their preference for the session to be shorter or split into

several sections over a few days. David, an attendee from Chicago, said he would have absorbed

more of the information and been able to better research on his own if the workshop occurred

once a week over several weeks.

Yeah, I think I would have preferred the once a week thing because I would have had time to look up

things. When it’s one time you can … there’s not much you can do, you know.

David, Chicago

97

Another attendee in Chicago explained that the homebuying process is time consuming,

especially considering the other demands in his life, and finding 8 hours for the workshop was

difficult for him.

Distance to a Local Agency

Focus group attendees who did not complete in-person services cited the time spent traveling to

the local agency as another challenge. Some study participants considered attending a full-day

workshop on a weekend but decided against it based on the location of the agencies in their city.

Carla, an attendee in Dallas, said—

For me, I think that the one that was available on a Saturday, it was far from me. I was not—there was none available close to me.

Carla, Dallas

In each city in which focus groups were held, study participants were offered a choice of

multiple local housing counseling agencies in the area. Even so, a few focus group attendees

described being frustrated after reviewing their options because none of the agencies was

conveniently located for them. Rob, in Chicago, stated—

You know, I have to say that for me particularly, it was not necessarily the time but the location. I mean, I live in [city near Chicago]. Most of the locations where the workshops were being held were a little bit far.

Rob, Chicago

One important note is that this obstacle may be a result of the study design and its partnering

with only a select number of housing counseling agencies in each study site. To implement a

study with a consistent intervention across 28 locations, the study needed to partner with

agencies that offered homebuyer education and counseling that were HUD approved and that

followed the National Industry Standards (described in chapter 3). If study participants wanted to

complete the free services offered them, they needed to select an agency participating in the

study. For some focus group attendees, these agencies might not have been as convenient as

other housing agencies in their area.

Cancelled Sessions

Two focus group attendees who did not complete homebuyer services explained that they

registered for a homebuyer education workshop with a local agency, but the workshop was

cancelled or rescheduled. One of the attendees, Edgar, in Dallas, explained that he showed up for

a workshop on a Saturday and only after arriving did he find out that it was cancelled. He was

informed that the person who was going to provide the workshop could not attend and that the

agency would follow up with him to reschedule. Edgar went on to explain that he never received

a follow-up call from the agency and that he was confused about his next steps for completing

services.

Dale, the other focus group attendee whose workshop was cancelled, explained that he registered

for a workshop and was contacted by the agency to reschedule the session. He said that he was

frustrated that the agency wanted to reschedule the workshop a few months, not weeks, in the

future and that as a result the workshop no longer aligned with his home purchase timeline.

98

Well, I mean, for me, I was actually scheduled to go to the workshop and I had a date and everything, and then they called me and said, “Hey, we are pushing it back a couple of months until like October.” And I am like, oh okay, well, I guess I am not going to go because by that time, I had already bought my

house…. So I just didn’t. Why bother?

Dale, Atlanta

Agency Language Options

Because the study enrolled participants who spoke English or Spanish, the study team aimed to

partner with local agencies that offered homebuyer education and counseling services in both

languages. In Dallas, two bilingual focus group attendees who did not complete in-person

services stressed the importance of having homebuyer education and counseling widely available

in both English and Spanish. Although they both were fluent in English, they described being

more comfortable learning new and complicated information in their native language (Spanish).

One of the attendees, Carla, explained—

Language—because I can speak English, but my primary language is Spanish—and I mean the

accessibility of understanding, of having it in my primary language. It is very important.

Carla, Dallas

Remote Services

Focus group attendees assigned to be offered in-person homebuyer education and counseling

cited more specific barriers and obstacles to engaging in services than did participants assigned

to be offered remote services. For study participants who did not complete online homebuyer

education and telephone counseling, the most commonly cited reasons were work or personal

commitments and lack of free time. A few focus group attendees stated that they had planned to

complete services but had not “gotten around to it yet.”

Despite the flexibility of online education, focus group attendees noted that the homebuyer

education course was too long. They said they already spend too much time on a computer

throughout the day and did not want to spend another 6 to 8 hours completing homebuyer

education. The ability to complete homebuyer education and counseling remotely should have

removed logistical barriers and improved access to services, but study participants assigned to be

offered remote services explained they had difficulty setting aside time to complete them.

A few focus group attendees also stated that the demands from the homebuying process affected

their ability to take up services. A Dallas attendee, Tamara, said the course was too demanding in

addition to the requirements of her homebuying process—

I understand that information you are providing is helpful and it is probably stuff that I need to read. But with the process of getting a house, going with a realtor all the time and everything, it was just too extensive.

Tamara, Dallas

Preferences Expressed by Participants

During the focus groups, moderators probed to learn more about attendees’ preferences for

completing homebuyer education and counseling. This section discusses some of the common

themes raised by attendees, including the importance of face-to-face contact with in-person

service providers and the convenience of completing remote services.

99

Why Face to Face?

Focus group attendees stressed the perceived benefits of completing homebuyer education and

counseling in person, regardless of which treatment group they were assigned to. Attendees

associated meeting people face to face with trust and familiarity. Of the 64 focus group attendees,

43 highlighted the potential benefit of face-to-face interactions during homebuyer education and

counseling (regardless of their assigned treatment group or their completion status).

An attendee in Atlanta who completed services in person mentioned having frustrating

experiences in the past with phone-based professionals, which reinforced his preference for

completing homebuyer services in person. He described his concern about phone communication

and his appreciation of the relationships he built at his local agency. He said that, by connecting

with a local agency, he knew and could trust the housing counselor with whom he worked.

Other focus group attendees echoed these sentiments, describing their hesitation to provide

financial information over the phone. Jacob, an attendee in Boston who did not complete

services, said that he would consider completing services at a local agency but would not

complete homebuyer counseling over the phone.

I would say with that … the trusting part would be the hurdle for me. It probably would have to be in person. Just somebody over the phone, I think I—I can’t remember if it was for this one or something when somebody was calling me for all of my info, how much money I’m making. I’m like, I’m not telling you. Like over the phone it’s hard for me to say anything that comes with finances.

Jacob, Boston

Focus group attendees emphasized the risk they perceived of disclosing sensitive financial

information, and many expressed being more comfortable doing so in person than doing so

remotely.

Focus group attendees believed that the housing counselors and educators at their local agency were

vetted by the organization and, as a result, they felt more comfortable disclosing personal financial

information. Sally, an attendee in Boston, credited the local agency and its housing counselors with

enabling her to navigate the homebuying process, and ultimately, to purchase a home.

So the in-person kind of got me connected with an organization and real people. And I don’t, I think without that I wouldn’t have, this wouldn’t have happened for me.

Sally, Boston

An attendee in Atlanta described his experience attending a homebuyer education workshop at a

local agency.

That [homebuyer education workshop leader] seemed to be fairly knowledgeable and they seem to work

in a place that did this for a living, so I trusted their judgment. Whereas like over the phone, who knows who you are talking to.

Elliot, Atlanta

Focus group attendees expressed concern about the inability to ask questions as effectively if

they completed the homebuyer education online and counseling over the telephone. An attendee,

Peter, in Atlanta explained how he benefited from completing the homebuyer education

workshop in person.

100

Just the interaction, you can—all the questions that you have, you can just get answers at the time. Not saying that you can’t do that online, but it is just—when someone is hands-on, you know, you can get a lot more information.

Peter, Atlanta

Alex, an attendee in Atlanta who did not take up services, spoke about his perceived limitations

of completing the counseling over the telephone and expressed his preference for an in-person

counseling session. He said that the face-to-face interaction would help him to ask questions and

remember the answers.

Why Remote?

Focus group attendees assigned to be offered remote services had the ability to complete the

online homebuyer education on their own time and at their own pace. This flexibility enabled

them to complete the curriculum according to their schedules and time available.

The telephone homebuyer counseling provided study participants with the opportunity to connect

easily with a certified housing counselor over the phone. The personalized session appealed to

participants who felt comfortable discussing their financial situations and homebuying process

over the telephone. Most focus group attendees stated that scheduling this call was easy and

convenient and provided the option of completing counseling at a time optimal to them,

including morning and evening hours.

Many focus group attendees reported completing services at home or at work, demonstrating the

convenience of completing an online course while at home or scheduling a telephone call during

a lunch break. A few focus group attendees explained that, had they been required to commute to

complete services, they would have been less likely to follow through with them.

In all the focus groups, attendees discussed the option of completing services either remotely or

in person. Whereas study participants in the remote focus groups generally acknowledged the

benefits of completing services in person, most were reluctant to give up the flexibility and

convenience of remote services. Some remote study participants stated that they would remain

with remote services if they had to choose again. One Boston attendee, Vinny, explained that he

did not think “the difference in the experience [of in-person services] would have outweighed the

convenience of the phone call.”

A few attendees said they would consider in-person services if the agencies were nearby and if

the workshop dates worked with their schedules. The Boston and Chicago focus groups

discussed the possibility of mixing remote and in-person services, such as adding in-person

“office hours” at a local housing counseling agency. These attendees generally stressed,

however, that such options should be optional or flexible according to a person’s needs.

Benefits of Services and Saving Money

One of the purposes of conducting focus groups was to better understand how study participants

perceive the benefits of completing homebuyer education and counseling. This section begins by

reporting focus group attendees’ overall perceptions of the most important benefits of the services.

101

Focus group moderators asked whether the focus group attendees believed that the information

they learned saved them money (or could have). The moderators asked those attendees who did

not complete services whether they thought homebuyer education and counseling might have

been beneficial and might have saved them money. Section 7.5.2 reports findings on that topic

from the focus groups.

Benefits of Services

For the most part, focus group attendees cited stress relief and knowledge gained as the primary

benefits they received or thought they could receive if they completed homebuyer education and

counseling. Overwhelmingly, focus group attendees indicated that the homebuying process was

stressful and complicated. Of the 64 focus group attendees, 36 used words associated with stress

to describe their experience with the process, including “stressful,” “complicated,” “frustrating,”

and “crazy.” Non-homebuyers used similar words to describe their perception of the homebuying

process. Of focus group attendees who were recent homebuyers, more than 70 percent used

words associated with stress and complexity to describe their experience.

These study participants often explained that they did not believe their lenders or realtors had their

best interests in mind, usually because they knew that these professionals made money from the

homebuying process. Focus group attendees also described the conversations they had with family

and friends who purchased homes, in which they were regularly warned about frustrating

experiences and difficulties. The personal experiences of family members and friends informed many

participants’ expectations of their own homebuying process. An attendee in Chicago stated—

You know, my friends, colleagues, or whomever, they purchase homes and they say how incredibly

stressful and how they ran into this process and this was wrong and this was wrong. And while the entire process is stressful, I believe that going through [homebuyer education and counseling] made it so that I was able to anticipate certain things that I would have no idea to anticipate.

Jessica, Chicago

During the focus groups, attendees explained that they believed one of the most meaningful

benefits of completing homebuyer education and counseling was reducing the stress they felt

from the homebuying process. Focus group attendees associated completing homebuyer services

with gaining important knowledge that would help them navigate the process and enable them to

better negotiate and manage their time and resources. Being able to speak the “language” and

understand the essential terminology used throughout the homebuying process was valuable for

study participants including included Charlie, from Chicago, who completed services remotely.

The stress part for sure, I think. Because … that was basically why I took it upon myself to educate myself. Because it was just too stressful going through it and not knowing. And I think that’s what I think we’re all saying. At the beginning if we knew a lot of this stuff right from the outset, the whole thing would be so much less stressful.

Charlie, Chicago

Focus group attendees who completed homebuyer education and counseling expressed feeling

more confident with the information they learned. About one-half of the focus group attendees

who completed services used words such as “prepared,” “confident,” and “self-assured” to

describe how they felt with their increased knowledge.

102

The focus groups also revealed how people’s behavior might have changed in response to

participating in homebuyer education and counseling. Focus group attendees reported that the

information they learned taught them how to use budgeting tools, revise their spending habits,

take action to decrease their debt, and raise their credit scores. For Walter, an attendee in Dallas,

the homebuyer education workshop he attended taught him about the importance of and process

for paying off credit card debt. He indicated that this information enabled him to take control of

his finances and prepared him to purchase a home when he decides the time is right.

Well, that workshop gave me something: a bell went off in my head. When she was explaining paying

more than what your payment is, if it ain’t but five dollars. Or taking the smallest bill that you have, paying it off, and then taking what you were paying on that bill and putting it on another bill to get that paid. That helped me, and I was real religious with that. And I did it. I mean, I surprised myself. Because 1 month I got a statement from the bank and I was surprised, I called and asked them, is this right? … It gave me a sense of assurance and self-confidence that, you know, had I just paid the payment once a month, I

would probably be 20 years paying them cards off. And I did it in less than 2 years. In less than 2 years!

Because it has been about a year and a half, almost 2 years since I went to that workshop.

Walter, Dallas

Focus group   attendees brought up feelings of concern when talking about the homebuying

process and foreclosure. Among them, 14 attendees used the words “fear,” “scared,” or “worry”

when they addressed issues that could affect them during the homebuying process. One attendee

described family members who experienced foreclosure, expressed concern for his own

situation, and completed services as a result. Another attendee, David in Chicago, described fear

as his motivating factor for completing the homebuyer education and counseling.

I think fear to the unknown is what I would say triggers people. Especially fear, if you show people how many foreclosures are out there, how many people are not able to afford, or saw surprises come up. I would say it would motivate them to do more research or study more or do other things. If it wasn’t

because of the fear I would have probably not taken it.

David, Chicago

Another attendee in Chicago, Edwin, already had purchased a home when he completed services

remotely. As a result, he said, the information he learned confirmed what he had researched on

his own and would be useful the next time he goes through the home purchase process.

Well, I know for me, it was definitely a good reinforcement of these things that I sort of pieced together from friends and sort of different articles online. And having that all in one place, so that now next time, when I go through the home process, because this time it was very disjointed.

Edwin, Chicago

Ten focus group attendees completed homebuyer education and counseling despite having

already purchased a home. These attendees viewed the information they learned from the

services as a long-term investment that they could draw from in the future if they chose to

purchase another home.

The homebuyer education and counseling gave us the idea of whether we should go for it right now or

not. It is really telling us what the timing if we are not really prepared and if we don’t have enough credit or other issues … you know, maybe it is not the right time for us. So it is really helping us to make the decision of go or no go.

Yang, Dallas

103

A few focus group attendees also credited the homebuyer education and counseling with helping

them to decide whether to purchase a home at that time. Several focus group attendees made the

explicit observation that homebuyer education and counseling can lead participants to the

conclusion that they are not yet ready to purchase a home. Bianca in Chicago explained how she

wanted to stay in her current neighborhood because of her daughter’s school but could not afford

the type of house she wanted to buy in that neighborhood. She stated—

I ran into a few things talking to her that made me realize that I probably need to just, you know, wait.

Bianca, Chicago

Bianca’s housing counselor reviewed her potential mortgage payment plus added expenses that

she incurs through the month. After reviewing this information and thinking about how it would

affect other circumstances in her life, such as her daughter’s education, she decided it would be

best to wait to purchase a home.

Saving Money

Very few focus group attendees mentioned saving money as a primary benefit without being

asked directly about it. To capture this information, moderators asked attendees, “Do you think

homebuyer education and counseling can save you money? If yes, how?” Once asked, more than

one-half of attendees agreed they believed completing services could or did save them money.

Other focus group attendees did not comment.

An attendee in Dallas said that his housing counselor provided personalized information about

how to boost his credit score through managing the expenses on his credit cards differently. By

following the counselor’s advice, the study participant experienced about a 70-point increase in

his credit score. As a result, he said, he received a more favorable rate on his home loan and

saved money. This participant has passed some of the information he learned in his counseling

session on to his friends.

I think this definitely saved both money and time. The time was, for me, maybe more important because learning all of the steps, like had I done all that separately trying to figure out all the information on my own, would have taken a lot of time and I would have wasted time with everything. Every step of the way.

Doing things that were unnecessary or just not find the right place first.

Kelly, Atlanta

Many focus group attendees touched on the importance of having a more comprehensive

understanding of the cost of the homebuying process. Homebuyer education and counseling

provided these participants with critical information on how they would spend money before,

during, and after purchasing a home.

Focus group moderators probed attendees for examples of how they could save money from the

information they learned from homebuyer education and counseling. In response, most focus

group attendees discussed the benefit of learning about budgeting and credit. These participants

said that, by being able to increase savings and improve their credit, they were in a better

position get a lower interest rate on a loan.

104

For study participants with little knowledge of their credit scores, conversations with a housing

counselor gave them more information about how to understand their credit, as well as advice on

improving it. Andres, in Boston, explained how the knowledge he gained from homebuyer

education and counseling helped his wife to build credit.

I personally didn’t change, but there was enough information that my wife learned from me that she

changed some of her habits. She got a new credit card, which, you know, she just didn’t have a lot of credit history before. And, you know, she doesn’t spend a whole lot on the credit card and what she does, she makes a purchase now and then, pays it off, and so now she actually has the history that she needed.

Andres, Boston

Learning about building credit was especially important for participants who recently moved to

the United States and did not have a credit history. Attendees described differences in the home

purchase processes in other countries and emphasized that homebuyer education and counseling

improved their understanding of the importance of credit.

After learning about building credit, another study participant chose to wait to purchase a home

until she improved her credit score so she could get a better interest rate on a home loan. Yang,

in Dallas, stated—

For me, it is more on the preparation than process. The budgeting and credit is very helpful. Thing is that I am not originally from here. I didn’t have any credit history and that is a big issue when we are first looking to buy a house. My partner also, we don’t have any credit history… about a year before we look at a house … they were telling us our credit score is just too low to really—but we did have some cash there in the bank, so they say, “You can look at how you can improve your credit score” and stuff, so it is really more of an education process for us because we don’t know anything here.

Yang, Dallas

Although the study participants who attended the focus groups generally believed that

homebuyer education and counseling would save them money, saving money was not the most

valued aspect of services. Focus group attendees explained that the most beneficial aspects of

completing homebuyer education and counseling were learning about the costs and reducing the

stress associated with the homebuying process.

Dissemination of Information

Throughout the focus groups, attendees described the importance of the information provided

through homebuyer education and counseling. These attendees had various thoughts and

opinions, however, for when, how, and by whom this information should be provided to

homebuyers. This section discusses these items.

When Should Information Be Provided to Homebuyers?

Focus group attendees were nearly unanimous that homebuyer education and counseling should

be offered to homebuyers at the earliest point possible in the homebuying process. These

attendees agreed that the point when prospective homebuyers apply for a home loan was too late.

105

One focus group attendee thought it likely that prospective homebuyers who sought preapproval

for a loan had already researched the homebuying process and might not be interested in seeking

out additional information. Several focus group attendees suggested that the basics of buying a

home should be taught in high school or college.

Who Should Provide Information About Homebuyer Education and Counseling to

Homebuyers?

Focus group attendees expressed mixed feelings about whom they would trust to provide

homebuyer education and counseling. Some focus group attendees stated that they would trust

their lender or their realtor to refer them to services, but others were skeptical about trusting

those parties. Attendees in Atlanta explained—

Arthur:  I personally would not trust it if it came from a realtor. I would trust it if it came from a lender more than a realtor.

Elliot:  Mine was from a lender recommended. I trusted him more knowing that they had a vested interest in me being a good mortgagee. It is in their best interest for me to get a home that I can afford and to make all my payments and they get their x thousand hundred dollars, whatever it is, back rather than me foreclosing and then they might get 10 percent back. Whereas if I got from a realtor, I mean, they only—

they sell me houses and that is it, right?

Focus group attendees who did not trust lenders noted it was because they believed loan officers

wanted them to close on loans quickly and would often preapprove them for more money than

they could afford. Other focus group attendees explained their mistrust toward realtors by stating

that they believed their realtor was not thinking about their best interest and only wanted to earn

the commission from the sale of a home.

Some study participants explained that deciding whom to trust during the homebuying process

needed to be based on the homebuyer’s judgment. Tamara, in Dallas, explained.

Moderator:  What is the best way for first-time home buyers to find out this information?

Tamara:  Probably through their realtor.

Moderator:  Their realtor?

Tamara:  Yes. If the realtor knows about this, you know they can refer their clients. And lenders also. I think those are the two best ways.

Moderator:  So if a lender, say you went into a lender and you were like, “I am interested in buying my first home, I want to see how much I can qualify for” if the lender says, “Oh, okay, well why don’t you go to this bank and complete the education, or we have these classes,” like would you trust information coming

from your lender?

Tamara:  Well, yeah, that is kind of a challenge. Because they want your business, of course. I guess I would just look at the information and make a judgment myself.

Several focus group attendees thought that HUD would be the best party to provide information

about homebuyer education and counseling to prospective homebuyers. Many focus group

attendees said that because HUD is a third party and not affiliated with a lender or realtor, it

would provide trustworthy information. However, one focus group attendee in Dallas noted that

some homebuyers might not know the acronym “HUD” and so using a name that homebuyers

could recognize would be important.

106

A few focus group attendees talked about how some programs sponsored by the government

only serve low-income people and thus homebuyers might screen themselves out because of the

perceived program requirements.

How Should Information Be Provided to Homebuyers?

Study participants who took part in the focus groups had various ideas about how to convey

information about homebuyer education and counseling to homebuyers, including

advertisements on public radio, television, and websites such as Zillow. Other focus group

attendees said that testimonials from homebuyers who had engaged in services with good effect

and from homebuyers whose experience during the homebuying process had been negative

might be compelling to prospective homebuyers.

Regarding what topics might be most compelling to prospective homebuyers, focus group

attendees suggested highlighting that homebuyer education and counseling could help save

homebuyers money and avoid foreclosure. Evelyn, an attendee in Chicago said—

I would put it out there to save money and prevent foreclosure. I would emphasize on those two. ’Cause you look at … so many people purchase homes and they lose their homes, you know, and they could

have avoided all that just by being educated.

Evelyn, Chicago

Some focus group attendees worried that marketing the idea that homebuyer education and

counseling could save homebuyers money might dissuade people from engaging in services.

Attendees associated the phrase “saving you money” with distrust and believed others might, as

well. Attendees described the many services that claim to save homebuyers money but likely do not.

Two attendees of focus groups suggested making homebuyer education mandatory for

homebuyers who sought a loan. An attendee in Chicago stated—

If it was, if you made it seem like, man I’m gonna regret saying this, if you made it seem like, okay, “We’ll give you the loan or we’ll put you on … we’ll consider you for the loan but you have to take this class.”

You make it mandatory.

Chris, Chicago

Experience of Study Enrollment

During focus groups, attendees reflected on their study enrollment experience, sharing their

thoughts on the process and their reasons for agreeing to participate in the study. A variety of

factors played a role in focus group attendees’ decisions to accept the offer of being randomly

assigned to receive counseling services or to be placed in a control group.

Despite being at different points in the homebuying process, most focus group attendees said

they viewed the study as a resource they could use to learn or verify information critical to

homebuyers. Attendees from all focus group sites voiced concerns about having to disclose their

personal and financial information, including during the enrollment phone call from the study

team and in their homebuyer counseling session. The study’s affiliation with HUD, however, and

certain study procedures alleviated the concerns of some participants.

107

Overall, focus group attendees reported that enrolling in the study was simple and that contact

with the study team was positive.

Study Enrollment Procedures

An Atlanta attendee, Alex, said that the bank had told him that the study would be in touch with

him, so the enrollment call was not “out of the blue.” A Dallas attendee, Yang, said something

similar. She received a letter from her lender that the study would be contacting her about

participating. She noted that this letter made her “pay more attention” and “take it seriously.” If

the letter had been from a marketing company, she would have thrown it out. Another Atlanta

attendee, Sandy, also remembered receiving a letter in the mail before the study team contacted

her. She said that the letter made the study “very credible.”

Affiliation With the U.S. Department of Housing and Urban Development

A few Chicago attendees who completed homebuyer education and counseling said that they

were driven to enroll in the study when they realized that the study was being conducted on

behalf of HUD. Edwin was not interested in participating when he received the information from

his lender. However, when he realized that the study was for HUD, he decided to participate

because of the “trustability factor.” Charlie said he understood the “goal” of the study once he

realized it was for HUD. Bianca also was more inclined to participate after realizing the study

was for HUD. A Dallas attendee, Edgar, researched the study before enrolling and signed up

after realizing it was for a government agency.

Perceived Benefits of Participation

Although focus group attendees were at different stages of the homebuying process, they chose

to enroll in the study for similar reasons, perceiving the benefits for them of having more

information. Those who were further along in the homebuying process wanted to confirm they

were on the right track for achieving and sustaining homeownership. Those who were at an early

stage when approached to enroll in the study believed they were not sufficiently knowledgeable

about the homebuying process.

Some focus group attendees were motivated to enroll because they were worried about “getting it

wrong” or being taken advantage of. An Atlanta attendee compared the experience of buying a

home to purchasing a car. Another Atlanta attendee said he had lost out on a home because he did

not have enough information, so he enrolled in the study as he restarted his homebuying process.

An Atlanta attendee who had recently purchased a home decided to enroll in the study because

he considered buying a home an “investment” and hoped to buy again in the future. Arthur,

another Atlanta attendee, was motivated to enroll in the study because he wanted more

information and also planned to buy again in the future.

I went with this study just because, you know, knowledge is power and just to know what you can do and maintain your home, like how much that is going to cost you or what you should do. Hopefully, I did the right things during the buying process; if not, maybe I will do it the next time I buy a home, like 10 to 20

years down the road, or something like that.

Arthur, Atlanta

108

Four attendees in different focus groups specifically described their participation in the study as a

“win-win” situation. Others expressed similar sentiments, with six attendees noting they believed

they were being paid to learn. A few attendees also explained that participating in the study felt

“low risk” because they would be receiving study incentive payments even if the information or

experience was not useful. A Dallas attendee, Yang, explained that going through with the study

involved “no opportunity costs.”

For some focus group attendees, the monetary benefit played a role in their decision to enroll in

the study. Four participants enrolled specifically to receive the incentive payments. For another

four study participants, the money was not the main factor in their decision to enroll, but they

acknowledged that it played a secondary role. One Boston attendee, Sally, explained that the free

services and incentive payments were useful because she was saving to purchase a home.

The reason that I did it was because it was offered free and I was being paid for it and it helps…

especially when you’re trying to, you know, scrape together a downpayment and whatever else.

Sally, Boston

Key Findings From the Focus Groups

Overall, focus group attendees perceived some benefits and constraints for both in-person and

remote services. Different modes of homebuyer education and counseling appealed depending on

the study participant’s personal preferences, flexibility, and priorities.

Factors in study participants’ decisions to engage in homebuyer education and counseling that

are difficult to assess, even from focus groups, are peoples’ motivation and propensity to seek

information. Whatever their specific circumstances, some participants simply were interested in

gaining additional knowledge about the homebuying process and the steps involved along the

way. These study participants were more likely to take up services than were participants who

were not as interested in learning this information or who were not willing to make completing

these services a priority in their busy schedules.

Key focus group findings are—

•  Focus group attendees cited increased knowledge and confidence about the homebuying

process, terminology used, and long-term costs of homeownership as a result of completing

homebuyer education and counseling.

•  Focus group attendees believed that one of the most significant benefits of completing

homebuyer education and counseling was reducing the stress they felt from the homebuying

process by gaining helpful knowledge. Very few attendees mentioned saving money as a

primary benefit without being asked directly about it.

•  Focus group attendees associated face-to-face meetings with trust and familiarity. Of the 64

focus group attendees, 43 highlighted the potential benefit of face-to-face interactions during

homebuyer education and counseling (regardless of their assigned treatment group or their

service completion status). Attendees mentioned that benefits of completing homebuyer

education in person were the ability to ask questions, to learn from other prospective

homebuyers, and to learn from industry professionals.

109

•  Focus group attendees’ level of engagement with the online homebuyer education curriculum

decreased if they encountered information they already knew. Some attendees suggested

being able to skip modules or being offered a pretest to determine what they already knew.

•  Completing homebuyer counseling on the telephone appealed to most focus group attendees

for its scheduling flexibility and convenience. For most of these attendees, this mode of

counseling did not seem to create a significant time burden. Most of these attendees stated

that scheduling the call with the housing counselor was easy and convenient and that they

had the option of completing counseling at a time best for them, including morning and

evening hours.

•  Although the ability to complete homebuyer education and counseling remotely removed

logistical barriers and improved access to services, some focus group attendees assigned to

be offered remote services still said they had difficulty setting aside time to complete them.

•  Although some 40 percent of focus group attendees had already purchased a house at the

time of the focus group, those in this group who completed homebuyer education and

counseling said the services provided them a clear picture of the homebuying process and

reinforced the decisions they made.

•  Focus group attendees (both those who did and did not complete services) mentioned that the

timing of homebuyer education and counseling was important. They said that homebuyer

education and counseling services should be provided during the initial stages of the

homebuying process, before the prospective homebuyer had contacted a lender.

110

8.  Summary and Next Steps

The Demonstration is designed to evaluate the effectiveness of homebuyer education and

counseling services on low-, moderate-, and middle-income (LMMI) first-time homebuyers. It

uses a randomized experimental design, the gold standard for evaluation. The Demonstration

began enrollment in September 2013 and will follow study participants over 42 months

(although the length of follow-up is subject to funding availability) to determine the impact of

homebuyer education and counseling on a wide variety of outcomes related to homeownership

preparedness and search; financial literacy, capability, and management; and homeownership

sustainability. In this chapter we summarize the design and implementation of the Demonstration

and describe plans for future analyses and reporting.

Summary

This report describes the Demonstration’s research questions and design, the homebuyer

education and counseling intervention, and the Demonstration’s implementation. The report also

presents baseline characteristics of LMMI prospective first-time homebuyers who enrolled in the

study. It provides information about study participants’ take-up of the homebuyer education and

counseling services. It also presents findings from focus groups for a small subset of study

participants.

The key takeaways from this report are summarized as follows.

•   Successful Demonstration implementation.  The study team and HUD successfully recruited

three national lenders, 63 local housing counseling agencies across 28 large metropolitan

areas, and two national providers of remote homebuyer education and counseling services to

participate in this landmark evaluation. The study then enrolled 5,854 LMMI prospective

first-time homebuyers between September 2013 and January 2016 and randomly assigned

them to three treatment groups that were offered remote (online education and telephone-

based counseling), in-person (group workshops and individual counseling), or a choice of

remote or in-person homebuyer education and counseling services, and a control group that

was not offered any services.

•   Two modes of homebuyer education and counseling.  The Demonstration is designed to test

two modes of homebuyer education and counseling: in-person services and remote services.

Participants completing services in person attended homebuyer education workshops and

counseling sessions offered by a housing counseling agency in their community. Study

participants completing services remotely did so through online homebuyer education

courses provided by eHome America and received telephone homebuyer counseling provided

by ClearPoint.

•   Homebuyer education and counseling service take up.  More than one-half (55 percent) of

those study participants offered homebuyer education and counseling initiated services. The

take-up rates varied according to the mode of the intervention. Whereas about two-thirds (63

percent) of study participants who were offered remote homebuyer education and counseling

had initiated those services, only about one-fourth (26 percent) of those who were offered in-

person homebuyer education and counseling had initiated them as of August 2016.

111

•   Measures to improve service take up. To increase service initiation and completion rates and

improve the study’s chances to detect impacts of the intervention, the study team, in

consultation with HUD and an expert panel, modified what had been the in-person treatment

group to become a choice treatment group. Study participants assigned to the choice

treatment group could choose how to access services, either remotely or in person.

•   Focus groups indicate value in services, but logistical barriers prevented some from taking

up services.  Study participants attending focus groups reported that they took up services

because they knew the homebuying process would be complicated and they believed the

information provided through homebuyer education and counseling would help them through

the process. The reasons for not taking up services or not completing services tended to vary

by service delivery mode. Those who had been referred to in-person homebuyer education

and counseling services spoke about scheduling difficulties, the length of the course, and the

agency’s location. Those who had been offered remote services cited competing priorities on

their schedules and the length of the course.

•   Diverse national sample of study participants.  The study sample is diverse in its

sociodemographic characteristics. Study participants reported positive financial and savings

behaviors at the time of enrollment. Those who already purchased a home had a more

favorable financial profile than those in the earlier stages of the homebuying process. Study

participants anticipated paying more for housing after home purchase than they paid for their

pre-purchase housing arrangement. They prioritized three factors—the number of bedrooms

and bathrooms, the extent of repairs needed, and neighborhood safety—in their housing search.

•   Well positioned to produce causal estimates of intervention impacts.  Study participants were randomly assigned to a control group (which was not offered free homebuyer education and

counseling services) or to a treatment group (which was offered either free remote services,

free in-person services, or a choice of free remote or in-person services). Baseline balance

testing indicates that baseline participant characteristics are balanced across the treatment and

control groups, demonstrating that random assignment was performed in a valid manner. It

also ensures that the study will be able confidently to interpret impact estimates as the causal

effect of offering free homebuyer education and counseling.

•    External validity of the study’s sample.  As the study sample includes a large number of

participants of varied sociodemographic composition across 28 large metropolitan areas, the

study findings will provide important evidence on the effectiveness of homebuyer education

and counseling for a robust sample with characteristics that reflect a sizable share of the

population of LMMI prospective first-time homebuyers. Homebuyer education and

counseling inevitably will be mediated, however, by current market conditions, regardless of

when the impacts are measured. Although this mediating effect should be kept in mind when

translating findings to periods with markedly different market settings, the study findings

represent experimental evidence that will provide critical evidence about the impacts of

homebuyer education and counseling.

Collectively, the information presented in this report serves as useful context for interpreting

future findings on intervention impacts. In considering later interpretation of impacts, we

highlight some cautions of which those following the study should be aware. They pertain to the

study’s source of participants, the results’ generalizability, the types of homebuyer education and

counseling, and the results’ meaning, as described here—

112

•   External validity.  Because the study sample was recruited through three large national

lenders, it may not be representative of either the population of homebuyer education and

counseling service recipients or the broader population of LMMI prospective first-time

homebuyers. For instance, because study participants entered the study by way of their

interactions with lenders, they tend to be further along in the homebuying process than are

the typical pre-purchase clients that many housing counseling agencies serve. Furthermore,

this study is specific to the credit and market environments in which it is conducted. These

issues of the study’s external validity (the ability to generalize its results beyond the specific

sample and setting) are explored in greater detail in chapter 5; later study reports will revisit

these issues in interpreting results.

•   Type of homebuyer education and counseling.  This study evaluates specific types of

homebuyer education and counseling. We have argued that they are high-quality services,

given that they adhere to national standards and are HUD approved. Findings, however, may

not be generalizable to other types of programs (for example, foreclosure counseling) or to

services provided by other types of agencies (for example, those that do not adhere to the

National Industry Standards or are not approved by HUD).

•   Interpreting impacts. The study’s intervention is the  offer of free homebuyer education and counseling services—that is, members of the treatment group gained free access to

homebuyer education and counseling services, but they were not  required  to take up the

services. As a result, the study can produce experimental impact estimates of being  offered

free homebuyer education and counseling, which are not the same as the impact of  receiving

or completing the services. That said, in addition to estimating the impact of offering

services, later analyses will estimate the effect of taking up those services and of completing

services, although those latter analyses will extend beyond the main experimental analysis.

Next Steps

Future reports will present analyses of the impacts of homebuyer education and counseling

offered remotely and in person to LMMI prospective first-time homebuyers. The impact analyses

will push forward understanding of the impacts of homebuyer counseling and education in the

following ways.

•   Estimate impacts on a wide range of outcomes. Future analyses will estimate the impact of

homebuyer education and counseling on outcomes observed 12 and 42 months after study

participants enrolled in the study. Future reports will present impacts on a range of outcomes

related to homeownership preparedness and search; financial literacy, capability, and

management; and homeownership sustainability.

•   Understand the impacts of service delivery mode. The design permits analysis that will

provide rigorous evidence on the impact of (1) in-person homebuyer education and

counseling services; (2) remote homebuyer education and counseling services; and (3) the

choice of in-person or remote services. In addition to assessing each service mode relative to

its relevant control group, the study will also examine the service mode effects relative to one

another. This analysis will measure the relative impacts of in-person versus remote services

and choice versus remote services. Understanding the impacts of these alternative modes of

homebuyer education and counseling is of central interest to both policymakers and the

homebuyer education and counseling field.

113

•   Understand the impact of taking up the intervention’s services.  About 26 percent of those

offered in-person services and about 63 percent of those offered remote services initiated

services. The overall impact of the homebuyer education and counseling intervention (the

offer  of free services) on the treatment groups is diluted by treatment group members who do

not take up the offered homebuyer education and counseling services. The study will analyze

the effect of the treatment on the treated (TOT) by following the conventional approach of

assuming that those who did not take up the offer experienced none of its benefit. The TOT

estimates will reveal the impacts on those who initiated services. Because of the differential

take-up rates across the treatment groups, this analysis will be particularly policy relevant, as

it may help with future design and delivery of the alternative modes of service.

•   Understand the impacts of homebuyer education and counseling for subpopulations. The

study will consider whether the intervention’s impacts vary for specific demographic and

socioeconomic groups defined by characteristics such as education, income, and credit score.

These analyses will provide deeper insights into how policymakers and homebuyer education

and counseling practitioners can target services toward particular populations.

•   Evaluate the role of “dosage” on impacts. Related to the impact of taking up the offer of

services, the impact of homebuyer education and counseling on those who completed

services will also be considered. Because impacts can be expected to be greater among

treatment group members who completed services, analyses will examine the effectiveness of

the intervention for treatment group members who completed homebuyer education,

completed homebuyer counseling, or completed both homebuyer education and counseling.

Although the planned method for this analysis relies on experimental data, the method

requires additional assumptions to produce estimated dosage effects. The estimated dosage

effects therefore will be interpreted as nonexperimental.

Exhibit 8.1 summarizes the planned reports. The study plans to release an Interim Report in

2018. That report will use 12-month follow-up survey and administrative data to document the

short-term impacts of offering homebuyer education and counseling.  Contingent on funding,  the

study also plans to release a Final Report in 2020, which will use 42-month follow-up survey and

administrative data to document the long-term impacts of the intervention.

Exhibit 8.1:  Future Study Products

Release

Report

Topics Covered

Data Sources

Date

Analysis of all 12-month outcomes and

Lender loan and servicing data, Federal

impacts, preliminary analysis of

Interim

Housing Administration data, credit

2018

alternative service delivery modes’

Report

bureau data, 12-month follow-up survey

impacts, preliminary subgroup analyses,  data, and service tracking data

policy implications

Analysis of long-term (42-month)

Lender loan and servicing data, Federal

outcomes and impacts, analysis of

Final

Housing Administration data, credit

2020

alternative service delivery modes’

Reporta

bureau data, 42-month follow-up survey

impacts, subgroup analyses, policy

data, and service tracking data

implications

a Contingent on funding for the study’s 42-month survey and associated analyses and report.

114

Along with revealing whether homebuyer education and counseling can indeed improve

outcomes for prospective homebuyers, the Interim and Final reports also will provide analyses

on the relative effectiveness of in-person services, remote services, and the choice of in-person or

remote services, as well as subgroup and dosage analyses.

In light of the recent collapse of the U.S. housing market, understanding whether first-time

homebuyer education and counseling can help improve outcomes for first-time homeowners is

critical to policymakers and to private lenders. Indeed, homeownership has both potential

benefits and risks, and homebuyer education and counseling are intended to help homebuyers

reap the former and minimize the latter. In theory, homebuyer education and counseling should

help consumers gain  knowledge and skills, which should lead to  more deliberate  behaviors and decisions regarding whether and when to purchase a home and in choosing homes and mortgages

that are affordable and appropriate for their financial situations and lifestyles. Those more

deliberate behaviors and decisions in turn may result in  favorable outcomes such as building

good credit, making timely mortgage payments, building and protecting home equity, and

accruing savings.

This chain is intended to culminate in important longer-term goals related to sustainability of

home ownership—avoiding mortgage delinquency or foreclosure and building family wealth—

and in better financial health overall.

Although homebuyer education and counseling are widely available and heavily used, their

benefits have been difficult to document. Approaches to homebuyer education and counseling

also vary, and content and delivery mechanisms vary across programs and providers. Most

programs are small in scale, offer a wide range of services to many clients, and have not been

subjected to rigorous evaluation.

As the first large-scale national experimental evaluation, the Demonstration attempts to fill this

research void. With the enrollment phase now completed, this study has successfully laid the

groundwork to become a foundational source of evidence for policymakers regarding the impacts

of homebuyer education and counseling.

115

Appendix A: Previous Studies of Pre-purchase Homebuyer Education

and Counseling

A large number of studies have sought to validate empirically the benefits of pre-purchase

homebuyer education and counseling. 1 Exhibit A.1 summarizes the evaluations published between 1995 and 2015. Of these 16 studies, 3 are descriptive, 12 are quasi-experimental (that is,

they construct a counterfactual in order to estimate impact), and 1 uses an experimental

evaluation design (but the analysis does not fully use the experimental design). The focus of this

appendix is on the reports that have been released since 2010, because studies released between

1995 and 2009 are covered in depth in a 2010 review (Collins and O’Rourke, 2011). However,

this review does provide a brief overview of these earlier studies.

This appendix considers 8 studies evaluating pre-purchase housing counseling that were released

between 1995 and 2009. Of these studies, 1 describes postcounseling outcomes for individuals

who received services, using a retrospective survey that captures a self-reported assessment of

the changes in respondents’ behaviors and financial experiences (Carswell, 2009). The remaining

7 studies from this period are considered quasi-experimental because they present a benchmark

or counterfactual for the treated group’s postcounseling outcomes: outcomes measured either

prior to counseling (Birkenmaier and Tyuse, 2005; Shelton and Hill, 1995) or for a comparison

group of nontreated individuals (Archer et al., 2009; Hartarska and Gonzalez-Vega, 2005, 2006;

Hirad and Zorn, 2002; Quercia and Spader, 2008). 2 Several of these quasi-experimental studies evaluated the impact of education and counseling on default rates (Hirad and Zorn, 2002;

Hartarska and Gonzalez-Vega, 2005, 2006; Quercia and Spader, 2008), but findings were mixed.

Hirad and Zorn found a favorable impact but only for classroom-based education and counseling.

Hartarska and Gonzalez-Vega found that education and counseling decreased  overall default

rates but increased strategic defaults. Meanwhile, Quercia and Spader found no effect of

education and counseling on default rates. Other studies evaluated the impact of education and

counseling services on prepayment rates (Hartarska and Gonzales-Vega, 2005; Quercia and

Spader, 2008) and budgeting practices (Shelton and Hill, 1995). These studies suggest that

services sometimes have favorable effects. However, all these early studies suffer from self-

selection bias. As a result, they cannot isolate the impact of the intervention from other factors

that might drive prospective homebuyers to participate in education and counseling services.

Since 2009, an additional 8 studies have evaluated pre-purchase education and counseling.

Among these studies, 1 is descriptive (Turnham and Jefferson, 2012), 6 are quasi-experimental

(Agarwal et al., 2010, 2014a, 2014b; Avila et al., 2013; Brown, 2015; Mayer and Temkin, 2013);

and 1 uses an experimental design (Smith et al., 2014). Turnham and Jefferson (2012) described

the experiences of participants in 15 agencies’ programs and observed that those who completed

services had higher credit scores than those who did not and that almost no participants had a

major negative mortgage event on record. These quasi-experimental studies, unlike their pre-

2010 predecessors, made additional attempts to address the issue that participants self-select into

1   Although numerous studies have also evaluated the effectiveness of post-purchase or foreclosure counseling services, these studies are not included in this summary because they are less relevant to the study at hand.

2   One study examined outcomes at the level of aggregate geographies (Archer et al., 2009), and so the members of the treated group are not strictly “individuals.”

A- 1

the intervention. For example, they employed matching techniques to create comparison groups

of nontreated households that were otherwise similar on observable characteristics to those

receiving counseling and education prior to receiving services (Agarwal et al., 2010; Mayer and

Temkin, 2013). Some studies took advantage of variation in the timing and location of policies

regarding pre-purchase education and counseling to attempt to control for selection bias

(Agarwal et al., 2014a, 2014b; Avila et al., 2013; Brown, 2015). Although these more

sophisticated analyses still allow for unobserved factors to potentially bias findings, their

attempts to adjust for self-selection mean that their findings are more likely to isolate the effect

of education and counseling services than the findings of the earlier studies.

Overall, the results of these 2010-to-2015 quasi-experimental evaluations suggest that education and

counseling have favorable effects on outcomes such as mortgage choice (Agarwal et al., 2014a) and

mortgage performance (Agarwal et al., 2010; Avila et al., 2013; Brown, 2015; Mayer and Temkin,

2013) for those exposed to treatment. Nonetheless, caution should be used in interpreting these

results. For example, 2 of these studies evaluated the impact of a policy that required pre-purchase

counseling only for riskier mortgage products or for borrowers with lower credit scores in certain

neighborhoods (Agarwal et al., 2014a, 2014b). Although rates of subprime originations and default

among subprime borrowers in neighborhoods subject to the mandatory requirement declined (the

desired outcome), most of this decline was associated with (1) homebuyers avoiding the riskier

products in order to avoid the required counseling and (2) subprime lenders exiting the market in

neighborhoods subject to the requirement. As a result, the observed improvement in default rates is

not necessarily a treatment effect of the counseling.

The findings pertaining to mortgage performance are also limited. For example, in 2 studies,

services were provided by a single agency (Agarwal et al., 2010; Brown, 2015), substantially

limiting generalizability. The studies also report conflicting results. Agarwal et al. (2010)

observed a reduction in mortgage default for borrowers who received services, but Brown (2015)

did not. (In the latter study, among those who defaulted, borrowers who received treatment were

less likely to experience foreclosure.)

Of the studies that evaluated mortgage performance, 2 were national in scope (Avila et al., 2013;

Mayer and Temkin, 2013). Mayer and Temkin (2013) evaluated homebuyer education and

counseling services provided by NeighborWorks-affiliated organizations from 2007 to 2009. The

study followed the loan outcomes of 18,258 homebuyers receiving services from a

NeighborWorks organization for 2 years after purchase, relative to a matched comparison group

of 56,298 otherwise similar borrowers not receiving services. The study found that borrowers

who received pre-purchase services were one-third less likely to become 90 or more days

delinquent than borrowers in the comparison group and that this effect held for both first-time

and repeat borrowers. Although these results are promising, unobserved differences—if, for

example, those receiving services were more self-motivated or received downpayment assistance

tied to counseling—could affect the results.

The other national study evaluated the impact of homebuyer education and counseling that was

required as part of Freddie Mac’s Affordable Gold mortgage program from 2000 to 2007 or its

Home Possible mortgage program from 2004 to 2008 (Avila et al., 2013). Pre-purchase

education or counseling were required for most borrowers in these programs prior to 2006 and

then became voluntary thereafter. The analysis tracked the loan performance of 35,777

borrowers originating mortgages from 2000 to 2008, of whom 31,334 received education or

counseling and 6,243 did not. The study found favorable effects of education and counseling. For

A- 2

example, delinquency rates of treated borrowers were 15 percent lower on average, with treated

first-time homebuyers having 29 percent lower delinquency rates and repeat buyers having no

improvement. However, additional analyses show that, although the effect was statistically

significant and favorable during the 2005-to-2008 period, it was unfavorable during the earlier,

2000-to-2004 period. Because the study lacked random assignment into treatment, it is difficult

to disentangle the effect of the intervention from other differences in borrower characteristics

over time (before and after the mandatory requirement) or from self-selection (when education

and counseling became voluntary). Despite using a standard two-stage process of using statistical

controls to account for selection to treatment and then analyzing the effects of getting treatment,

unobserved factors are not accounted for and so may introduce bias in results.

Finally, 1 study used an experimental design to examine the marginal impact of counseling

compared with the impact of education alone (Smith et al., 2014). One group (the “control

group”) was randomly assigned to receive a 2-hour education workshop, while the other group

(the “treatment group”) was randomly assigned to receive both the education workshop and

access to one-on-one counseling services. Although the study used an experimental design, the

authors do not appear to report experimental impact estimates. When estimating the effect of

one-on-one counseling, the authors compared the subset of treatment group members who

participated in one-on-one counseling with a matched subset of the control group members with

similar baseline characteristics. The authors found that treatment group members who completed

counseling and their matched comparison group both realized improved credit scores and lower

delinquency rates during a 5-year period. Treatment group members who completed counseling

experienced a greater decline in delinquency rates than their comparison group counterparts.

However, this comparison is not experimental because treatment group members who completed

counseling likely differ systematically from the matched subgroup in unobservable ways that

affect their later outcomes.

Homebuyer education and counseling programs have been researched extensively, but prior

studies have not overcome methodological challenges. Because the unmeasured characteristics

of those engaging in services are very likely correlated—and quite highly—with their later

financial outcomes, any quasi-experimental evaluation is limited in the conclusions it can draw.

Furthermore, the idiosyncrasies of particular places—such as Florida counties or distressed

Chicago neighborhoods—cannot provide a national picture of the potential effects of providing

homebuyer education and counseling. Finally, although the existing literature includes one fully

experimental evaluation, the analysis of those data does not make use of the experimental design.

The authors’ failure to conduct such analysis suggests a possible flaw in either the design or its

execution. Thus, the experimental design; large, national sample; and analysis plan of the First-

Time Homebuyer Education and Counseling Demonstration will fill important gaps in the

research literature. The study is poised to provide critical evidence to the field regarding the

effectiveness of homebuyer education and counseling services.

A- 3

Exhibit A.1:  Summary of 16 Pre-purchase Homebuyer Education and Counseling Evaluations

Classification and Description of

Citation (alphabetically)

Description of Intervention

Key Findings

Analysis Approach

Agarwal, Sumit, Gene Amromin,

Pre-purchase education and

Quasi-experimental. Comparison

Counseled homebuyers have

Itzhak Ben-David, Souphala

counseling provided during long

of loan outcomes for 359 treated

lower default rates at 12 and

Chomsisengphet, and Douglas D.

engagement periods (up to 2 years)  clients with outcomes from a

18 months after purchase relative

Evanoff. 2010. “Learning To Cope:

by a single nonprofit organization.

matched comparison group of

to the matched comparison group,

Voluntary Financial Education and

16,677 nontreated homebuyers.

controlling for borrower FICO score

Loan Performance During a Housing

and income, LTV ratio, and loan

Crisis,”  American Economic Review

type and interest rates.

100 (2): 495–500.

Agarwal, Sumit, Gene Amromin,

Pre-purchase counseling required  Quasi-experimental. Analysis of

Higher FICO score borrowers in

Itzhak Ben-David, Souphala

by legislation for certain loan

about 40,000 borrowers

treated ZIP Codes were less likely

Chomsisengphet, and Douglas

products and low-FICO-score

purchasing homes, including

to select the (riskier) mortgage

Evanoff. 2014a. The Effectiveness of

borrowers in particular Chicago

2,802 households in the treated

products that would have required

Mandatory Mortgage Counseling: Can  ZIP Codes.

ZIP Codes, of which more than

counseling and avoided counseling

One Dissuade Borrowers from

1,200 were counseled. Compares  by making that choice. Counseling

Choosing Risky Mortgages? NBER

outcomes for borrowers in treated  had no statistically significant effect

Working Paper No. 19920.

ZIP Codes with outcomes for a

on product selection among those

Cambridge, MA: National Bureau of

control group from similar ZIP

who received counseling relative to

Economic Research.

Codes and a matched comparison  those who did not.

group selected at the loan level.

Agarwal, Sumit, Gene Amromin,

Pre-purchase counseling required  Quasi-experimental. Analysis of

Borrowers in treated ZIP Codes

Itzhak Ben-David, Souphala

by legislation for certain loan

about 40,000 borrowers

had higher credit scores and lower

Chomsisengphet, and Douglas

products and borrowers in

purchasing homes, including

LTV ratios. The study found no

Evanoff. 2014b. “Predatory Lending

particular Chicago ZIP Codes.

2,802 households in the treated

overall difference in default rates

and the Subprime Crisis,”  Journal of

ZIP Codes. Compares outcomes

but a lesser likelihood of default

Financial Economics 113 (1): 29–53.

for borrowers in treated ZIP Codes  among subprime borrowers;

DOI: 10.1016/j.jfineco.2014.02.008.

with outcomes for a control group

however, this finding is likely due

from similar ZIP Codes and a

to selection effects, because more

matched comparison group

than one-half of lenders quit

selected at the loan level.

lending altogether in these areas.

A- 4

Classification and Description of

Citation (alphabetically)

Description of Intervention

Key Findings

Analysis Approach

Archer, Wayne, Stan Fitterman, and

Pre-purchase education and/or

Quasi-experimental. Comparison

Indicator for jurisdictions with

Marc T. Smith. 2009. “Real Estate

counseling provided in specific

of default rates based on timing of  required counseling suggests that

Brokerage, Homebuyer Training, and  Florida jurisdictions.

required counseling in various

these jurisdictions have a higher

Homeownership Sustainability for

jurisdictions. Also includes an

default rate. However, a large

Housing Assistance Programs,”

indicator for jurisdictions with and

majority of jurisdictions required

Family and Consumer Sciences

without required counseling.

counseling, and it is difficult to

Research Journal 37 (4): 442–455.

determine the direction of

causality.

Avila, Gabriela, Hoa Nguyen, and

Pre-purchase education and/or

Quasi-experimental. Comparison

Homebuyers counseled from

Peter Zorn. 2013. The Benefits of Pre- counseling provided to Freddie

of loan performance for

2005–2008 have lower

Purchase Homeownership

Mac “Affordable Gold” borrowers.

35,777 loans, 31,334 of which

delinquency rates than those who

Counseling. Working paper.

received counseling and 6,243 of

did not receive counseling;

http://www.freddiemac.com/news/blog/

which did not.

however, no effect detected

pdf/benefits_of_pre_purchase.pdf.

among for those counseled from

2001–2004.

Birkenmaier, Julie and Sabrina W.

Pre-purchase money management  Quasi-experimental. Analyzes pre- No statistically significant

Tyuse. (2005). “Does Homeownership  counseling session provided by

post credit score changes for

difference in precounseling credit

Education and Counseling (HEC) Help  one nonprofit organization.

about 200 treated households.

scores and credit scores measured

Credit Scores?”  Journal of Social

1 year after counseling.

Service Research  32 (2): 81–103.

Brown, Scott. 2015. “The Influence of  Pre-purchase education

Quasi-experimental. Interrupted

Borrowers receiving education had

Homebuyer Education on Default and  requirement for Tennessee

time series analysis, which

statistically significantly lower rates

Foreclosure Risk: A Natural

Housing Finance Agency’s first-

considered borrowers served

of foreclosure but not lower rates

Experiment,”  Journal of Policy

time homebuyer program.

before and after the state’s

of mortgage default. Experiences

Analysis and Management 35 (1):

education requirement was in

of default were less likely to result

145–172.

place. Of 732 originated loans,

in foreclosure among treated

478 were control cases and

borrowers.

254 were treatment cases.

Carswell, Andrew T. 2009. “Does

Pre-purchase counseling and/or

Descriptive. Posttest-only survey of  No variation in self-reported

Housing Counseling Change

education provided by 26 providers  1,720 counseled households (with  outcomes across the agencies

Consumer Financial Behaviors?

in Philadelphia.

405 respondents; 23.5% response  providing counseling. Some loan

Evidence from Philadelphia,”  Journal

rate); also included analysis of

features (LTV, payment relative to

of Family and Economic Issues 30 (4):

agency characteristics in

income, and previous rent) were

339–356.

determining outcomes.

associated with greater self-

reported difficulty paying the

mortgage.

A- 5

Classification and Description of

Citation (alphabetically)

Description of Intervention

Key Findings

Analysis Approach

Hartarska, Valentina, and Claudio

Pre-purchase counseling offered

Quasi-experimental. Comparison

Counseling associated with likelier

Gonzalez-Vega. 2005. “Credit

by one nonprofit organization in six  group is noncounseled buyers

prepayment and strategic default

Counseling and Mortgage Termination  states for a bank’s CRA services

from 1992–96 before counseling

(1992–96). The study found is no

by Low-Income Households.”  The

and loan approval. Counseling was  was made mandatory. About

statistically significant relationship

Journal of Real Estate Finance and

available in certain markets from

1,300 households, of which nearly  among counseling, default, and

Economics 30 (3): 227–243.

1992 to 1996 and made mandatory  1,000 were provided treatment.

prepayment after counseling was

for all markets served in 1996.

Outcomes are compared for

made mandatory in 1996.

counseled buyers to noncounseled

buyers (1992–96) and all

counseled buyers (1992–2000) to

noncounseled buyers (1992–96).

Hartarska, Valentina, and Claudio

Pre-purchase counseling offered

Quasi-experimental. About

Counseled homebuyers were less

Gonzalez-Vega. 2006. “Evidence on

by one nonprofit organization in six  200 households, one-half of which  likely to default overall; however, the Effect of Credit Counseling on

states for a bank’s CRA services

were treated. Analysis of default

they were more likely to default

Mortgage Loan Default by Low-

and loan approval.

behavior for loans originated 1992  under conditions of negative

Income,”  Journal of Housing

to 1995, observed in late 2000.

equity.

Economics 15 (1): 63–79.

Hirad, Abdighani, and Peter Zorn.

Pre-purchase counseling and/or

Quasi-experimental. With a sample  The impact of counseling on

2002. “Pre-purchase Homeownership  education, variation in mode (for

of 39,318 loans, 1,238 were not

default varies by mode, wherein

Counseling: A Little Knowledge Is a

example, telephone, home study,

counseled and 38,080 received

classroom-provided education is

Good Thing.” In  Low-Income

and face-to face) provided to

counseling.

associated with more favorable

Homeownership: Examining the

Freddie Mac “Affordable1 Gold”

outcomes.

Unexamined Goal, edited by Nicolas

borrowers.

P. Retsinas and Eric S. Belsky.

Washington, DC: Brookings Institution

Press: 146–174.

Mayer, Neil S., and Kenneth Temkin.

Pre-purchase education and

Quasi-experimental. Comparison

Counseled homebuyers—both

2013.  Pre-Purchase Counseling

counseling provided by

of 18,258 treated homebuyers with  first-time and repeat—have lower

Impacts on Mortgage Performance:

NeighborWorks-affiliated

a sample of 56,298 households

delinquency rates within 2 years

Empirical Analysis of NeighborWorks

organizations.

matched by credit score and other  after purchase.

America’s Experience.  Washington,

observable financial characteristics

DC: NeighborWorks America.

by Experian.

http://neighborworks.issuelab.org/reso

urce/experian_report_2012.

A- 6

Classification and Description of

Citation (alphabetically)

Description of Intervention

Key Findings

Analysis Approach

Quercia, Roberto, and Jonathan

Pre-purchase counseling and/or

Quasi-experimental.

No detected effect on default rates.

Spader. 2008. “Does Homeownership  education provided to homebuyers  2,688 borrowers, about 41% of

In-person counseling was

Counseling Affect the Prepayment and  participating in an affordable

whom (1,102) received some form  associated with being more likely

Default Behavior of Affordable

mortgage program.

of education or counseling, were

to prepay and/or refinance in

Mortgage Borrowers?”  Journal of

compared with the 59% of the

response to lower interest rates

Policy Analysis and Management 27

borrowers who did not receive

whereas remote counseling did not

(2): 304–325.

treatment. Homebuyers completing  have that effect.

in-person and remote counseling

were also compared with one

another.

Shelton, Gladys G., and Octavia L.

Pre-purchase education classes

Quasi-experimental. Pretest-

Some improvement in budgeting

Hill. 1995. “First-Time Homebuyers

offered for 6 weeks in Georgia to

posttest analysis of

practices.

Programs as an Impetus for Change in  prospective homebuyers.

35 homebuyers who took up

Budget Behavior,”  Journal of Financial

services.

Counseling and Planning 6: 83–91.

Smith, Marvin M., Daniel Hochberg,

Pre-purchase education and

Experimental evaluation design

Lower delinquencies on financial

and William H. Greene. 2014.  The

counseling from a single provider.  that used quasi-experimental

obligations for treated participants

Effectiveness of Pre-Purchase

analysis. 898 individuals

as compared with control group,

Homeownership Counseling and

randomized to receive the offer of  but selection bias may exist in

Financial Management Skills.

counseling, with 632 having 48-

presented findings because only

Philadelphia, PA: Federal Reserve

month follow-up data. The analysis  treatment group members who

Bank of Philadelphia.

uses a difference-in-difference

attended counseling were included

https://www.philadelphiafed.org/comm

approach to compare the control

in analyses.

unity-development/homeownership-

group with those who took up

counseling-study/.

services.

Turnham, Jennifer, and Anna

Pre-purchase education and

Descriptive. Analyzed counseling

Approximately one-third of

Jefferson. 2012.  Pre-Purchase

counseling provided by

service data and credit reports

participants purchased homes

Counseling Outcome Study: Research   15 providers.

about 573 participants 12 to

within 18 months of services;

Brief Housing Counseling Outcome

18 months after pre-purchase

purchasers were more likely to

Evaluation.  Washington, DC: U.S.

counseling.

have completed counseling than

Department of Housing and Urban

nonpurchasers and to have higher

Development.

credit scores. Of purchasers, only

https://www.huduser.gov/publications/

one had fallen at least 30 days

pdf/pre_purchase_counseling.pdf.

behind on mortgage payments and

none had a major derogatory event

on a mortgage account.

CRA = Community Reinvestment Act. LTV = loan-to-value.

A- 7

Appendix B: Data Sources

This report uses seven types of data: (1) information on how participating lenders implemented

customer recruitment; (2) data on referred customers’ study eligibility; (3) baseline survey results

of enrolled participants; (4) credit report information on study participants; (5) service tracking

data; (6) program information about participating housing counseling agencies; and (7) study

participant focus group findings. We discuss each in this appendix.

Lender Referral Information and Interviews

On a weekly basis, each lender submitted a call-outcome report to the study team that

documented the outcomes of the customer recruitment calls. The call outcome report provided

the study team with data on the number of customers who were interested in learning more about

the study, the number of customers who were not interested in learning more about the study,

and the number of other results of the calls, such as incomplete conversations.

Interviews with lenders documented the implementation of study recruitment calls to customers,

including how well the call center teams answered questions about the study. We used this

information to describe how lenders identified and contacted study-eligible customers and how

this information was passed to the study team.

Eligibility Assessment

An eligibility assessment by the study team confirmed that each customer referred by participating

lenders met the eligibility requirements for study participation. Prior to administering the study’s

consent agreement to customers who were interested in the study, study interviewers verified that

the customer met the definition of a first-time homebuyer, had not previously participated in

homebuyer education or counseling services, had Internet and transportation access, and was

willing to complete homebuyer education and counseling services if referred by the study. We used

data from the eligibility assessment to describe the points at which referred customers screened out

of study eligibility.

Baseline Survey

All customers who agreed to participate in the study completed a baseline survey after they were

determined to be eligible for the study and completed the study’s consent agreement. The

baseline survey was conducted over the telephone using Computer-Assisted Telephone

Interviewing, or CATI, software. The baseline survey topics included questions on the stage in

the home purchase process, preparation for home purchase, financial capability, mortgage

knowledge, current housing status, budgeting and debts, and demographic characteristics. We

used these data to describe the study participants for this report and to measure the equivalency

of study participants assigned to different treatment arms.

Credit Bureau Data

Data provided to the study team by one of the national credit bureaus include the credit score of

each study participant and a few other pieces of information from the credit files. During the

enrollment period, the study team collected credit bureau data for every 2 months (for a total of

B- 1

13 credit bureau data pulls) to capture study participants’ baseline credit attributes. Collecting

credit bureau data every 2 months during the enrollment period ensured that we captured a given

study participant’s credit attributes 0 to 2 months prior to their enrollment in the study. In

addition to these enrollment period credit data pulls, we plan to request credit bureau data every

6 months during the follow-up period. Credit bureau data on housing outcomes and loan

performance from these follow-up pulls will provide outcome measures for the impact analyses

found in future reports. Note that all credit data pulls are soft pulls that are not recorded as a

credit inquiry or otherwise affect study participants’ credit records.

Counseling Agency Service Tracking Data

The service tracking data provide a detailed record of the homebuyer education and counseling

services provided to study participants. These data are the primary source of information on

treatment take-up, intensity, and completion. The data were used in this report as one of the

bases for the description of the study’s intervention, as well as the analysis of take-up of the

intervention.

Counseling Agency Site Visit Information

Data collected through the housing counseling agencies’ staff interviews documented the study’s

implementation procedures and activities conducted at each agency. In addition, these interviews

gathered information on homebuyer education and counseling services offered to study

participants at each agency. These data were used in this report as one of the bases for the

description of the study’s intervention.

Study Participant Focus Groups

During the final 5 months of the enrollment period, the study team conducted 14 focus groups

across four study sites. The focus groups explored participants’ progress toward home purchase

and their interaction with the participating housing counseling agencies or remote education and

counseling providers. Focus group participants included study participants assigned to treatment

groups who had and who had not completed homebuyer education and counseling services. This

report includes a chapter that summarizes the insights provided by the focus groups.

B- 2

Appendix C: Study Participant Recruitment and Enrollment

C- 1

Appendix D: HUD Letter to Potential Study Participants

D- 1

Appendix E: Study Brochure

E- 1

Appendix F: Study Participant Consent Agreement

F- 1

F- 2

F- 3

F- 4

Appendix G: Study Participant Eligibility Assessment

1.  So we can confirm you live in an eligible region, do you still live in the [insert] zip code?

1.  Yes [If CATI2=1, Go to 1d. All others go to Q2]

2.  No [Go to Q1a]

3.   Don’t Know/Refused [Go to ineligible statement, screen out Q1 zip code don’t

know/refused]

1a. Okay, can you please tell me in which state do you currently live in? [CATI: List only

these states in alphabetical order: AZ, CA, DC, DE, FL, GA, IL, IN, MA, MD, MI,

MN, MO, NC, NH, NJ, NY, OR, PA, TX, VA, WA, WI, WV]

1.  State selected [Go to Q1a1]

2.   State not on list [Go to ineligible statement, screen out Q1a state don’t

know/refused]

3.   Don’t Know/Refused [Go to 1b]

1a1. Thank you, please allow me a moment just to confirm that you live in an

eligible region. What is the name of the county you live in?

1.  County is in list [If CATI2=1, continue to 1b. All others go to Q2]

2.  County is not in list [Go to ineligible statement, screen out Q1a1

country not on list]

3.  Don’t Know/Refused [Go to 1b]

1b. Can you please tell me what your current zip code is?

[Enter 5-Digit Zip, Range 00041–98687]

99998 Don’t Know, 99999 Refused go to ineligible statement, screen out Q1b ZIP

don’t Know/refused]

1c. Thank you, please allow me a moment just to confirm that you live in an eligible

region.

Respondent Zip code: [Read in response from Q1b]

1.  Yes, zip is in list [Go to Q2, if sample variable CATI2 =1 then go to 1D]

2.  No, zip is not in list [Go to ineligible statement, screen out Q1b zip not in list]

1d. Please think about the total amount of income that you and any coborrowers received

in the last 12 months. Include income from all sources and think about the total

amount before any taxes or deductions are removed. Was this amount over or under

(Fill in AMI value)

1.  Over (AMI value)—(Screen out 1d—over income)

2.  Under or equal to (AMI value)

G- 1

3.  Don’t know/Refused—(Screen out 1d—don’t know/refused income)

Thank you for confirming that information. The next questions will be about home ownership.

2.  If you buy a home, will you be living in it as your primary residence? [If the property has

multiple units, select yes if the respondent will be living in any of the units.]

1.   Yes, it will be my primary residence [Go to 3]

2.   No, I will be renting it to others/investment property/other [Screenout q2 no, go to

ineligible statement]

3.  (Vol) Don’t know [Go to ineligible statement]

4.   (Vol) Refused [Go to ineligible statement]

3.

Have you ever owned a home before?

1.   Yes [Go to 3a]

2.   No [Go to 4]

3.   (Vol) Don’t know [Go to 3a]

4.   (Vol) Refused [Go to 3a]

3a. Have you owned a home at any time in the past 3 years?

1.   Yes [Go to 3b]

2.   No [Go to 4]

3.   (Vol) Don’t know [Go to 3b]

4.   (Vol) Refused [Go to 3b]

3b. Are you planning to purchase a home with another person who will be named on the

loan and share ownership and financial responsibility for the home you may buy?

1.

Yes [Ask 3c]

2.   No [Screenout Q3b no, go to ineligible statement]

3.   (Vol) Don’t know [Screenout Q3b don’t know, go to ineligible statement]

4.  (Vol) Refused [Screenout Q3b refused, go to ineligible statement]

3c. Has that person owned a home in the past three years?

1.   Yes [Screenout Q3c yes, go to ineligible statement]

2.   No [Screenout Q3c has eligible co-borrower, go to ineligible statement]

3.   (Vol) Don’t know [Screenout Q3c don’t know, go to ineligible statement]

4.   (Vol) Refused [Screenout Q3c refused, go to ineligible statement]

The next question asks about whether you have already completed a homebuyer education

course. This does not include any online searches or reading that you have done on your own.

Please listen carefully to our description of a homebuyer education course.

A homebuyer education course usually includes about 8 hours of educational instruction

provided in a group workshop or through an online course. Many homebuyer education courses

G- 2

also include a one-on-one counseling session with a certified housing counselor in person or over

the telephone.

4. Have you previously participated in a homebuyer education course prior to this study?

1.   Yes [Go to 4A]

2.   No [Go to 5]

3.   Don’t know [Go to 5]

4.   Refused [Go to ineligible statement]

4a. How much time did you spend in the homebuyer education course?

1.  30 minutes or less [Go to 5]

2.  More than 30 minutes [Go to ineligible statement]

3.  Don’t know—Probe: Was it more than 30 minutes? [Go to ineligible

statement]

4.  Refused [Go to ineligible statement]

5. Some mortgage loans and down payment assistance programs require applicants to complete a

homebuyer education course prior to receiving the loan. Aside from this study, have you

applied for a loan or down payment assistance program that will require you to complete a

homebuyer education course?

1.  Yes [Go to ineligible statement]

2.  No [Go to 6]

3.  Don’t know [Go to 6]

4.  Refused [Go to ineligible statement]

6.  As part of this study, you may be asked to review written educational materials. We offer

study materials in both English and Spanish. Are you more comfortable reading materials

written in English or in Spanish? [If yes to both English and Spanish, ask for their preference.]

1.   English [Go to 7]

2.   Spanish [Go to 7]

3.   No to both/other [Screenout Q6 no, go to ineligible statement]

4.   (Vol) Don’t know [Screenout Q6 don’t know, go to ineligible statement]

5.   (Vol) Refused [Screenout Q6 refused, go to ineligible statement]

7.  Do you have regular access to a computer and the internet to receive email and to review

online educational materials?

1.   Yes [Go to 8]

2.   No [Screenout Q7 no, go to ineligible statement]

3.   (Vol) Don’t know [Screenout Q7 don’t know, go to ineligible statement]

4.   (Vol) Refused [Screenout Q7 refused, go to ineligible statement]

G- 3

8. As part of this study, you may be asked to participate in homebuyer education and counseling

services at a local counseling agency. Do you have a car that you could use to travel to a

counseling agency in your area?

1.   Yes [Go to eligible statement, go to 8b]

2.   No [Go to 8a]

3.   Depends [Go to 8a]

4.   (Vol) Don’t know [Go to 8a]

5.   (Vol) Refused [Go to 8a]

8a. Do you have reliable access to transportation options to travel to and from a

counseling agency in your area? [IF NECESSARY: We won’t know the exact location

of the counseling agency until you are assigned to one of the three research groups

after this call. Please do your best to tell us whether you would be able to get to and

from most neighborhoods within 15 miles of where you live.]

1.   Yes [Go to 8b]

2.   No [Screenout Q8a no, go to ineligible statement]

3.   (Vol) Don’t know [Screenout Q8a don’t know, go to ineligible statement]

4.   (Vol) Refused [Screenout Q8a refused, go to ineligible statement]

8b. [If yes to 8 or 8a] The homebuyer education and counseling sessions offered through

the study together take about 6 to 10 hours to complete. You may be asked to

complete them either online and over the phone or by attending sessions at a local

agency in your area. If asked, would you be willing to complete these activities?

1.  Yes [Go to8d]

2.  No [Go to 8c]

3.   (Vol) Don’t know [Use prompt; if still don’t know, go to 8c]

4.   (Vol) Refused [Go to 8c]

[If don’t know, prompt: Homebuyer education and counseling provides

information useful to first-time homebuyers and to new homeowners. It includes a

one-on-one session with a counselor who can answer your specific questions.

Completing all of these services will take about 6 to 10 hours to complete. If

asked, would you be willing to complete these services?]

8c. What is the main reason that you are not interested in the homebuyer education and

counseling? Would you say that:

[Read list]

1.  6-10 hours is too much time [Screenout unwilling to complete services, go

to ineligible statement]

2.  You are too busy right now to complete any counseling [Screenout

unwilling to complete services, go to ineligible statement]

3.  You don’t want to have to drive to a local agency [Screenout unwilling to

complete services, go to 8e]

G- 4

4.  You are not interested in the information provided by homebuyer

education and counseling services [Screenout unwilling to complete

services, go to ineligible statement]

5.  Something else [Screenout unwilling to complete services, go to ineligible

statement]

6.  Don’t know [Screenout unwilling to complete services, go to ineligible

statement]

7.  Refused [Screenout unwilling to Complete Services, Go to Ineligible

statement]

8d. [IF 8b=1] We also want to know whether you would prefer to complete the

homebuyer education and counseling sessions [Randomize: a. in person at a housing

counseling agency in your area or b. remotely over the Internet and telephone.]

[Match randomization order: a. Completing the sessions in person at a local agency

means that you would be asked to attend a homebuyer workshop and a one-on-one

session with a housing counselor at a local agency in your area. b. Completing the

sessions remotely means that you would be asked to complete homebuyer education

over the Internet and a one-on-one session with a housing counselor over the

telephone.] If given the choice, would you prefer to complete the homebuyer

education and counseling [Match randomization order: a. in person or b. over the

Internet and telephone]?

1.  In person [Go to eligible statement]

2.  Online and telephone [Go to eligible statement]

3.  Refused [Go to ineligible statement]

[If  don’t know or  no preference, prompt: We would like you to choose an option even if you don’t have a strong preference. Would you rather complete

the homebuyer education and counseling services online and over the

telephone or in person at a local agency?]

8e. [IF 8c=3] I understand you would rather not complete the counseling services in

person. If you were given the choice and could complete the sessions remotely,

meaning you would be asked to complete homebuyer education over the Internet and

a one-on-one session with a housing counselor over the telephone, would you be

willing to complete these services?

1.  Yes [Go to eligible statement]

2.  No [Screenout unwilling to complete services, go to ineligible statement]

3.  Refused [Screenout unwilling to complete services, go to ineligible

statement]

G- 5

[If  don’t know or  no preference, prompt: Completing all of the services will still take between 6 and 10 hours but you would be able to do them at your

convenience. If asked, would you be willing to complete these services?]

ELIGIBLES CONCLUDING STATEMENT:

Based on your answers, you meet all the requirements to participate. Congratulations! Let

me tell you more about this important study!

INELIGIBLES CONCLUDING STATEMENT:

Thank you. Based on your answers, your situation does not meet all the requirements for

this study. But thank you for your interest. Goodbye.

G- 6

Appendix H: Study Participant Baseline Survey

The First-Time Homebuyer Education and Counseling Demonstration

Baseline Survey

I am required to tell you again that the questions in this survey have been reviewed by the Office of

Management and Budget (OMB) under the Paperwork Reduction Act of 1995 OMB control # 2528-0293,

expiration date 3/31/2016. (IF NECESSARY: 12 U.S.C. 1701z-2(g)). That means that the federal

government has reviewed and approved these survey questions.

We’d like to ask you some questions about yourself and if applicable, the people you might be buying a

house with. Your answers to all questions will be kept confidential to the full extent provided by the

Privacy Act of 1974 (IF NECESSARY: 5 U.S.C. 552a), Records Maintained on Individuals, unless that

information implies that you or someone else is at risk of being hurt. Your name will not be linked with your answers.

Answering the questions will take about 25 minutes. Please stop me at any time if you have questions.

Section A: Home and Loan Search

First, I would like to ask you a few questions about your home and loan search process.

A1.

Have you started the process of searching for a home to purchase?

1. Yes

2. No [Skip to A2b]

3. Already purchased

4. (Vol) Don’t know [Skip to A2]

5. (Vol) Refused [Skip to A2]

A1a. How many weeks ago did you start the search process?

AW: How many weeks did the housing search process last?

1. Gave response: ___________________ [# in weeks] [Range 1-97, round to the

nearest week]

2. (Vol) Don’t know

3. (Vol) Refused

A2.

Have you used a real estate agent to search for homes?

AW: Did you use a real estate agent to search for homes?

1. Yes

2. No

3. (Vol) Don’t know

4. (Vol) Refused

A2b.   Have you looked at home listings that show what properties are available? For example,

you might have searched listings online, in the newspaper or through a real estate agent.

H- 1

AW: Did you look at home listings that show what properties are available? For example, you

might have searched listings online, in the newspaper or through a real estate agent.

1. Yes

2. No

3. (Vol) Don’t know

4. (Vol) Refused

[If A1=No, skip to A4, else continue]

A3.

A3a.   Have you signed a purchase agreement for a home?

[If already purchased home, skip to A3d.]

1. Yes [Skip to A3d]

2. No

3. (Vol) Don’t know

4. (Vol) Refused

A3b.   Have you made an offer on a home?

1. Yes

2. No [Skip to A3f]

3. (Vol) Don’t know [Skip to A3f]

4. (Vol) Refused [Skip to A3f]

A3c.   If you’ve made more than one offer, think about your most recent offer. Was the offer

accepted, rejected, or is it still outstanding?

1. Accepted

2. Rejected

3. Outstanding

4. (Vol) Don’t know

5. (Vol) Refused

A3d.   A home inspection is an examination of the physical structures and systems of a house, to

identify any problems or needed repairs. Have you had the home inspected?

AW: A home inspection is an examination of the physical structures and systems of a

house, to identify any problems or needed repairs. Before you purchased your home, did

you have the home inspected?

1. Yes

2. No [Skip to A3g]

3. (Vol) Don’t know [Skip to A3g]

4. (Vol) Refused [Skip to A3g]

H- 2

A3e.   How did you find the home inspector?

1. Realtor

2. Lender

3. Friends/family

4. Online listings

5. Phone book/newspaper

6. Other [Specify]__________________________

7. (Vol) Don’t know

8. (Vol) Refused

A3f.

Have you visited any homes?

[If already purchased a home, skip to A3g.]

1. Yes

2. No [Skip to A4]

3. (Vol) Don’t know [Skip to A4]

4. (Vol) Refused [Skip to A4]

A3g.   How many homes have you visited?

AW: Before you purchased your home, how many homes did you visit?

1. Gave response: ___________________Homes [Range = 1-97]

2. (Vol) Don’t know

3. (Vol) Refused

A4.

For each of the following home features, please tell me whether the feature is very important,

important, somewhat important, or not at all important to you in selecting a home.

AW: For each of the following home features, please tell me whether the feature was very

important, important, somewhat important, or not at all important to you in selecting a home.

5.

3.

4. Not At

(Vol)

1. Very

2.

Somewhat

All

Don’t

6. (Vol)

Features

Important  Important

Important

Important  Know  Refused

A4a.  The number of

bedrooms and

bathrooms

A4b.  The total square

footage

A4c.  The yard or

landscaping

A4d.  The home’s repair

needs

A4e. The age of the home

A5.

For each of the following neighborhood features, please tell me whether the feature is very

important, important, somewhat important, or not at all important to you in selecting a home.

AW: For each of the following neighborhood features, please tell me whether the feature was

very important, important, somewhat important, or not at all important to you in selecting a home.

H- 3

4. Not At

5. (Vol)

1. Very

2.

3. Somewhat

All

Don’t

6. (Vol)

Features

Important

Important

Important

Important

Know

Refused

A5a.  School quality

A5b.  Safety

A5c.  Convenient

location for work

A5d.  Convenient

location for

leisure activities

A5e. Close to public

transportation

A5f. Neighborhood

appearance and

amenities

A6.

What is the most important home or neighborhood feature to you in selecting a home?

AW: What was the most important home or neighborhood feature to you in selecting a home?

1. The number of bedrooms and bathrooms

2. The total square footage

3. Age of the home

4. The yard or landscaping

5. The home’s repair needs

6. School quality

7. Safety

8. Convenient public transportation options

9. Convenient location for work

10. Convenient location for leisure activities

11. Neighborhood appearance and amenities

12. Other [Specify]_______________

13 (Vol) Don’t know

14. (Vol) Refused

A7.

Now think about [Insert name of lender]. Where did you hear about this lender?

1. This is where I bank

2. Friends/family

3. Online search

4. Real estate agent

5. Mortgage broker

6. Another lender

7. Advertisement/newspaper

8. Counseling agency

9. Local non-profit

10. Church

11. Other [Specify]____________

12 (Vol) Don’t know

13. (Vol) Refused

H- 4

A8.

Did you contact any other lenders or brokers for mortgage loan information?

1. Yes

2. No [Skip to A11]

3. (Vol) Don’t know

4. (Vol) Refused

A9.

Have you applied for prequalification or submitted a mortgage loan application with any lender or

broker? [Prompt: This includes both the lender that told you about the study and any other lenders

you have contacted.]

AW: Before purchasing your home, did you apply for prequalification or submit a mortgage loan

application with any lender or broker? [Prompt: This includes both the lender that told you about

the study and any other lenders you have contacted.]

1. Yes

2. No [Skip to B1 Intro]

3. (Vol) Don’t know [Skip to B1 Intro]

4. (VOL) Refused [Skip to B1 Intro]

A10.   Have any of these applications been denied?

AW: Were any of these applications denied?

1. Yes (At least one application has been denied) [Skip to B1 Intro]

2. No (None of the applications have been denied) [skip to B1 Intro]

3. (Vol) Don’t know [Skip to B1 Intro]

4. (Vol) Refused [Skip TO B1 Intro]

A11.   Prior to contacting this lender, did you search for information about the mortgage loans available through other lenders or brokers?

1. Yes

2. No

3. (Vol) Don’t know

4. (Vol) Refused

Section B: Preparation for Home Purchase

B1 Intro. Now, I would like to ask you a few questions about your preparation for home purchase.

AW: Now, I would like to ask you a few questions about your preparations for home purchase and your

current situation in your new house.

B1.

Now think about your plans for the future. If you purchase a home, how many years do you think

you will live in it?

AW: Now think about your plans for the future. How many years do you think you will live in the

home you have most recently purchased?

H- 5

(Prompt: If you don’t know, please give us your best guess.)

1. Less than 1 year

2. 1 to 5 years

3. 6 to 10 years

4. 11-20 years

5. More than 20 years

6. (Vol) Don’t know

7. (Vol) Refused

B2.

How much do you expect to pay for the home, in terms of total purchase price? If you haven’t

chosen a home, please give us your best guess of what the purchase price will be. [If respondent

is unsure, prompt: Your best estimate is fine.]

AW: When you were looking at homes, how much did you expect to pay for your home? [If

respondent is unsure, prompt: Your best estimate is fine.]

1. Gave response:___________________[Range: 1-999,999+]

2. Don’t know [Skip to B2b]

3. Refused [Skip to B3]

B2a. To confirm, you said ___________________. Did I get that right?

1.  Yes [Skip to B3]

2.  No [Go back to B2]

B2b. If you are unsure how much you expect to pay for your home in terms of purchase price,

will it be…

AW: If you were unsure how much you paid for your home in terms of purchase price, was it …

1. Less than $50,000

2. $50,000 to less than $100,000

3. $100,000 to less than $150,000

4. $150,000 to less than $200,000

5. $200,000 to less than $250,000

6. $250,000 to less than $300,000

7. $300,000 to less than $350,000

8. $350,000 to less than $400,000

9. $400,000 or greater

10. Don’t know

11. Refused

B3.

How much do you currently have available for a down payment? Include money from all

sources—including a co-borrower or any assistance you may receive. ___________________

[If respondent is unsure, prompt: Your best estimate is fine.]

AW: At the time of the purchase of your home, how much did you have available for a down

payment? Include money from all sources—including a co-borrower or any assistance you may

have received.

1. Gave response:______ [Range 0-999,999+]

2. (Vol) Don’t know [Skip to B3b]

3. (Vol) Refused [Skip to B4]

H- 6

B3a. To confirm, you said ___________________. Did I get that right?

1.  Yes [Skip to logic before B4]

2.  No [Go back to B3]

B3b. If you are unsure of how much you currently have available for a down payment, is it….

AW: If you are unsure of how much you had available for a down payment, was it….

1. Less than $5,000

2. $5,000 to less than $10,000

3. $10,000 to less than $15,000

4. $15,000 to less than $20,000

5. $20,000 to less than $30,000

6. $30,000 to less than $40,000

7. $40,000 or greater

8. (Vol) Don’t know

9. (Vol) Refused

[If B3 = 0 skip to B6]

B4.

Does this amount include any money from family or friends?

AW: Did this amount include any money from family or friends?

1. Yes

2. No

3. (Vol) Don’t know

4. (Vol) Refused

B5.

Does the amount include any money from a grant or down payment assistance program?

AW: Did the amount include any money from a grant or down payment assistance program?

1. Yes

2. No

3. (Vol) Don’t know

4. (Vol) Refused

B6.

How much are you willing to spend each month for your monthly housing expenses? This

amount should include all of your housing-related costs such as mortgage payment, property

taxes, homeowners insurance, and homeowner association dues. It should not include utilities like

water, trash, or electricity.

AW: When you were looking at houses, how much were you willing to spend each month for

your monthly housing expenses? This amount should include all of your housing-related costs

such as mortgage payment, property taxes, homeowners insurance, and homeowner association

dues. It should not include utilities like water, trash, or electricity.

1. Gave response:_____________________[Range: 0-9,999]

2. (Vol) Don’t know [Skip to C1 Intro]

3. (Vol) Refused [Skip to C1 Intro]

H- 7

B6a.

To confirm, you said ___________________. Did I get that right?

1.  Yes

2.  No [Go back to B6]

Section C: Financial Capability

C1 Intro: Next, I would like to ask you a few questions about your financial experiences.

C1.

For each of the following statements, please tell me whether you strongly disagree, disagree,

agree, or strongly agree with the statement.

5.

1.

4.

(Vol)

Strongly

2.

3.

Strongly

Don’t

6. (Vol)

Statements

Disagree

Disagree

Agree

Agree

Know

Refused

C1a.   I occasionally overdraw my

checking account.

C1b.  I occasionally don’t have

enough money to cover all

of my bills at the end of the

month.

C1c.   I usually have enough

savings set aside to cover

three months of expenses.

C1d.  I’ve tried to figure out how

much I need to save for

retirement.

C1e.   I never use payday lenders.

C1f.   I usually pay my credit card

balance in full to avoid

interest charges.

C1g.  I usually shop around when

choosing a new credit card.

C1h.  I know how to correct

inaccurate information in

my credit report.

C1i.   I trust banks with my

money.

C1j.     I expect home prices in

my area to decrease this

year.

H- 8

Section D: Mortgage Knowledge

D1 Intro: Now, I would like to ask you a few questions about different mortgage options. For each

statement I read, tell me whether it is a true statement or a false statement.

D1.

The interest rate on a mortgage loan is the same thing as the annual percentage rate (APR).

1. True

2. False

3. (Vol) Don’t know

4. (Vol) Refused

D2.

A home equity loan is secured by your house.

1. True

2. False

3. (Vol) Don’t know

4. (Vol) Refused

D3.

When you first get a mortgage loan, only a small portion of your monthly payment, if any,

reduces the amount you owe. Most of your monthly payment is applied to interest.

1. True

2. False

3. (Vol) Don’t know

4. (Vol) Refused

D4.

The loan officer is legally obligated to tell you if you qualify for a different loan product that has

a lower cost.

1. True

2. False

3. (Vol) Don’t know

4. (Vol) Refused

Section E: Current Housing Arrangements

E1 Intro: The following questions ask about your current living situation.

AW: The following questions ask about your living situation prior to the purchase of your house.

E1.

Do you rent the place where you live?

AW: During the time right before you purchased your home, did you rent the place where you

lived?

1. Yes

2. No [Skip to E1d]

3. (Vol) Don’t know [Skip to E1d]

4. (Vol) Refused [Skip to E1d]

H- 9

E1a.

How much do you spend each month on rent? (Note: If respondent is in a housing

situation where respondent is paying rent with someone, this question asks for the amount

of money that only the respondent pays each month for rent.)

AW: How much did you spend each month on rent? (Interviewer Note: If respondent was

in a housing situation where respondent was paying rent with someone, this question asks

for the amount of money that only the respondent paid each month for rent.)

1. Gave response:___________[Range: 1-9,999+]

2. (Vol) Don’t know (Skip to E1b)

3. (Vol) Refused (Skip to E1b)

E1aa. To confirm, you said ___________________. Did I get that right?

1.

Yes

2.

No [Go back to E1a]

E1b.

Utilities include things like gas, electricity, water, and trash removal. They don’t include

things like cable TV, internet, or telephone. How much do you spend each month on

utilities? Do not include any utilities that are included in your rent.

AW: Utilities include things like gas, electricity, water, and trash removal. They don’t

include things like cable TV, internet, or telephone. How much did you spend each

month on utilities in your living arrangement prior to purchasing your home? Do not

include any utilities that were included in your rent.

1. Gave response: _________________[Range: 0-9,999+]

2. (Vol) Don’t know (Skip to E1c)

3. (Vol) Refused (Skip to E1c)

E1ba. To confirm, you said ___________________. Did I get that right?

1.

Yes

2.

No[Go back to E1b]

E1c.

How many bedrooms does your rental unit have?

AW: How many bedrooms did your rental unit have?

1. One bedroom [Skip to E1e]

2. Two bedrooms [Skip to E1e]

3. Three bedrooms [Skip to E1e]

4. Four or more bedrooms [Skip to E1e]

5. Studio [Skip to E1e]

6. (Vol) Don’t know [Skip to E1e]

7. (Vol) Refused [Skip to E1e]

H- 10

E1d.

What is your current housing status? [Do not read list]

AW: What was your housing status prior to the purchase of your home?

1. Living at a family member’s house

2. Living at a friend’s house

3. A military setting (base, camp, deployment or combat zone)

4. Educational institution (residential college, dorm)

5. Hotel/motel

6. Subsidized housing

7. Homeless living situation (shelter)

8. Institutional facility (mental health, substance abuse)

9. Correctional facility/jail or detention center

10. Other

11. (Vol) Don’t know

12. (Vol) Refused

[Note: if respondents report status 8 or 9, clarify the respondent’s living situation. Respondents living in institutional facilities should be excluded from the study. IRB rules regarding special protections for

vulnerable populations apply.]

[Ask if E1d = 8 or 9]

E1da. To confirm, you currently live in a(n) [Insert answer from E1d]. Did I get that right?

AW: To confirm, you lived in a(n) [Insert answer from E1d]. Did I get that right?

1.  Yes [Terminate call. Disposition as screenout E1d]

2.  No [Go back to E1d]

E1e. Thinking in general about your current housing situation, how would you rate your level of

satisfaction? Would you say you are…?

AW: Thinking in general about your housing situation before you purchased your home, how would you

rate your level of satisfaction? Would you say you were…

1. Very satisfied with your current housing situation

2. Satisfied with your current housing situation

3. Unsatisfied with your current housing situation

4. Very unsatisfied with your current housing situation

5. (Vol) Don’t know

6. (Vol) Refused

E2.

How many people currently live with you, NOT including yourself?

AW: Before you purchased your home, how many people lived with you, NOT including

yourself?

1. Gave response: ___________________ [number of people, Range: 0-10+]

2. Don’t know

3. Refused

E3.

Do you currently own property either in the U.S. or in another country? Include properties like a

home, rental property, mobile home, land, or other real estate.

H- 11

AW: Other than the home you purchased, do you currently own property either in the U.S. or in

another country? Include properties like a home, rental property, mobile home, land, or other real

estate.

1. Yes

2. No [Skip to E4]

3. (Vol) Don’t know [Skip to E4]

4. (Vol) Refused [Skip to E4]

E3a.

Is the property in the United States?

1. Yes

2. No [Skip to E4]

3. (Vol) Don’t know [Skip to E4]

4. (Vol) Refused [Skip to E4]

E3b.

Is the property a home, mobile home, rental property, or vacant piece of land? [Select all

that apply. If more than one property, respondent should answer only for properties

located in the US]

1. Home

2. Mobile home

3. Rental

4. Vacant

5. Other [Specify]_____________

6. (Vol) Don’t know

7. (Vol) refused

E4. Have you ever previously lost a home or other property through foreclosure?

1. Yes

2. No [Go to F1 Intro]

3. (Vol) Don’t know [Go to F1 Intro]

4. (Vol) Refused [Go to F1 Intro]

E4a. What year did the foreclosure happen?

1. Gave response: ______________ (year, Range 1920-2013)

2. Don’t know

3. Refused

H- 12

Section F: Budgeting and Debts

F1 Intro: Next, I would like to ask you a few questions about different sources of income you may receive.

F1.

Please think about the total income you have available to pay your monthly mortgage payment

each month. If you expect to have co-borrowers on your loan, think about the total for yourself

and the co-borrowers.

AW: Please think about the total income you have available to pay your monthly mortgage

payment each month. If you have co-borrowers on your loan, think about the total for yourself

and the co-borrowers.

Thinking about the last year, does this income include:

1. Yes  2. No

3.

4.

(Vol)

(Vol)

Don’t

Refuse

Know

a.  Income from self-employment where you work

for yourself and not through an employer.

b.  Wages or salary from a job

c.  Rent or other income from an investment

property

d.  Interest, dividend, or other investment income

e.  Child support payments, alimony, or

maintenance payments

f.  Social Security retirement or disability benefits

g.  Other pensions or retirement income

h.  Public assistance or Earned Income Tax Credit

benefits

i.  Unemployment benefits

j.  Veterans’ benefits

k.  Other income

F2.

What is the total amount of income that you and any co-borrowers received in the last 12 months?

Include income from all sources and tell me the total amount before any taxes or deductions are

removed. [If respondent is unsure prompt: Your best estimate is fine.]

1. Gave response $ ______________________[Range: 0-999,999+]

2. (Vol) Don’t know [Skip to F2B]

3. (Vol) Refused [Skip to F4]

F2a. To confirm, you said ___________________. Did I get that right?

1.

Yes [Skip to F3]

2.

No [Go back to F2]

H- 13

F2b. If you are unsure of this total income that you and any co-borrowers received in the last 12

months, was it…….

1. Less than $10,000

2. $10,000 to less than $25,000

3. $25,000 to less than $40,000

4. $40,000 to less than $55,000

5. $55,000 to less than $70,000

6. $70,000 to less than $85,000

7. $85,000 to less than $100,000

8. $100,000 or greater

9. (Vol) Don’t know [Skip to F4]

10. (Vol) Refused [Skip to F4]

F3.

Does this amount include income from anyone other than yourself?

1. Yes

2. No [Skip to F4]

3. (Vol) Don’t know [Skip to F4]

4. (Vol) Refused [Skip to F4]

F3a.

Thinking only about your own income, what is the total amount of income you received

in the last 12 months? Tell me the total amount before any taxes or deductions are

removed. [If respondent is unsure prompt: Your best estimate is fine.] [CATI: F3a cannot

be greater than F2 or F2b]

1. Gave response $ ______________________[Range: 0-999,999+]

2. Don’t know [Skip to F3c]

3. Refused [Skip to F4]

F3b. To confirm, you said ___________________. Did I get that right?

1.

Yes [Skip to F4]

2.

No [Go back to F3a]

F3c.

If you are unsure of your total amount of income received in the last 12 months, was it….

1. Less than $10,000

2. $10,000 to less than $25,000

3. $25,000 to less than $40,000

4. $40,000 to less than $55,000

5. $55,000 to less than $70,000

6. $70,000 to less than $85,000

7. $85,000 to less than $100,000

8. $100,000 or greater

9. (Vol) Don’t know

10. (Vol) Refused

H- 14

F4.

A budget is a spending plan for your monthly household expenses. Do you have a

budget?

1. Yes

2. No [go to F7]

3. (Vol) Don’t know [go to F7]

4. (Vol) Refused [go to F7]

F5.

About how often do you compare the budget to your actual spending?

1. Often

2. Sometimes

3. Rarely

4. Never

5. (Vol) Don’t know

6. (Vol) Refused

F6.

Thinking back on the past year, about how often were you able to stick to your budget?

1. Often

2. Sometimes

3. Rarely

4. Never

5. (Vol) Don’t know

6. (Vol) Refused

F7.

Being short of money means that you brought in less money than you spent and had to do

something to get through the month, like using credit cards, taking money out of savings, or

borrowing money. Over the past year, how often were you short of money?

1. Often

2. Sometimes

3. Rarely

4. Never

5. (Vol) Don’t know

6. (Vol) Refused

F8.

Saving money means spending less than you earn, and putting the extra money aside for

retirement, education, or to build a financial cushion. About how often do you save money?

1. Often

2. Sometimes

3. Rarely

4. Never

5. (Vol) Don’t know

6. (Vol) Refused

H- 15

F9.

Do you currently have a checking account?

1. Yes

2. No (Skip to F10)

3. (Vol) Don’t know (Skip to F10)

4. (Vol) Refused (Skip to F10)

F9a. How much money do you currently have in checking accounts? Please round to the nearest

100. [Prompt: If you have more than one checking account, please tell us the total amount in

these accounts. Answer must end in 00]

1. Gave response______________[Range: 0-999,999+]

2. (Vol) Don’t know (Skip to F10)

3. (Vol) Refused (Skip to F10)

F9b. To confirm, you said ___________________. Did I get that right?

1.  Yes

2.  No [Go back to F9a]

F10.

Do you currently have a savings account?

1. Yes

2. No (Skip to F11)

3. (Vol) Don’t know (Skip to F11)

4. (Vol) Refused (Skip to F11)

F10a. How much money do you currently have in savings accounts? Please round to the nearest

100. [Prompt: If you have more than one savings account, please tell us the total amount in

these accounts. Answer must end in 00]

1. Gave response______________[RANGE: 0-999,999+]

2. (Vol) Don’t know (Skip to F11)

3. (Vol) Refused (Skip to F11)

F10b. To confirm, you said ___________________. Did I get that right?

1.

Yes

2.

No [Go back to F10a]

F11.

Do you currently have any retirement accounts, like 401(k) or 403(b) accounts, IRAs, or other

pension accounts?

1. Yes

2. No (Skip to F12)

3. (Vol) Don’t know (Skip to F12)

4. (Vol) Refused (Skip to F12)

H- 16

F11a. How much money do you currently have in such accounts?

1. Gave response_____________[Range: 0-999,999+]

2. (Vol) Don’t know (Skip to F12)

3. (Vol) Refused (Skip to F12)

F11b. To confirm, you said ___________________. Did I get that right?

1.

Yes

2.

No [Go back to F11a]

F12.

Aside from your savings accounts and retirement accounts, do you currently have any other

money market accounts, certificates of deposit, mutual funds, stocks, or brokerage accounts?

1. Yes

2. No (Skip to F13)

3. (Vol) Don’t know (Skip to F13)

4. (Vol) Refused (Skip to F13)

F12a. How much money do you currently have in such accounts?

1. Gave response______________[Range: 0-999,999+]

2. (Vol) Don’t know (Skip TO F13)

3. (Vol) Refused (Skip TO F13)

F12b. To confirm, you said ___________________. Did I get that right?

1.

Yes

2.

No [Go back to F12a]

F13.

Do you have any other source of savings that would be available if you lost your job or had a

financial emergency? For example, this might include savings at home or savings with others

who are keeping it safe.

1. Yes

2. No (Skip to F14)

3. (Vol) Don’t know (Skip to F14)

4. (Vol) Refused (Skip to F14)

F13a. About how much would be available?

1. Gave response_________________[Range 0-999,999+]

2. (Vol) Don’t know (Skip to F14)

3. (Vol) Refused (Skip to F14)

F13b. To confirm, you said ___________________. Did I get that right?

1.

Yes

2.

No [Go back to F13a]

H- 17

F14.

To confirm, your responses include a total of __________ in savings and investments. Does that

sound about right? [Insert sum of F9a + F10a + F11a + F12a + F13a]

1. Yes (Skip to F15)

2. No

3. (Vol) Don’t know (Skip to F15)

4. (Vol) Refused (Skip to F15)

F14a. What is the total amount across all of these accounts?

F15.

Now pretend that you have already purchased a home. If you started having financial problems

and could not pay all of your bills, which bill would you pay first?

AW: As a recent homeowner, if you started having financial problems and could not pay all of

your bills, which bill would you pay first?

1. Credit card

2. Utilities (gas, electricity, water, etc.)

3. Car payment

4. Mortgage

5. Student loan

6. Health insurance

7. Other [Specify_________________]

8. (Vol) Don’t know

9. (Vol) Refused

F16. Do you currently have health insurance coverage?

1. Yes

2. No

3. (Vol) Don’t know

4. (Vol) Refused

F17. Is there anyone else in your household—such as a spouse, child, or other dependent—who currently

does NOT have health insurance coverage?

1. Yes

2. No

3. (Vol) Don’t know

4. (Vol) Refused

H- 18

Section G: Learning and Planning Preferences

G1.

I now have some questions about your general preferences and experiences. For each of the

following statements, please tell me whether you strongly disagree, disagree, agree, or strongly

agree with the statement.

1.

4.

5. (Vol)

Strongly

2.

3.

Strongly

Don’t

6. (Vol)

Statements

Disagree  Disagree  Agree

Agree

Know

Refused

G1a.  As a student, I enjoyed

going to school.

G1b. I usually spend a lot of time

researching and planning

for large purchases

G1c. It is easy for me to stick to

and accomplish my goals

G1d.  I am pretty good at math

G2.

For the next question, please imagine that you will be getting a payment and have options for

when to receive the money.

G2a.   Would you rather get 40 dollars now or 50 dollars a month from now?

1. 40 dollars now

2. 50 dollars a month from now [Skip to H1 Intro]

3. (Vol) Don’t know

4. (Vol) Refused [Skip to H1 Intro]

G2b.   Would you rather get 40 dollars now or 80 dollars a month from now?

1. 40 dollars now

2. 80 dollars a month from now

3. (Vol) Don’t know

4. (Vol) Refused

Section H: Demographics

H1 Intro: Finally, I would like to ask a few questions about your personal characteristics.

H1.

To confirm for demographic purposes, what is your gender?

1. Male

2. Female

3. Transgender

4. (Vol) Refused

H- 19

H2.

Which of the following best describes your current marital status?

AW: At the time you purchased your home, which of the following best describes your marital

status?

1. Married

2. Living with an unmarried partner

3. Divorced

4. Separated

5. Widowed

6. Single never married

8. (Vol) Don’t know

9. (Vol) Refused

H3.

How many people, not counting yourself, would live with you if you bought a home?

AW: How many people, not counting yourself, live with you in your home?

1. Gave response: ________(people) Range = 0-10 [If zero, skip to H5]

2. (Vol) Don’t know [Skip to H5]

3. (Vol) Refused [Skip to H5]

H4.

How many of these people are under the age of 18?

1. Gave response: ________(people) = 0-10

2. (Vol) Don’t know

3. (Vol) Refused

H5.

Are you currently employed full time or part time? [If no, read codes 3-6. If self-employed or

hours vary, ask whether he/she would typically work more than 30 hours per week.]

AW: At the time you purchased your home, were you currently employed full time or part time?

1. Full-time employment (30+ hours per week)

2. Part-time employment (1-29 hours per week)

3. Unemployed and looking for work

4. Not working/Homemaker/Retired

5. Student

6. Other (Specify)_____

7. (Vol) Don’t know

8. (Vol) Refused

H6.

[If H3 minus H4 = 1-10] Of the other adults in your household that would live with you, how

many are not employed full time or part time?

AW: [IF H3 minus H4 = 1-10] Of the other adults in your household that live with you, how

many were not employed full time or part time before the purchase of your home?

1. Gave response: _____________ [Range: 0-10]

2. (Vol) Don’t know

3. (Vol) Refused

H- 20

H7.

Are you or any adult household members veterans of the U.S. Armed Services?

1. Yes

2. No

3. (Vol) Don’t know

4. (Vol) Refused

H8.

What is the highest level of education that you have completed?

1. Less than a high school diploma

2. High school diploma

3. Some college but no degree

4. 2 year degree

5. 4 year degree

6. Graduate/professional degree

7. (Vol) Don’t know

8. (Vol) Refused

H10.   Do you consider yourself to be of Hispanic or Latino origin?

1. Yes

2. No

3. (Vol) Don’t KNOW

4. (Vol) Refused

H11.   What race do you consider yourself to be? You may indicate more than one.

1. American Indian/Alaska Native

2. Asian

3. Black or African American

4. Native Hawaiian or Other Pacific Islander

5. White

6. Other race (Specify)__________

7. (Vol) Don’t know

8. (Vol) Refused

Section I: Contact Information

CI1. Thank you very much for your time. We are almost done. We will be sending you a check for $30

within the next four weeks. To make sure we send your check to the correct address, we would like to

confirm your home address, as well as a mailing address if it differs from your home one. This

information will be kept strictly confidential. May I please have/verify your full name and home address?

1.

Gave response

2.

(Vol) Don’t know

3.

(Vol) Refused

H- 21

CI1a. We would like to contact you for follow-up study activities in about a year as mentioned in the

consent process. May I please have/verify your full name and home address so we can mail you a

letter before we begin the next survey in about a year?

1.

Gave response

2.

(Vol) Do not contact me for follow-up surveys [Skip to CB1]

3.

(Vol) Don’t know [Skip TO C13]

4.

(Vol) Refused [Skip TO C13]

First Name ______________________________________ Middle Initial ________

Last Name ________________________________________

Suffix____________________________________

Address ____________________________________

City _________________________

State

Zip Code __________

CI1b. Is this address the same as your mailing address?

1.

Yes [Skip to CI3]

2.

No [Ask CI2]

CI2. May I please have your mailing address?

Address ____________________________________

City _________________________

State

Zip Code __________

CI3. May I please have a preferred phone number for contacting you in the future?

_______________________

1.  Gave response

2.  (Vol) Do not contact me for follow-up surveys [Skip to CB1]

3.  (Vol) Don’t know [Skip to C15]

4.  (Vol) No/Refused [Skip to C15]

CI3a. Is this a home, cell, or work number?

1.  Home [Skip to CI4]

2.  Cell [Skip to CI4]

3.  Work

H- 22

CI3b. Is there an extension associated with that phone number?

1. Gave response

2. No

3. (Vol) Don’t know

4. (Vol) Refused

CI4 May I please have an additional phone number for contacting you in the future?

1. Gave response

2. (Vol) Don’t know [Skip to C15]

3. (Vol) No/Refused [Skip to C15]

CI4a. Is this a home, cell, or work number?

1. Home [Skip to CI5]

2. Cell [Skip to CI5]

3. Work

CI4b. Is there an extension associated with that phone number?

1. Gave response

2. No

3. (Vol) Don’t know

4. (Vol) Refused

CI5. May I please have an email address

______________________________ [Check For Proper

Formatting (must include @, .com, .org, .net, etc.)]

CI6. As part of this study, we will be contacting you for follow-up study activities as mentioned in the consent process. Which of the following ways do you preferred to be contacted?

1. Preferred phone number provided

2. Email

3. Text message [If study participants select text message, please inform them that

standard text messaging rates apply.]

4. Other (Specify)_____________________________________

5. (Vol) Don’t know

6. (Vol) Refused

CI7. As part of this study, in approximately 12 months we will be conducting a follow-up telephone

survey. To ensure we will be able to get in touch with you, we would like to collect information for some friends or relatives who do not live with you and will know how to contact you in the future.

1. Gave response [Go to CI7a]

2. (Vol) Don’t know [Go to CI7r]

3. (Vol) Refused [Go to CI7r]

H- 23

CI7r. I understand, the information we collect will only be used to contact your friends or relatives if we are having trouble reaching you in the future. Your experiences are unique and cannot be replaced by

other homebuyers and we want to be sure we include you in this study. Could I please collect information for friends or relatives who know how to contact you in the future?

1. Gave response [Go to CI7a]

2. (Vol) Don’t know [Go to CB1]

3. (Vol) Refused [Go to CB1]

Contact #1

CI7a. First and Last Name of additional contact

CI7b. Additional contact’s relationship to you

CI7c. Email of additional contact [Check for proper formatting (must include @, .com, .org, .net,

etc.)]

CI7d. Address of additional contact _______________________________________________

CI7e. Preferred phone number of additional contact

CI7f. Phone number type: [home/cell/work]__________________________________________

CI7g. Additional phone number of additional contact

CI7h. Phone number type: [home/cell/work]

Contact #2

CI8a. Name of additional contact __________________________________________________

CI8b. Additional contact’s relationship to you

CI8c. Email of additional contact [Check for proper formatting (must include @, .com, .org, .net,

etc.)]

CI8d. Address of additional contact

CI8e. Preferred phone number of additional contact

CI8f. Phone number type: [home/cell/work]

CI8g. Additional phone number of additional contact

CI8h. Phone number type: [home/cell/work]

H- 24

Contact #3

CI9a. Name of additional contact

CI9b. Additional contact’s relationship to you

CI9c. Email of additional contact [Check for proper formatting (must include @, .com, .org, .net,

etc.)]

CI9d. Address of additional contact

CI9e. Preferred phone number of additional contact

CI9f. Phone number type: [home/cell/work]

CI9g. Additional phone number of additional contact

CI9h. Phone number type: [home/cell/work]

Now I just have a few more questions and we are finished.

CB1. How many other people do you plan to buy your home with? Here we are talking about people who

will share ownership and financial responsibility for the home you may buy. In other words, these are

individuals who will also be named on the home loan. They may or may not currently live with you. We

will refer to these individuals as “co-borrowers.”

AW: How many other people did you buy your home with? Here we are talking about people who will

share ownership and financial responsibility for the home you may buy. In other words, these are

individuals who will also be named on the home loan. They may or may not currently live with you. We

will refer to these individuals as “co-borrowers.”

1.  Gave response: Number of co-borrowers ______

Range: 0-3 [If zero skip to SS1, else continue]

2. (Vol) Don’t know yet [Go TO SS1]

3. (Vol) Refused [Go TO SS1]

CB2. What is the first and last name of each co-borrower you plan to purchase a home with and what is

his/her relationship to you? [Collect co-borrower information for as many listed in CB1.]

AW: What is the first and last name of each co-borrower you purchased a home with and what is his/her

relationship to you? [Collect co-borrower information for as many listed in CB1.]

1.  Co-borrower #1: First Name: _______________Last Name: ___________________

Suffix_____________________________

Relationship: Spouse/Domestic Partner/Other Relative/Other Non-Relative/Birth Child/Other

2.  Co-borrower #2: First Name: _______________

Last Name: ___________________

Suffix_____________________________

Relationship: Spouse/Domestic Partner/Other Relative/Other Non-Relative/Birth Child/Other

3.  Co-borrower #3: First Name: _______________

Last Name: ___________________

Suffix_____________________________

Relationship: Spouse/Domestic Partner/Other Relative/Other Non-Relative/Birth Child/Other

H- 25

Appendix I: Welcome to the Study Materials

Appendix I includes:

-  Control group random assignment notification letter

-  Remote group random assignment notification letter

-  Choice group—remote preference random assignment notification letter

-  Choice group—in-person preference random assignment notification letter

-  Step-by-step instructions for completing eHome America’s online homebuyer

education curriculum

-  Handout for local counseling agencies participating in the study (example study site:

Boston)

I-  1

I-  2

I-  3

I-  4

I-  5

I-  6

I-  7

I-  8

I-  9

I- 10

I- 11

I- 12

I- 13

I- 14

I- 15

Appendix J: Focus Group Recruitment and Implementation

A total of 64 study participants took part in 14 focus groups. The focus groups were arranged

according to study participant treatment group and completion of services. In Atlanta, Chicago,

and Dallas, the four groups consisted of—

•  Study participants who were assigned to and completed remote services.

•  Study participants who were assigned to remote services but did not complete them.

•  Study participants who were assigned to and completed in-person services.

•  Study participants who were assigned to in-person services but did not complete them.

In Boston, the study team hosted two focus groups—

•  Study participants who completed remote services or in-person services.

•  Study participants who were assigned to either in-person or remote services but did not

complete them.

The study team originally had planned to conduct 12 focus groups in three cities. When the

number of study participants who attended the groups was lower than expected, a fourth city

(Boston) was added, with two additional groups.

After the selection of focus group locations, lists of potential focus group participants were

generated for each location, with sufficient numbers to fill slots of 8 to 12 people per group.

Once the study team generated lists of potential recruits for focus group participants, a letter was

sent to notify them of the opportunity to participate in the focus group and to explain its purpose.

The letter included information about the $60 incentive that would be offered to cover the

participants’ time and transportation.

After several days, the study team called the study participant to assess his or her interest in and

eligibility for participating in a focus group. After confirming a participant’s interest in joining

the focus group, the study team administered a brief eligibility and assignment assessment.

The study team then assigned participants to focus groups and provided them the date, time, and

location for their assigned group. A follow-up email provided the same information, as did a

reminder telephone call a few days prior to the focus group.

Members of the study team conducted the focus groups, and they were recorded for transcription.

The study team read transcripts to identify an initial set of themes, organized based on the

study’s research questions. The study team translated these themes into a codebook in NVivo

software, a program designed to identify and catalogue each time a theme is mentioned. The

study team then conducted analysis of the focus groups using NVivo.

J-  1

Appendix K: Works Cited

Advisory Council for the National Industry Standards for Homeownership Education and

Counseling (Advisory Council). 2013.  National Industry Standards for Homeownership

Education and Counseling: Guidelines and Code of Ethics Reference Guide. Washington, DC:

Advisory Council for the National Industry Standards for Homeownership Education and

Counseling .  http://www.homeownershipstandards.com/Uploads/NISStdsGuidelines_LR_North

Capitol_FINAL.pdf.

Agarwal, Sumit, Gene Amromin, Itzhak Ben-David, Souphala Chomsisengphet, and Douglas D.

Evanoff. 2010. “Learning To Cope: Voluntary Financial Education and Loan Performance

During a Housing Crisis,”  American Economic Review 100 (2): 495–500.

Agarwal, Sumit, Gene Amromin, Itzhak Ben-David, Souphala Chomsisengphet, and Douglas

Evanoff. 2014a. The Effectiveness of Mandatory Mortgage Counseling: Can One Dissuade

Borrowers From Choosing Risky Mortgages? NBER Working Paper No. 19920. Cambridge,

MA: National Bureau of Economic Research.

———. 2014b. “Predatory Lending and the Subprime Crisis,”  Journal of Financial Economics

113 (1): 29–53. DOI: 10.1016/j.jfineco.2014.02.008.

Archer, Wayne, Stan Fitterman, and Marc T. Smith. 2009. “Real Estate Brokerage, Homebuyer

Training, and Homeownership Sustainability for Housing Assistance Programs,”  Family and

Consumer Sciences Research Journal 37 (4): 442–455.

Avila, Gabriela, Hoa Nguyen, and Peter Zorn. 2013. The Benefits of Pre-Purchase

Homeownership Counseling. Working paper.

http://www.freddiemac.com/news/blog/pdf/benefits_of_pre_purchase.pdf.

Barron, John, and Michael E. Staten. 2012. Is Technology-Enhanced Credit Counseling as

Effective as In-Person Delivery? Working Paper No. 2012-WP-05. Terre Haute, IN: Networks

Financial Institute, Indiana State University.

http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2088917.

Belsky, Eric S., Christopher E. Herbert, and Jennifer H. Molinksy, eds. 2014.  Balancing Access,

Affordability, and Risk After the Housing Crisis.  Cambridge, MA: Joint Center for Housing

Studies of Harvard University.

Birkenmaier, Julie, and Sabrina W. Tyuse. 2005. “Does Homeownership Education and

Counseling (HEC) Help Credit Scores?”  Journal of Social Service Research 32 (2): 81–103.

Brown, Scott. 2015. “The Influence of Homebuyer Education on Default and Foreclosure Risk:

A Natural Experiment,”  Journal of Policy Analysis and Management 35 (1): 145–172.

Carswell, Andrew T. 2009. “Does Housing Counseling Change Consumer Financial Behaviors?

Evidence From Philadelphia,”  Journal of Family and Economic Issues 30 (4): 339–356.

Collins, J. Michael, and Collin O’Rourke. 2011. Homeownership Education and Counseling: Do

We Know What Works?   Research Institute for Housing America Research Paper No. 1102.

http://ssrn.com/abstract=1823429.

eHome America. n.d. “America’s Premier Online Homebuyer Education.”

http://www.firsttimehomebuyerstudy.com/.

K- 1

Fannie Mae. 2016. “Selling Guide: Fannie Mae Single Family.”

https://www.fanniemae.com/content/guide/selling/b3/5.1/01.html.

Federal Housing Finance Agency (FHFA). n.d. “FHFA Housing Price Index Adjusted for

Inflation.” Data retrieved from http://research.stlouisfed.org.

Federal Reserve Bank of New York. n.d. “FAQs: MBS Purchase Program.”

https://www.newyorkfed.org/markets/mbs_faq.html.

Freddie Mac. n.d. “30-Year Fixed Rate Mortgage Average in the United States.” Data retrieved

from research.stlouisfed.org.

Glaeser, Edward L., and Jesse M. Shapiro. 2003. “The Benefits of the Home Mortgage Interest

Deduction.”  http://www.nber.org/chapters/c11534.pdf.

Goodman, Laurie, Ellen Seidman, Jim Parrott, Sheryl Pardo, Jun Zhu, Wei Li, Bing Bai, Karan

Kaul, Maia Woluchem, Alyssa Webb, and Alison Rincon. 2016.  Housing Finance at a Glance:

A Monthly Chartbook: March 2016.  Washington, DC: Urban Institute.

Goodman, Laurie, Ellen Seidman, Jim Parrott, Jun Zhu, Wei Li, Bing Bai, Pamela Lee, Taz

George, Maia Woluchem, and Alison Rincon. 2014.  Housing Finance at a Glance: A Monthly

Chartbook: April 2014.  Washington, DC: Urban Institute.

Gubits, Daniel, Brooke Spellman, Lauren Dunton, Scott Brown, and Michelle Wood. 2013.

Family Options Study: Interim Report. Prepared for the U.S. Department of Housing and Urban

Development, Office of Policy Development and Research. Cambridge, MA: Abt Associates, in

partnership with Vanderbilt University.

Hancock, Diana, and Wayne Passmore. 2011. “Did the Federal Reserve’s MBS Purchase

Program Lower Mortgage Rates?”  Journal of Monetary Economics  58 (5): 498–514.

Hart Research Associates. 2014.  How Housing Matters: The Housing Crisis Continues To Loom

Large in the Experiences and Attitudes of the American Public.  Chicago: MacArthur Foundation.

https://www.macfound.org/media/files/How_Housing_Matters_2014_FINAL_REPORT.pdf.

Hartarska, Valentina, and Claudio Gonzalez-Vega. 2005. “Credit Counseling and Mortgage

Termination by Low-Income Households,”  The Journal of Real Estate Finance and Economics

30 (3): 227–243.

———. 2006. “Evidence on the Effect of Credit Counseling on Mortgage Loan Default by Low-

Income,”  Journal of Housing Economics 15 (1): 63–79.

Herbert, Christopher E., Daniel T. McCue, and Rocio Sanchez-Moyano. 2013. Is

Homeownership Still an Effective Means of Building Wealth for Low-Income and Minority

Households? (Was It Ever?) Working Paper No. HBTL-06. Cambridge, MA: Joint Center for

Housing Studies of Harvard University.

Hirad, Abdighani, and Peter Zorn. 2002. “Pre-purchase Homeownership Counseling: A Little

Knowledge Is a Good Thing.” In  Low-Income Homeownership: Examining the Unexamined

Goal, edited by Nicolas P. Retsinas and Eric S. Belsky. Washington, DC: Brookings Institution

Press: 146–174.

K- 2

Isaacs, Julia. 2012.  The Ongoing Impact of Foreclosures on Children.  Social Genome Project

Research, No. 36. Washington, DC: The Brookings Institution.

http://www.brookings.edu/~/media/research/files/papers/2012/4/18-foreclosures-children-

isaacs/0418_foreclosures_children_isaacs.pdf.

Joint Center for Housing Studies of Harvard University (JCHS). 2015.  America’s Rental Housing:

Expanding Options for Diverse and Growing Demand.  Cambridge, MA: Joint Center for Housing

Studies of Harvard University.

http://www.jchs.harvard.edu/sites/jchs.harvard.edu/files/americas_rental_housing_2015_web.pdf.

Kingsley, G. Thomas, Robin Smith, and David Price. 2009.  The Impacts of Foreclosures on

Families and Communities. Washington, DC: Urban Institute.

Li, Wei, and Laurie Goodman. 2015.  Americans’ Debt Styles by Age and Over Time.

Washington, DC: Urban Institute.

———. 2016.  Comparing Credit Profiles of American Renters and Owners. Washington, DC:

Urban Institute.

Mayer, Neil S., and Kenneth Temkin. 2013.  Pre-Purchase Counseling Impacts on Mortgage

Performance: Empirical Analysis of NeighborWorks America’s Experience.  Washington, DC:

NeighborWorks America. http://neighborworks.issuelab.org/resource/experian_report_2012.

National Association of Home Builders (NAHB). 2013. “What Home Buyers Really Want.”

http://www.nahb.org/en/research/housing-economics/special-studies/what-home-buyers-want-

2013.aspx.

National Association of Realtors®. 2014. Median Sales Price of Existing Homes©

[HOSMEDUSM052N] data retrieved from FRED, Federal Reserve Bank of St. Louis, May 18.

https://research.stlouisfed.org/fred2/series/HOSMEDUSM052N.

NeighborWorks America. 2010.  Realizing the American Dream: A Manual for Homebuyers,

4th ed. Washington, DC: NeighborWorks America.

Pradhan, Archana. 2016. “Credit Availability Trends: Underwriting Cautious but Loosening

Slightly.” Credit Availability Trends.  https://www.corelogic.com/blog/authors/archana-

pradhan/2016/03/credit-availability-trends.aspx.

Quercia, Roberto, and Jonathan Spader. 2008. “Does Homeownership Counseling Affect the

Prepayment and Default Behavior of Affordable Mortgage Borrowers?”  Journal of Policy

Analysis and Management 27 (2): 304–325.

Reid, Carolina. 2013. To Buy or Not To Buy? Understanding Tenure Preferences and the

Decision-Making Processes of Lower-Income Households .  Working Paper No. HBTL-14.

Cambridge, MA: Joint Center for Housing Studies of Harvard University.

http://www.jchs.harvard.edu/sites/jchs.harvard.edu/files/hbtl-14.pdf.

Rohe, William M., and Mark Lindblad. 2013. Reexamining the Social Benefits of

Homeownership After the Housing Crisis .  Working Paper No. HBTL-04. Cambridge, MA: Joint

Center for Housing Studies of Harvard University.

http://www.jchs.harvard.edu/sites/jchs.harvard.edu/files/hbtl-04.pdf.

Shelton, Gladys G., and Octavia L. Hill. 1995. “First-Time Homebuyers Programs as an Impetus

for Change in Budget Behavior,”  Journal of Financial Counseling and Planning 6: 83–91.

K- 3

Smith, Marvin M., Daniel Hochberg, and William H. Greene. 2014.  The Effectiveness of Pre-

Purchase Homeownership Counseling and Financial Management Skills.  Philadelphia, PA:

Federal Reserve Bank of Philadelphia.  https://www.philadelphiafed.org/community-

development/homeownership-counseling-study/.

Taylor, Heather, and Jing Fu. 2015. “Characteristics of Home Buyers.”  Housing Economics

Special Studies.

Theodos, Brett, Margaret Simms, Mark Treskon, Christina Stacy, Rachel Brash, Dina Emam,

Rebecca Daniels, and Juan Collazos. 2015.  An Evaluation of the Impacts and Implementation

Approaches of Financial Coaching Programs.  Washington, DC: Urban Institute.

http://www.urban.org/sites/default/files/alfresco/publication-pdfs/2000448-An-Evaluation-of-

the-Impacts-and-Implementation-Approaches-of-Financial-Coaching-Programs.pdf.

Tsai, Alexander C. 2015. “Home Foreclosure, Health, and Mental Health: A Systematic Review

of Individual, Aggregate, and Contextual Associations,”  PLoS ONE 10 (4): e0123182.

DOI:10.1371/journal.pone.0123182. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC4388711/.

Turnham, Jennifer, and Anna Jefferson. 2012.  Pre-Purchase Counseling Outcome Study:

Research Brief Housing Counseling Outcome Evaluation.  Washington, DC: U.S. Department of

Housing and Urban Development.

https://www.huduser.gov/publications/pdf/pre_purchase_counseling.pdf.

U.S. Bureau of the Census. n.d. “Monthly Supply of Houses in the United States.” Data retrieved

from http://research.stlouisfed.org.

U.S. Bureau of Labor Statistics. n.d. “Current Population Survey, Unemployment Rate by

Educational Attainment, 25 to 34 years.” Data retrieved from http://research.stlouisfed.org.

U.S. Department of Housing and Urban Development (HUD). 2014  Quarterly Report to

Congress on FHA Single-Family Mutual Mortgage Insurance Fund Programs. FY 2014 Q1.

Washington, DC: U.S. Department of Housing and Urban Development.

———. 2015. Quarterly Report to Congress on FHA Single-Family Mutual Mortgage Insurance

Fund Programs. FY 2015 Q1. Washington, DC: U.S. Department of Housing and Urban

Development.

K- 4

U.S. Department of Housing and Urban Development

Office of Policy Development and Research

Washington, DC 20410-6000

January 2017

Document Outline

- Cover

- Acknowledgments

- Disclaimer

- Foreword

- Contents

- List of Exhibits

- Executive Summary

- Experimental Evaluation Design

- The Intervention

- Baseline Characteristics and Representativeness of the Sample

- Take-up of Homebuyer Education and Counseling Services

- Conclusion

- 1. Introduction

- Background

- Study Overview

- Data Sources

- Study Timeline

- Report Objectives

- Organization of This Report

- 2. Research Questions and Evaluation Design

- Research Questions and Study Outcomes

- Intervention Logic

- Experimental Evaluation Design

- Initial Study Design: Control Plus Remote and In-Person Treatment Groups

- Modified Design: Control Group Plus Remote and Choice Treatment Groups

- Impact Analysis

- 3. The Intervention: In-Person and Remote Homebuyer Education and Counseling

- National Industry Standards for Homeownership Education and Counseling

- In-Person Homebuyer Education and Counseling Services

- Agency Selection and Recruitment

- In-Person Housing Counseling Agencies

- In-Person Homebuyer Education Workshops

- In-Person Homebuyer Counseling

- Remote Homebuyer Education and Counseling Services

- Agency Selection and Recruitment

- Online Homebuyer Education Through eHome America

- Telephone Homebuyer Counseling Through ClearPoint

- The Study’s Training and Monitoring of Agencies

- Comparison of In-Person and Remote Services

- 4. Participant Recruitment, Enrollment, and Random Assignment

- Study Participant Recruitment

- Identification and Recruitment of Study-Eligible Customers

- Step 1: Lenders Identify Study-Eligible Customers

- Step 2: Lenders Mail Introductory Letters to Study-Eligible Customers

- Step 3: Lenders Call Study-Eligible Customers

- Step 4: Lenders Provide Contact Information on Customers to the Study Team

- Study Participant Enrollment

- Step 1: Mailing a Preenrollment Packet

- Step 2: Verifying Customers’ Identities

- Step 3: Conducting the Eligibility Assessment

- Questions Added During Enrollment

- Questions Screening out Customers

- Step 4: Collecting Informed Consent

- Step 5: Administering the Baseline Survey

- Random Assignment

- Process

- Materials

- Compensation

- 5. Baseline Characteristics and Representativeness of the Sample

- The Study Sample at Baseline

- Sociodemographic Characteristics and Stage in the Homebuyer Process

- Financial Capability

- Housing Arrangements, Preferences, and Expectations

- Baseline Balance Testing

- External Validity of the Study’s Sample

- External Validity and Housing and Credit Market Conditions

- Employment Trends

- External Validity and the Study Sample

- Comparison With Renters

- Comparison With First-Time Homeowners

- Comparison With the Population of Pre-purchase Homebuyer Education and Counseling Clients

- 6. Take-up Rates and Service Tracking Data

- Treatment Group Take-up Rates

- Intensity of Education and Counseling Service Received

- Duration and Completion of Services

- Homebuyer Education

- Homebuyer Counseling

- Time to Complete Services

- Action Items and Goals Set for Clients of Counseling Sessions

- Encouraging Study Participants To Take Up Homebuyer Education and Counseling Services

- Incentive Payments for Initiating and Completing Services

- Outreach to Study Participants

- Outreach 1: Random Assignment Referral Calls

- Outreach 2: Post–Random Assignment Outreach

- Outreach 3: Outreach by Housing Counseling Agencies

- In-Person Housing Counseling Agencies

- Remote Housing Counseling Agencies

- Outreach 4: Post–Housing Counseling Agency Outreach

- Outreach 5: Long-Term Outreach

- 7. Focus Groups

- Prior Knowledge About Homebuyer Education and Counseling

- Homebuyer Education and Counseling

- Content of Homebuyer Education

- In-Person Homebuyer Education Workshops

- Online Homebuyer Education

- Experiences With Homebuyer Education

- Content of Homebuyer Counseling

- In-Person Counseling

- Telephone Counseling

- Experiences With Homebuyer Counseling

- Obstacles and Challenges to Completing Homebuyer Education and Counseling

- In-Person Services

- Scheduling Experiences and Preferences

- Distance to a Local Agency

- Cancelled Sessions

- Agency Language Options

- Remote Services

- Preferences Expressed by Participants

- Why Face to Face?

- Why Remote?

- Benefits of Services and Saving Money

- Benefits of Services

- Saving Money

- Dissemination of Information

- When Should Information Be Provided to Homebuyers?

- Who Should Provide Information About Homebuyer Education and Counseling to Homebuyers?

- How Should Information Be Provided to Homebuyers?

- Experience of Study Enrollment

- Study Enrollment Procedures

- Affiliation With the U.S. Department of Housing and Urban Development

- Perceived Benefits of Participation

- Key Findings From the Focus Groups

- 8. Summary and Next Steps

- Summary

- Next Steps

- Appendix A: Previous Studies of Pre-purchase Homebuyer Education and Counseling

- Appendix B: Data Sources

- Lender Referral Information and Interviews

- Eligibility Assessment

- Baseline Survey

- Credit Bureau Data

- Counseling Agency Service Tracking Data

- Counseling Agency Site Visit Information

- Study Participant Focus Groups

- Appendix C: Study Participant Recruitment and Enrollment

- Appendix D: HUD Letter to Potential Study Participants

- Appendix E: Study Brochure

- Appendix F: Study Participant Consent Agreement

- Appendix G: Study Participant Eligibility Assessment

- Appendix H: Study Participant Baseline Survey

- Appendix I: Welcome to the Study Materials

- Appendix J: Focus Group Recruitment and Implementation

- Appendix K: Works Cited

- Back cover

Table of Contents

Cover

Acknowledgments

Disclaimer

Foreword

Contents

List of Exhibits

Executive Summary

Experimental Evaluation Design

The Intervention

Baseline Characteristics and Representativeness of the Sample

Take-up of Homebuyer Education and Counseling Services

Conclusion

1. Introduction

Background

Study Overview

Data Sources

Study Timeline

Report Objectives

Organization of This Report

2. Research Questions and Evaluation Design

Research Questions and Study Outcomes

Intervention Logic

Experimental Evaluation Design

Initial Study Design: Control Plus Remote and In-Person Treatment Groups

Modified Design: Control Group Plus Remote and Choice Treatment Groups

Impact Analysis

3. The Intervention: In-Person and Remote Homebuyer Education and Counseling

National Industry Standards for Homeownership Education and Counseling

In-Person Homebuyer Education and Counseling Services

Agency Selection and Recruitment

In-Person Housing Counseling Agencies

In-Person Homebuyer Education Workshops

In-Person Homebuyer Counseling

Remote Homebuyer Education and Counseling Services

Agency Selection and Recruitment

Online Homebuyer Education Through eHome America

Telephone Homebuyer Counseling Through ClearPoint

The Study’s Training and Monitoring of Agencies

Comparison of In-Person and Remote Services

4. Participant Recruitment, Enrollment, and Random Assignment

Study Participant Recruitment

Identification and Recruitment of Study-Eligible Customers

Step 1: Lenders Identify Study-Eligible Customers

Step 2: Lenders Mail Introductory Letters to Study-Eligible Customers

Step 3: Lenders Call Study-Eligible Customers

Step 4: Lenders Provide Contact Information on Customers to the Study Team

Study Participant Enrollment

Step 1: Mailing a Preenrollment Packet

Step 2: Verifying Customers’ Identities

Step 3: Conducting the Eligibility Assessment

Questions Added During Enrollment

Questions Screening out Customers

Step 4: Collecting Informed Consent

Step 5: Administering the Baseline Survey

Random Assignment

Process

Materials

Compensation

5. Baseline Characteristics and Representativeness of the Sample

The Study Sample at Baseline

Sociodemographic Characteristics and Stage in the Homebuyer Process

Financial Capability

Housing Arrangements, Preferences, and Expectations

Baseline Balance Testing

External Validity of the Study’s Sample

External Validity and Housing and Credit Market Conditions

Employment Trends

External Validity and the Study Sample

Comparison With Renters

Comparison With First-Time Homeowners

Comparison With the Population of Pre-purchase Homebuyer Education and Counseling Clients

6. Take-up Rates and Service Tracking Data

Treatment Group Take-up Rates

Intensity of Education and Counseling Service Received

Duration and Completion of Services

Homebuyer Education

Homebuyer Counseling

Time to Complete Services

Action Items and Goals Set for Clients of Counseling Sessions

Encouraging Study Participants To Take Up Homebuyer Education and Counseling Services

Incentive Payments for Initiating and Completing Services

Outreach to Study Participants

Outreach 1: Random Assignment Referral Calls

Outreach 2: Post–Random Assignment Outreach

Outreach 3: Outreach by Housing Counseling Agencies

In-Person Housing Counseling Agencies

Remote Housing Counseling Agencies

Outreach 4: Post–Housing Counseling Agency Outreach

Outreach 5: Long-Term Outreach

7. Focus Groups

Prior Knowledge About Homebuyer Education and Counseling

Homebuyer Education and Counseling

Content of Homebuyer Education

In-Person Homebuyer Education Workshops

Online Homebuyer Education

Experiences With Homebuyer Education

Content of Homebuyer Counseling

In-Person Counseling

Telephone Counseling

Experiences With Homebuyer Counseling

Obstacles and Challenges to Completing Homebuyer Education and Counseling

In-Person Services

Scheduling Experiences and Preferences

Distance to a Local Agency

Cancelled Sessions

Agency Language Options

Remote Services

Preferences Expressed by Participants

Why Face to Face?

Why Remote?

Benefits of Services and Saving Money

Benefits of Services

Saving Money

Dissemination of Information

When Should Information Be Provided to Homebuyers?

Who Should Provide Information About Homebuyer Education and Counseling to Homebuyers?

How Should Information Be Provided to Homebuyers?

Experience of Study Enrollment

Study Enrollment Procedures

Affiliation With the U.S. Department of Housing and Urban Development

Perceived Benefits of Participation

Key Findings From the Focus Groups

8. Summary and Next Steps

Summary

Next Steps

Appendix A: Previous Studies of Pre-purchase Homebuyer Education and Counseling

Appendix B: Data Sources

Lender Referral Information and Interviews

Eligibility Assessment

Baseline Survey

Credit Bureau Data

Counseling Agency Service Tracking Data

Counseling Agency Site Visit Information

Study Participant Focus Groups

Appendix C: Study Participant Recruitment and Enrollment

Appendix D: HUD Letter to Potential Study Participants

Appendix E: Study Brochure

Appendix F: Study Participant Consent Agreement

Appendix G: Study Participant Eligibility Assessment

Appendix H: Study Participant Baseline Survey

Appendix I: Welcome to the Study Materials

Appendix J: Focus Group Recruitment and Implementation

Appendix K: Works Cited

Back cover